Post

prompt context harness loop engineering의 차이점

prompt context harness loop engineering의 차이점

AI 엔지니어링에서 자주 나오는 prompt, context, harness, loop에 대하여 명확한 개념을 간략하게나마 정리하려고 한다. 용어는 자주 사용하지만 정확하게 알고서 말하는 사람은 드문 것 같다.

네 가지 개념의 핵심 차이점과 역할을 정리한다.


AI 엔지니어링 비교

구분프롬프트 엔지니어링 (Prompt)컨텍스트 엔지니어링 (Context)하네스 엔지니어링 (Harness)루프 엔지니어링 (Loop)     
핵심 질문무엇을 물어볼까?무엇을 같이 보여줄까?어떤 환경에서 일하게 할까?언제 돌고 언제 멈출까?     
주요 역할역할 부여, 추론 방식 지정, 출력 형식 요령기억(Memory), 검색(RAG), 정보 압축도구 연결, 권한 설정, 훅(Hook), 가드레일반복 실행, 예약 작업, 완료 조건(Goal) 확인     
작업 단위질문 1회대화 세션 1개기능 1개를 끝내는 과정반복되는 순환(Cycle) 전체     
사람의 역할원하는 결과를 정확히 지시하기세상에 없는 맥락과 정보 제공하기일의 규칙과 안전 기준 구축하기완료 기준 설정 및 최종 결과 통과 판단하기     

상세 개념 정리

1. Prompt (프롬프트)

  • 개념: 모델에게 주는 지시문(명령, 역할, 퓨샷 예시 등)을 최적화하는 방법
  • 주요 요소: 시스템 프롬프트(System Prompt), Few-shot 예시, 출력 포맷(JSON 등) 강제 규칙.
  • 초점: “어떻게 말할 것인가” (예: Chain-of-Thought, 역할 부여 등)

2. Context (컨텍스트)

  • 개념: 모델이 답변할 때 참고할 수 있도록 컨텍스트 윈도우 안에 최적의 정보와 기억을 선별해 주입하는 방법
  • 구성: 이전 대화 히스토리(Memory), 벡터 DB에서 검색해 온 문서 조각(RAG), 현재 실행 중인 환경 변수나 사용자 프로필.
  • 초점: “무엇을 보여줄 것인가” (예: RAG, 문서 압축, 세션 기록 관리 등)

3. Harness (하네스)

  • 개념: LLM 자체를 넘어, 모델이 안전하고 안정적으로 동작하도록 둘러싼 소프트웨어 뼈대 및 실행 환경(Wrappers & Frameworks). (예: LangGraph, AutoGen 등의 오케스트레이션 레이어)
  • 역할: 도구(Tool) 호출 인터페이스 제공, 권한 및 예외 처리, 무한 루프 방지 장치, 가드레일(Guardrails) 적용.
  • 초점: “어떤 환경(규칙, 권한, 도구)에서 일하게 할 것인가” (예: 린터, 검증 스크립트, 파일 시스템 권한, 안전 가드레일 등)

4. Loop (루프)

  • 개념: 에이전트가 단 한 번의 LLM 호출로 끝나지 않고, 문제가 해결될 때까지 스스로 판단하고 행동을 반복하는 제어 구조(Execution Cycle)
  • 대표적 형태: ReAct (Reasoning and Acting) 루프
  1. Thought: 현재 상황 분석 및 계획 수립
  2. Action: 도구(Tool/API) 호출
  3. Observation: 도구 실행 결과 확인
  4. Repeat: 목표가 달성될 때까지 위 과정 반복
  • 초점: “정답이 나올 때까지 어떻게 스스로 생각하고 행동을 수정하며 밀고 나갈 것인가?”

‘로그인’ 기능을 구현 시, Prompt, Context, Harness, Loop

1. 프롬프트 엔지니어링 (Prompt): “어떻게 지시할까?”

모델에게 로그인 기능의 요구사항과 출력 형식을 명확하게 명령하는 단계

  • 적용 예시: “너는 시니어 백엔드 개발자야. 이메일과 비밀번호를 받아 JWT 토큰을 발급하는 /login API를 작성해 줘. 비밀번호 검증 실패 시 401 에러를 반환하도록 단계별로 생각해서 코드를 짜 줘.”
  • 핵심: 역할(시니어 개발자), 제약조건(JWT 사용, 401 에러), 추론 방식(단계별 생각)을 텍스트로 지시한다.

2. 컨텍스트 엔지니어링 (Context): “무엇을 보여줄까?”

우리 프로젝트의 기존 코드와 규칙을 AI가 참고할 수 있도록 컨텍스트 창에 넣어주는 단계

  • 적용 예시: 현재 프로젝트의 User 데이터베이스 스키마 파일, 기존에 쓰던 암호화 유틸리티(bcrypt.ts), API 에러 응답 포맷 규약 문서를 검색(RAG)하거나 파일로 첨부하여 함께 전달한다
  • 핵심: AI가 엉뚱한 라이브러리나 다른 DB 구조를 쓰지 않고, 우리 팀의 코드베이스에 딱 맞는 코드를 짜도록 재료를 공급해야 한다

3. 하네스 엔지니어링 (Harness): “어떤 환경에서 일하게 할까?”

AI가 짠 로그인 코드를 실제로 실행·검증하고, 위험한 행동을 막는 울타리를 구축하는 단계

  • 적용 예시:
    • 도구 연결: AI가 직접 터미널에서 npm test를 실행하고, 테스트 DB에 쿼리를 날릴 수 있는 도구를 제공.
    • 가드레일/훅(Hook): AI가 .env 파일의 실제 운영 DB 비밀번호를 읽거나, DROP TABLE 같은 위험한 명령어를 실행하지 못하도록 권한을 차단. 코드 저장 시 자동으로 린터(ESLint)와 타입 체크가 돌게 설정.
  • 핵심: AI가 안전하게 작업하고 자신의 결과물을 스스로 테스트해 볼 수 있는 ‘작업실’을 제공한다

4. 루프 엔지니어링 (Loop): “언제 다시 돌고, 언제 멈출까?”

사람이 개입하지 않고 AI가 스스로 에러를 고치며 완성할 때까지 반복하는 사이클을 설계하는 단계

  • 적용 예시:
    • 반복 실행: AI가 로그인 코드를 작성한 뒤 테스트를 돌렸는데 비밀번호 불일치 테스트가 실패하면, 에러 로그를 보고 스스로 코드를 수정해 다시 테스트를 돌린다.
    • 종료 조건(Goal): “로그인 관련 단위 테스트(Unit Test)와 통합 테스트가 100% 통과하면 작업을 종료하고 PR을 생성해. 단, 수정 시도가 5번을 넘어가거나 API 비용이 $2를 초과하면 즉시 멈추고 사람에게 보고해.”
  • 핵심: 완벽한 결과물이 나올 때까지 자율적으로 ‘작성 → 테스트 → 수정’을 반복하게 하고, 무한 루프를 방지하는 기준을 세운다

로그인 수행할 시에 prompt context harness loop의 각 프로젝트의 구조

‘로그인 기능’ 하나만 구현할 때, 각 엔지니어링 패러다임에 따라 프로젝트 폴더와 파일 구조가 어떻게 달라지는지 구체적인 트리(Tree) 형태로 비교핟다.

단계가 올라갈수록 단순 ‘프롬프트 텍스트’에서 에이전트를 제어하는 ‘시스템 아키텍처’로 프로젝트 구조가 확장된다.

1. 프롬프트 엔지니어링 (Prompt): “프롬프트 파일 중심”

단일 질문과 답변에 집중하므로, 프로젝트 내에 별도의 에이전트 실행 구조가 없다. 지시문 템플릿만 관리한다.

1
2
3
4
5
6
my-app/
├── prompts/
│   └── login_prompt.md       # "시니어 개발자로서 JWT 로그인 API를 작성해줘..." (역할, 지시문)
└── src/
    └── auth/
        └── login.ts          # AI가 생성한 코드를 사람이 복사해서 붙여넣은 결과물

2. 컨텍스트 엔지니어링 (Context): “참조 데이터 및 검색(RAG) 구조 추가”

AI가 기존 프로젝트의 맥락을 정확히 알 수 있도록, 참조 문서와 코드 인덱싱을 위한 구조가 추가된다.

1
2
3
4
5
6
7
8
9
10
11
my-app/
├── .cursorrules              # 프로젝트 전역 코딩 컨벤션 및 아키텍처 규칙
├── docs/                     # RAG(검색) 및 컨텍스트 주입용 문서
│   ├── api_error_spec.md     # 표준 에러 응답 포맷 명세
│   └── db_schema.prisma      # User 테이블 구조 명세
├── context_builder.py        # 관련 파일(User 모델, 암호화 유틸)만 추출·압축하는 스크립트
└── src/
    ├── utils/
    │   └── crypto.ts         # AI가 참고할 기존 비밀번호 해싱 유틸
    └── auth/
        └── login.ts

3. 하네스 엔지니어링 (Harness): “실행 환경, 도구, 가드레일(Hook) 추가”

AI가 코드를 직접 실행·검증하고 사고 치지 않도록 감싸는 샌드박스, 권한 제어, 자동 검증 훅이 프로젝트에 구축된다.

1
2
3
4
5
6
7
8
9
10
11
12
13
my-app/
├── .agent/                   # 에이전트 제어 및 안전장치(Harness) 설정
│   ├── permissions.json      # 권한 제어 (src/auth 수정 허용, .env 및 운영 DB 접근 차단)
│   ├── tools.json            # 에이전트에게 부여된 도구 (터미널 실행, 테스트 DB 조회)
│   └── hooks/
│       └── pre_commit.sh     # 코드 수정 시 자동으로 ESLint, 타입 체크를 강제하는 훅
├── tests/
│   └── auth/
│       └── login.test.ts     # 하네스가 실행할 로그인 검증용 테스트 코드
├── docker-compose.test.yml   # AI가 안전하게 테스트할 격리된 샌드박스 DB 환경
└── src/
    └── auth/
        └── login.ts

4. 루프 엔지니어링 (Loop): “오케스트레이션 및 상태/종료 관리 추가”

사람의 개입 없이 작성 → 테스트 → 에러 분석 → 수정을 목표 달성 시까지 자율 반복하는 제어기(Orchestrator)가 최상단에 위치한다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
my-app/
├── orchestrator/             # 루프(Loop) 제어 엔진
│   ├── loop_runner.py        # [코드생성 -> 테스트실행 -> 에러로그수집 -> 재시도] 반복 엔진
│   ├── stop_conditions.yaml  # 종료 조건 (테스트 100% 통과 시 종료 / 최대 5회 시도 / 비용 $2 제한)
│   └── state_memory.json     # 이전 루프의 실패 원인과 시도 이력을 기록하는 상태 파일
├── .agent/                   # (하네스 계층 포함)
│   ├── permissions.json
│   └── hooks/
├── docs/                     # (컨텍스트 계층 포함)
│   └── db_schema.prisma
├── tests/
│   └── auth/
│       └── login.test.ts     # 루프의 '성공/실패'를 판별하는 핵심 기준(Evaluator)
└── src/
    └── auth/
        └── login.ts          # 루프를 돌며 스스로 완성된 최종 코드

구조 확장의 핵심 요약

  • Prompt: prompts/ (무엇을 시킬지 적어둔 주문서)
  • Context: docs/, .cursorrules (주문서와 함께 건네주는 참고 서류)
  • Harness: .agent/, docker/ (AI가 안전하게 작업하고 테스트하는 작업실과 보호장비)
  • Loop: orchestrator/ (작업실에서 결과물이 합격할 때까지 계속 돌리는 자동화 공장 라인)
This post is licensed under CC BY 4.0 by the author.