AI Agent 개발 - 아키텍처 및 개발 로드맵

기존 SaaS로 구축되어 서비스되던 상품에 AI Agent를 제공하여, 편의성을 높이기 위한 구현 업무가 할당되었다.
agent system을 구현하기 위한 기초적인 기술 검토 및 아키텍처를 기술하고 개발 로드맵을 검토하려고 한다.

Layered Architecture

개발 로드맵

1단계: 데이터 기초 공사 (Knowledge Base)

에이전트가 참조할 ‘교과서’를 만드는 단계

1. 데이터 수집 및 정제: 산업안전보건법, 사내 안전 지침, 설비 매뉴얼, 과거 사고 이력 데이터를 수집
2. GraphDB(Neo4j) 구축: 법규-공정-위험요인 간의 관계를 정의하고 지식 그래프를 생성
3. 하이브리드 인덱싱: 텍스트 검색을 위한 Vector 임베딩과 관계 검색을 위한 Graph 인덱싱을 병행

2단계: 개별 도구(Tools) 개발

에이전트가 사용할 기능들을 독립적인 함수로 만드는 단계

1. Search Tool: GraphDB에서 Cypher 쿼리를 실행하거나 Vector DB에서 유사 문서를 찾는 기능
2. Inspection Tool: 실시간 IoT 센서 데이터나 점검 로그 DB에 접근하는 API
3. Reporting Tool: 안전 점검 보고서 양식(PDF/Markdown)을 생성하는 기능

3단계: LangGraph를 이용한 워크플로우 설계

에이전트의 ‘사고 방식’을 코딩하는 단계

1. State 정의: 대화 기록, 검색된 법령, 현재 위험 수치 등 에이전트가 공유할 데이터 구조를 정의
2. Node 구성: ‘질문 분석’, ‘지식 검색’, ‘위험도 계산’, ‘답변 생성’ 등 각각의 논리 단계를 노드로 생성
3. Edge & Logic: 검색 결과가 부실하면 다시 검색 노드로 보내는 루프(Loop)와, 상황에 따라 다른 도구를 선택하는 라우팅 로직을 설계

4단계: 가드레일 및 검증 레이어 구축

안전 도메인의 핵심인 ‘답변의 정확성’을 보장하는 작업

1. Hallucination Grader: 생성된 답변이 검색된 문서(Context)에 실제 존재하는 내용인지 검증하는 단계를 추가
2. Human-in-the-loop: 고위험 판단(예: 작업 중지 명령) 시 반드시 관리자의 승인을 거치도록 인터럽트(Interrupt) 구간을 설정

5단계: 배포 및 관측 (Observability)

시스템을 실무에 적용하고 모니터링한다

1. CI/CD 파이프라인: 작성한 Next.js(FE) / Spring Boot(BE) / Kubernetes 환경에 에이전트 서비스를 배포 (LangGraph는 별도의 파이썬 마이크로서비스로 구성하는 것이 일반적)
2. Tracing (LangSmith): 에이전트가 어떤 경로로 생각해서 답변을 내놨는지 전 과정을 추적하고 성능을 개선

개발 우선 순위 팁 (Success Factor)
가장 먼저 해야 할 일은 ‘가장 빈번하게 발생하는 질문 10가지’에 대해 에이전트가 완벽하게 대답하는 MVP(최소 기능 제품)를 만드는 것. 처음부터 모든 법령을 넣기보다는 특정 공정(예: 용접 작업) 하나를 타겟으로 Graph를 그려보고 LangGraph 워크플로우를 태워보도록 구현.