@posthog 팀이 공유한 프로덕션 등급 AI 에이전트를 개발한 1년간의 실무 경험 아키텍처 철학, 전략적 구현, 개발의 함정, 제품 경험이라는 네 가지 차원에서 살펴보겠습니다. I. 핵심 아키텍처 철학: 단순함은 복잡함보다 낫다. 복잡한 구성은 종종 쓸모없을 뿐만 아니라 해로울 수도 있다. 1. 에이전트가 워크플로보다 우월하다. 오해: 초창기 업계에서는 AI 제어를 위해 그래프나 사전 정의된 워크플로를 사용하는 것이 대중화되었는데, 이는 AI 제어가 더 쉬워질 것이라고 믿었기 때문입니다. • 현실: 이러한 접근 방식은 개방형 작업을 처리할 때 매우 취약합니다. AI가 미리 설정된 경로에서 벗어나면 스스로를 바로잡지 못할 뿐만 아니라 맥락까지 잃게 됩니다. 결론: 현재 아키텍처는 단순한 단일 루프로 돌아갑니다. LLM은 작업이 완료될 때까지 이 루프 내에서 지속적으로 실행, 검증 및 자체 수정을 수행합니다. 2. 단일 엔티티 루프가 하위 에이전트보다 우수합니다. 오해: 많은 사람들이 복잡한 "하위 에이전트" 아키텍처를 설계하는 것을 선호합니다. 현실: 추상화와 특수화 계층이 추가될수록 맥락의 손실이 커집니다. 모델이 최적의 결정을 내리려면 완전한 전역 정보가 필요합니다. 결론: 간단한 툴셋을 갖춘 단일 LLM 루프는 각각이 고유한 역할을 하는 하위 에이전트 그룹보다 더 똑똑하고 효과적으로 수행되는 경우가 많습니다. II. 핵심 전술 구현: 모델이 "집중"하고 "이해"할 수 있도록 지원 두 가지 매우 실용적인 "세부 관리" 기술: 1. 할 일 목록은 초능력입니다. 에이전트가 긴 작업에 "길을 잃는" 것을 방지하기 위해, 그들은 todo_write라는 겉보기에 불필요한 도구를 도입했습니다. 이는 실제로 강화된 "마인드 체인"입니다. 에이전트는 각 단계마다 이 목록을 업데이트하여 다음 목표를 지속적으로 강화하도록 하고, 이를 통해 작업 완료율을 크게 향상시킵니다. 2. 맥락이 중요합니다. 사용자 질문은 종종 모호합니다(예: 철자 오류 또는 내부 용어). 맥락적 지식이 없으면 AI는 질문을 정확하게 이해할 수 없습니다. 그들은 클로드 코드의 접근 방식을 차용하여 `/init` 명령어를 도입했습니다. 웹 검색과 분석을 통해 에이전트를 위한 프로젝트 수준의 메모리를 구축하여 AI가 사용자의 비즈니스를 진정으로 "이해"할 수 있도록 했습니다. III. 개발 함정: 두 가지 매우 날카로운 경고에 주의하세요: 프레임워크와 이론에만 의존하는 평가 1. 프레임워크에 대한 과도한 의존을 거부합니다. 그들은 LangChain과 LangGraph를 사용한 것을 후회한다고 명시적으로 밝혔습니다. AI 모델은 매우 빠르게 반복되는데, 무거운 프레임워크는 종종 변화를 따라가지 못해 오히려 부담이 됩니다. API를 직접 호출하는 것이 가장 유연하고 지속 가능한 접근 방식이므로, 코드를 "저수준"으로 유지하는 것이 좋습니다. 2. 평가는 만병통치약이 아닙니다. 테스트 세트가 중요하지만, 실제 세계의 복잡성(더티 데이터, 이상한 사용자 경로)은 테스트 세트의 적용 범위를 훨씬 초과합니다. 그들은 "추적 시간"(실제 로그에 대한 정기적인 인적 검토)의 중요성을 강조했습니다. 실제 사용자가 AI와 어떻게 상호 작용하는지 이해하는 것은 완벽한 테스트 모음을 실행하는 것보다 더 중요합니다. IV. 제품 경험 및 모델 전략 1. 전체 과정을 보여주세요. AI를 완벽한 블랙박스처럼 포장하려고 하지 마세요. 사용자는 "투명한" AI를 더 신뢰합니다. PostHog AI는 모든 도구 호출, 추론 과정, 심지어 실패한 시도까지 모두 표시합니다. 이러한 "화이트박스" 경험은 사용자의 신뢰를 높이고 문제 파악을 더욱 용이하게 합니다. 2. 모델 성장 활용: 현재 "버전별 해답"은 코어 루프의 경우 Claude Sonnet 4.5, 추론 및 복잡한 쿼리 생성의 경우 OpenAI o4-mini입니다. 하지만 개발자는 항상 더 강력한 차세대 모델에 대비해야 합니다. 요약하다 지난 1년 동안 PostHog가 겪은 경험은 '밀과 쭉정이를 분리하는 것'으로 요약할 수 있습니다. 그들은 겉보기에는 정교해 보이지만 실제로는 번거로웠던 초기 AI 개발의 "다중 에이전트 협업", "복잡한 그래프 오케스트레이션", "무거운 개발 프레임워크"를 버리고 가장 단순한 단일 루프 아키텍처로 돌아갔습니다. 모델에 더 명확한 메모리(할 일), 더 풍부한 맥락, 그리고 더 투명한 상호작용을 제공함으로써 진정으로 유능한 AI 비서를 만들어냈습니다. 블로그 주소
