Manus의 통찰력 있는 기사 "AI 에이전트를 위한 컨텍스트 엔지니어링: Manus 구축에서 얻은 교훈"을 읽는 것은 여전히 매우 보람 있고 고무적이었습니다. @ManusAI AI 에이전트가 점점 더 느려지고, 지능이 떨어지고, 비용이 증가하는 문제를 모델 자체를 변경하지 않고 모델에 입력되는 맥락 정보 구조를 획기적으로 최적화함으로써 어떻게 해결할 수 있을까요? 기본적으로 "LLM 중심의 운영 체제"를 구축하는 것이 목표이며, 이러한 측면들은 아래에 간략하게 설명되어 있습니다. 성능 최적화: 데이터베이스처럼 "KV-캐시"를 보호하세요. 문제점: 에이전트는 각 요청에 대해 반복적으로 계산을 많이 하기 때문에 속도가 느리고 비용이 많이 듭니다. 기술적 통찰력: 대규모 모델 추론 중에는 임시 KV-Cache가 생성됩니다. 입력 프롬프트의 첫 부분이 변경되지 않으면 이 캐시를 재사용하여 추론 속도를 10배 이상 높일 수 있습니다. 마누스의 해결책: "접두사 동결" 전략. 시스템 프롬프트 시작 부분에 동적으로 변경되는 정보(예: 초 단위까지 정확한 타임스탬프)를 삽입하지 마십시오. 시작 부분에서 단 하나의 문자라도 변경하면 전체 KV-Cache가 무효화되어 시스템이 계산을 처음부터 다시 시작하게 됩니다. 이는 캐시 적중률을 극대화하기 위해 코드를 작성할 때 "정적 상수"를 처음에, "동적 변수"를 끝에 넣는 것과 비슷합니다. 상태 관리: 대규모 모델의 "건망증"에 맞서기 문제점: 작업 체인이 길어질수록 모델은 "중간에서 길을 잃는" 현상이 발생하기 쉽습니다. 즉, 초기 목표나 특정 중간 상태를 잊어버리는 것입니다. 기술적 통찰력: Transformer 아키텍처는 긴 텍스트의 시작과 끝에 가장 큰 주의를 기울이지만, 중간 부분에는 가장 약한 주의를 기울입니다. 단순히 작업 기록을 중간에 쌓아 올리면 모델이 특정 부분을 "놓치기" 쉽습니다. 마누스에 대한 해결책은 "명시적인 상태 암송"입니다. 단순히 로깅하는 것이 아니라, 각 출력이 끝날 때마다 모델이 현재 할 일 목록과 현재 상태를 다시 생성하도록 강제합니다. 이는 Transformer의 주의 메커니즘을 활용합니다. 즉, 가장 중요한 상태 정보를 모델의 시선에서 가장 최신 지점으로 강제로 이동시키는데, 이는 각 추론 전에 "주의 보정"을 수행하는 것과 같습니다. 오류 처리: "오류 메시지"를 학습 데이터로 취급합니다. 문제점: 기존 소프트웨어는 일반적으로 오류 발생 시 오류를 포착하여 재시도하지만, 에이전트의 경우 오류 로그가 삭제되면 모델이 오류를 인지하지 못하고 동일한 오류를 반복할 수 있습니다. 기술적 통찰력: 대형 모델은 맥락 내 학습 능력을 갖추고 있습니다. "올바른 방법"을 학습할 뿐만 아니라 "잘못된 방법"을 통해 학습할 수도 있습니다. 마누스의 해결책: "부정적 샘플" 맥락을 보존합니다. • 에이전트 실행 도구가 실패하면 전체 오류 스택이 보존됩니다. 모델은 "경로 A -> 실패"를 인식하고, 내부 확률 분포는 다음 추론에서 경로 A의 가중치를 자동으로 줄입니다. 이는 런타임 강화 학습의 한 유형입니다. 모델을 학습시킬 필요가 없습니다. 환경에 "실패한 결과"만 남겨두면 모델이 스스로 대안 경로를 찾는 법을 학습합니다. 샘플 설계: 모델이 "자동 완성 모드"로 진입하는 것을 방지 문제점: 모델에 너무 완벽하고 획일적인 Few-Shot 형식을 적용하면 모델이 어리석어집니다. 기술적 통찰력: 대규모 모델은 근본적으로 "패턴을 복사"하는 경향이 강합니다. 입력 내용이 모두 반복적인 형식이라는 것을 알게 되면, 기계적으로 형식을 복사하고 내용의 논리에 대한 생각을 멈추는 경향이 있습니다. 마누스의 해결책: "구조적 엔트로피"(노이즈)를 도입합니다. • 과거 상호작용 기록이 동일하게 보이지 않도록 주의하세요. 컨텍스트를 구축할 때 일부 이질적이고 완벽하지 않은 기록은 의도적으로 유지하세요. 이런 미묘한 "혼돈의 감각"은 모델의 기계적 관성을 깨고, 단순히 텍스트 완성을 수행하는 것이 아니라 답을 생성하기 위해 매번 현재 콘텐츠를 정말로 "이해"하도록 강제합니다. 원본 텍스트를 읽어보세요
