컨텍스트 엔지니어링 2.0: 컨텍스트 엔지니어링의 컨텍스트 본 논문은 중요한 점을 제시합니다. 컨텍스트 엔지니어링은 최근 몇 년 사이에 등장한 새로운 개념이 아니라 20년 이상 발전해 온 분야입니다. 본 논문은 컨텍스트 엔지니어링의 발전 arxiv.org/pdf/2510.26493.0 시대의 특징을 분석하는 데 중점을 둡니다. 논문 링크: https://t.co/Mj5DyFf5fy 컨텍스트 엔지니어링의 핵심은 "엔트로피 감소" 과정입니다. 인간은 소통할 때 공유된 지식, 감정적 단서, 그리고 상황 인식을 통해 "빈틈을 메울" 수 있습니다. 그러나 현재 기계는 이러한 능력이 부족하기 때문에, 우리는 기계 대신 컨텍스트를 "전처리"해야 합니다. 즉, 높은 엔트로피의 원시 정보를 기계가 이해할 수 있는 낮은 엔트로피의 표현으로 압축해야 합니다. 이 논문에서는 컨텍스트를 "사용자 및 애플리케이션 상호작용과 관련된 엔터티의 상태를 설명하는 데 사용할 수 있는 모든 정보"로 공식적으로 정의하고, 컨텍스트 엔지니어링은 "컨텍스트를 수집, 저장, 관리 및 사용하는 프로세스의 체계적인 설계 및 최적화"로 정의합니다. 개발의 4단계 1.0 시대(1990년대~2020년대): 원시 컴퓨팅 시대 • 낮은 수준의 기계 지능, 구조화된 입력만 처리할 수 있음 • 인간은 의도를 기계가 읽을 수 있는 형식으로 "번역"해야 함 • 대표 시스템: 컨텍스트 툴킷, 위치 인식 애플리케이션 • 컨텍스트는 주로 센서(GPS, 시계 등)에서 제공됨 2.0 시대(2020-현재): 지능형 에이전트 시대 • 대규모 언어 모델의 등장은 전환점을 의미 • 기계가 자연어를 이해하고 모호하고 불완전한 정보를 처리할 수 있게 됨 • 대표 시스템: ChatGPT, LangChain, AutoGPT • 컨텍스트에는 대화 기록, 검색 문서, 도구 API 등이 포함됩니다. 3.0 시대(미래): 인간 수준의 지능 – 시스템은 인간과 유사한 추론 및 이해 능력을 갖추고, 사회적 신호와 감정 상태와 같은 복잡한 맥락을 인식하고, 매우 자연스러운 인간-기계 협업을 달성할 수 있습니다. 4.0 시대(추측): 초인적 지능 – 기계가 인간의 능력을 능가하고 "신의 관점"을 갖게 될 것입니다. • 더 이상 인간이 정의한 맥락에 수동적으로 적응하는 것이 아니라, 새로운 맥락을 적극적으로 구축합니다. • 인간이 명확하게 표현하지 못하는 숨겨진 욕구를 발견합니다. 설계 고려 사항 - 상황적 엔지니어링의 세 가지 핵심 차원 1. 컨텍스트 수집 및 저장: • 최소충족성 원칙: 필요한 정보만 수집하고 저장합니다. • 의미 연속성 원칙: 데이터뿐만 아니라 의미의 연속성을 유지합니다. • 저장 전략은 로컬 파일 시스템에서 계층형 아키텍처(단기 캐시 + 장기 데이터베이스 + 클라우드 스토리지)로 발전했습니다. 2. 컨텍스트 관리: 텍스트 컨텍스트를 처리하기 위한 몇 가지 일반적인 방법: • 타임스탬프: 단순하지만 의미 구조가 부족합니다. • 기능적 태그: 정보를 역할별로 구성합니다(예: "목표", "결정", "행동"). • 질의-답변 쌍 압축: 검색에는 적합하지만 사고의 흐름을 방해합니다. • 계층적 노트: 트리 구조이지만 인과 관계를 표현하기 어렵습니다. 다중 모드 컨텍스트의 경우: • 서로 다른 모달리티를 공유 벡터 공간에 매핑합니다. • 공동 처리를 위해 셀프 어텐션 메커니즘을 사용합니다. • 교차 어텐션을 사용하여 한 모달리티가 다른 모달리티에 집중할 수 있도록 합니다. 3. 문맥적 사용: • 시스템 내 공유: 큐 임베딩, 구조화된 메시지 또는 공유 메모리를 통해. • 시스템 간 공유: 어댑터를 사용하여 표현(JSON, 자연어 요약, 의미 벡터)을 변환하거나 공유. • 맥락 선택: 의미적 관련성, 논리적 종속성, 적시성, 빈도와 같은 요소를 기반으로 합니다. 실제 적용 사례: Gemini CLI: GEMINI.md 파일을 통해 프로젝트 컨텍스트를 관리하고 계층적 상속을 지원합니다. Tongyi DeepResearch: 장기 상호작용 이력을 주기적으로 압축하여 개방형 연구 과제를 처리합니다. 뇌-컴퓨터 인터페이스: 신경 신호를 직접 포착하여 주의 및 감정 상태와 같은 내부 인지 상태를 수집합니다. 주요 과제: • 장기 컨텍스트의 저장 병목 현상: 리소스 제약 조건 하에서 가능한 한 많은 관련 컨텍스트를 유지하는 방법. • 장기 컨텍스트 처리 성능 저하: Transformer의 O(n²) 복잡도는 효율성 및 품질 문제를 야기합니다. • 시스템 안정성: 메모리가 누적됨에 따라 작은 오류도 광범위한 영향을 미칠 수 있습니다. • 평가 어려움: 모순 검증 및 추론 체인 추적 메커니즘 부족.
