コンテキストエンジニアリング 2.0: コンテキストエンジニアリングのコンテキスト 本論文は重要な点を指摘しています。コンテキストエンジニアリングは近年登場した新しい概念ではなく、20年以上にわたって発展してきた分野です。本論文では、その進化を4つの段階に分け、1.0arxiv.org/pdf/2510.26493いています。 論文リンク: https://t.co/Mj5DyFf5fy コンテキストエンジニアリングの本質は「エントロピー削減」プロセスです。人間はコミュニケーションにおいて、共有知識、感情的な手がかり、状況認識に頼って「ギャップを埋める」ことができます。しかし、機械には現時点ではこの能力がないため、私たちはコンテキストを「前処理」する必要があります。つまり、高エントロピーの生の情報を、機械が理解できる低エントロピーの表現に圧縮する必要があるのです。 この論文では、コンテキストを「ユーザーとアプリケーションのインタラクションに関連するエンティティの状態を記述するために使用できるあらゆる情報」と正式に定義し、コンテキスト エンジニアリングを「コンテキストを収集、保存、管理、および使用するプロセスの体系的な設計と最適化」としています。 発達の4つの段階 時代 1.0 (1990 年代 - 2020 年): 原始的コンピューティングの時代 • 機械知能のレベルが低く、構造化された入力しか処理できない • 人間が意図を機械が読み取り可能な形式に「翻訳」する必要がある • 代表的なシステム: コンテキスト ツールキット、位置認識アプリケーション • コンテキストは主にセンサー (GPS、時計など) から取得される 時代2.0（2020年現在）：インテリジェントエージェントの時代 • 大規模言語モデルの出現が転換点となった • 機械が自然言語を理解し始め、曖昧で不完全な情報を処理できるようになった • 代表的なシステム：ChatGPT、LangChain、AutoGPT • コンテキストには、会話履歴、検索ドキュメント、ツール API などが含まれます。 3.0 時代 (未来): 人間レベルのインテリジェンス - システムは人間のような推論および理解能力を備え、社会的合図や感情状態などの複雑なコンテキストを認識し、真に自然な人間と機械のコラボレーションを実現します。 4.0 時代 (推測): 超人的な知能 - 機械は人間の能力を超え、「神の視点」を持つようになります。 • 人間が定義したコンテキストに受動的に適応するのではなく、能動的に新しいコンテキストを構築します。 • 人間が明示的に表現していない隠れたニーズを発見します。 設計上の考慮事項 - コンテクスチュアルエンジニアリングの3つのコア次元 1. コンテキストの収集と保存：• 最小充足性の原則：必要な情報のみを収集して保存します。• 意味の連続性の原則：データだけでなく、意味の連続性を維持します。• ストレージ戦略は、ローカルファイルシステムから階層型アーキテクチャ（短期キャッシュ + 長期データベース + クラウドストレージ）へと進化しました。 2. コンテキスト管理: テキストコンテキストを処理するための一般的な方法: • タイムスタンプ：シンプルだが、意味構造が欠けている。 • 機能タグ：役割別に情報を整理する（例：「目標」「決定」「行動」）。 • 質問と回答のペアの圧縮：検索には適しているが、思考の流れを阻害する。 • 階層型メモ：ツリー構造だが、因果関係を表現するのが難しい。 マルチモーダルコンテキストの場合: • 異なるモダリティを共有ベクトル空間にマッピングする。 • 共同処理のために自己注意メカニズムを使用する。 • クロスアテンションを使用して、あるモダリティが別のモダリティに集中できるようにする。 3. コンテキスト利用：• システム内共有：キュー埋め込み、構造化メッセージ、共有メモリ経由。• システム間共有：アダプターを使用して表現（JSON、自然言語要約、セマンティックベクトル）を変換または共有。 • コンテキストの選択: 意味的関連性、論理的依存性、適時性、頻度などの要素に基づきます。 実用例：Gemini CLI：GEMINI.mdファイルを通じてプロジェクトコンテキストを管理し、階層的な継承をサポートします。Tongyi DeepResearch：オープンエンドの研究タスクを処理し、長いインタラクション履歴を定期的に圧縮します。ブレイン・コンピュータ・インターフェース：神経信号を直接捕捉し、注意や感情状態などの内部認知状態を収集します。 主な課題: • 長期コンテキストのストレージボトルネック: リソースの制約下で、いかにして関連性の高いコンテキストを可能な限り多く保持するか。 • 長いコンテキストの処理における劣化: Transformer の O(n²) の複雑性は、効率性と品質の問題につながります。 • システムの安定性: メモリが蓄積されるにつれて、小さなエラーでも広範囲に影響を及ぼす可能性があります。 • 評価の難しさ: 矛盾を検証し、推論チェーンをトレースするためのメカニズムが不足しています。
