Ian Nuttall（@iannuttall）のスレッド

コーデックス劣化レポート TLDR: - 調査の結果、単一の根本原因は見つからず、動作の変化と小さなバグが混在していることが判明しました。すでにいくつかの修正がリリースされており、さらに多くの修正がリリースされる予定です。 - 古いハードウェアは評価でパフォーマンスが低かったため削除され、遅延を減らすために負荷分散の改善が展開されています。 - 圧縮がより頻繁に使用され、圧縮を繰り返すと精度が低下しました。再帰的な要約はブロックされ、チャットの焦点を維持するために警告が追加されました。 - `apply_patch` フローは、失敗した差分の後にファイルを削除して再作成する可能性がありますが、中断されると危険です。軽減策が進行中であり、長期的なモデルの修正が計画されています。 - フリート全体のレイテンシの回帰は発生しませんでしたが、一部のセッションでは再試行とタイムアウトが非効率的に増加しました。長時間実行されるインタラクティブなタスクの処理が改善されています。 - 制約付きサンプリングのバグにより、分布外のトークンが生成され、セッションの 0.25% 未満で文の途中で言語が切り替わる場合がありましたが、修正が展開されています。 - レスポンス API はツール定義の周囲に改行を追加しましたが、これによりパフォーマンスに測定可能な影響はありませんでした。 - 評価では、CLI 0.45 はトークンを約 10% 削減しながら品質を維持していることが示されています。`--search` や最近のプロンプトの変更によって、回帰は発生していません。 - インフラ分析により、認証キャッシュのヒット率が低いためにテールレイテンシが約 50 ミリ秒長くなることが判明しましたが、作業ディレクトリのエラー率は変化していませんでした。 - 最小限のツールセットと、短くてターゲットを絞ったチャットを優先することがガイドラインになっており、専用の現実世界のパフォーマンス チームが結成され、採用が行われています。