Google は、LLM フレームワーク内で継続的な学習における壊滅的な忘却問題に対処する新しい機械学習パラダイム、Nested Learning を発表しました。 中心となる考え方は、モデルを単一のモノリシックなエンティティとしてトレーニングするのではなく、ネストされた小さな学習システムのセットとしてトレーニングすることです。 このアプローチでは、モデルを統一された学習プロセスではなく、複数の入れ子になった最適化問題のシステムとして扱い、各サブシステムは独自の学習リズムと情報フローを持ちます。これにより、LLMの長いコンテキストを処理する能力が向上し、継続的な学習が可能になります。 彼らは、Hope と呼ばれる自己修正アーキテクチャ モデルを使用してこのアプローチをテストおよび検証し、その結果、このアプローチは既存の最先端モデルよりも優れたロング コンテキスト メモリ管理機能を備えていることが示されました。 言語モデリングと常識推論タスクでは Titans、Samba、ベースライン Transformer よりも優れたパフォーマンスを発揮し、長いコンテキスト管理では Titans、TTT、Mamba2 よりも優れたパフォーマンスを発揮します。 まず、パラメータを階層化し、更新周期（周期1、4、16、64…ステップ）に応じて、同じ重み行列をW₁、W₂、…、Wₙに分割します。 次に、連続記憶システムは、記憶を「スペクトル」として捉え、異なるモジュールが異なる持続期間の情報を担当することで、学習した内容を忘れないようにします。 ディープ オプティマイザーは、オプティマイザーを連想メモリ モジュールとして扱うことで改善され、目的関数が洗練され、ノイズに対する堅牢性が向上します。 トレーニング コードでは、「後で更新する」条件の 1 行のみが追加され、フレームワークの残りの部分は変更されません。
