カルパシーの「認知コア」論文 (https://t.co/1RtvrEGIXd) が最大限に真実である世界 (つまり、認知コア LLM が実際に優れている - 彼が Dwx.com/karpathy/statu…ように) に住んでいるとしたら、
そうなれば、AI市場における価値獲得は根本的に変わるかもしれません。つまり、大企業だけが開発できる巨大な「フロンティア」モデルの価値は、はるかに低くなる可能性があるのです。 一方、「認知コア」の高性能な使用にはアクセスが必要となる。
高品質なデータ、アダプター、プラグインなど もしこれらのことが「良い AI」と「悪い AI」を区別するのであれば、あらゆる経済活動はそこで起こると予想すべきです。 そして、小規模な専門企業にも余地が生まれます。
そして、それは「情報金融」[分散型]エコシステムの成長につながり、市場プレーヤーに高品質のデータとコンポーネントを提供する動機を与えることになるでしょう。
「カートリッジ」という概念を紹介する最近の論文 (https://t.co/KE0lGXeia5) は、「認arxiv.org/abs/2506.06266イデアを与えてくれるかもしれません。 カートリッジとは、文書のコーパスの「自己学習」に基づいてトレーニングされた KV プレフィックスです。
「認知コア」が最小限の事実しか知らない場合、コンテキストには大量の情報を含める必要があり、クエリごとに生の文書をスキャンするよりも、事前に計算された考えを備えたカートリッジを使用する方がはるかに効率的です。
さらに、以前の「プレフィックス チューニング」の論文では、KV プレフィックスも微調整と同じ効果を持つ可能性があることが実証されており、カートリッジにはスキルやテキスト スタイルなども含めることができます。また、LoRA アダプターとは異なり、それらは構成可能です。