Kimi-Linearは、30億のアクティブ、6兆トークン未満の実験です。そのアーキテクチャはSF的なものではありません（ただし、動作はします）。NoPE MLAと洗練されたGatedDeltaNetです。 これは、a) Gemini の長期コンテキスト アテンションには秘密のソースがない、b) すべては TPU に関するものであり、「タイタン」は存在しない、ということを強く示唆しています。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。