X (Twitter)

ウルトラマン：サーバールームを作らないと新機種は出せないんですか？ RedditのDark Side of the MoonのAMA（Ask Me Anything）から、情報満載のスクープをお届けします！最大の衝撃は、ComfortAsk449 (ヤン・ジーリンと噂されている) が Kimi-K3 の発売日について「ウルトラマンの 1 兆ドルのデータセンターが建設される前にリリースします!」と答えたことです。ハハハ! 本題に戻り、今回のセッションの要点をまとめたいと思います。これまで皆さんが知らなかったであろう点を多く取り上げたと思います。まず、460万ドルというトレーニング費用は単なる噂ですが、トレーニング費用がそれほど高額にならないことは確かです。公式チームは、トレーニングにH800 GPU + Infinibandを使用していることを明らかにしました。これは、米国のハイエンドGPUに比べると数は少ないものの、各カードを最大限に活用しています。int4精度については誰もが知っていますが、int4を選択すると、Blackwell以外のGPUにも優しく、Marlinカーネルを利用できるようになります。 Kimi K3に関しては、KDA関連のコンセプトがK3に採用され、アーキテクチャの大幅な変更を組み込むことで新しい機能が開発される可能性が非常に高いです。コミュニティの観測によると、2ヶ月ごとの第1金曜日（2026年1月9日と予測）にリリースされる予定です。その他の新モデルについては、3B～48Bの範囲が現在コミュニティから最も要望が多く、100～120BのMoE範囲にも強い要望があります。さらに、新しいビジュアル言語モデルが開発される可能性があることが明らかになりました！（Kimi-VLについては既に言及済みです）。技術的には、KDA + NoPE MLAは完全なMLA + RoPEよりも優れた性能を示し、Muonオプティマイザーは1Tパラメータスケールで初めて検証されました。K2 Thinkingは、エンドツーエンドのエージェント強化学習を用いてトレーニングを行っています。チームは以前、1Mのコンテキストウィンドウを実装していましたが（当時はコストが高すぎました）、将来のバージョンではコンテキスト長を増やす予定です（現在は256K）。チームは、現在のバージョンではトークン効率よりもパフォーマンスを優先しており、効率性を報酬関数に組み込むなど、積極的に改善を進めていることを認識しています。その他のニュースとしては、OK Computer が、お世辞や過度の楽観主義を避けた特別にカスタマイズされた文体で書かれた、kimi-k2-thinking バージョンを近々リリースする予定だということが挙げられます。 #moonshotAI #kimik2 #kimik3 #kimivl #AMA