1京個のパラメータを持つ言語モデルは、全く不可能というわけではない(そのすべてのデータをどこから入手するかは別として) ただし、コンテキストとKVキャッシュにはおそらくこれよりも25%多くのGPUが必要になるでしょう。 10万台のH100ならできるだろう
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
1 件のツイート · 2025/11/05 22:24
1京個のパラメータを持つ言語モデルは、全く不可能というわけではない(そのすべてのデータをどこから入手するかは別として) ただし、コンテキストとKVキャッシュにはおそらくこれよりも25%多くのGPUが必要になるでしょう。 10万台のH100ならできるだろう