ええ。Geminiはだいたいそんな感じだと思います。でも、Gemini-Proはさらに大きく（3T以上）、メモリももっと少ない（アクティブメモリは50B未満、30Bくらいかな。これは72Bらしいけど）んじゃないかな。 トレーニング後の改善により、パフォーマンスが大幅に向上するはずです。 非公開の研究室がスケールの数字を共有してくれることに感謝します。
24億超、アクティブ率は3%未満。つまり720億が上限で、おそらく600億程度でしょう。トークンエコノミクスやGPUデータと照合すれば、より正確な推定が可能になるかもしれません。