OpenAIはこれまで、GPTの新世代ごとに学習計算能力を約100倍にスケールアップしてきました。しかし、GPT-5はこの傾向の例外となっているようです。🧵
GPT-4は2e25の浮動小数点演算で学習されており、OpenAIによるとGPT-4.5は約1桁（10倍）のスケールアップとのことです。まだ厳密な推定はできていませんが、GPT-5の計算スケールはGPT-4とGPT-4.5の*中間*になる可能性があり、4.5からの大幅なスケールアップではないと考えられます。
トレーニング計算は、モデルサイズ×トレーニングデータに応じてスケールします。GPT-5はAPI上で高速かつ比較的安価で、出力トークンはGPT-4.5の15分の1の価格で、リリース時には約2～4倍高速に提供されます。これは、GPT-5がGPT-4.5よりもはるかに小型のモデルであることを示唆しています。
GPT-5がどれだけのデータで学習されたかは不明です。しかし、わずか6ヶ月前のGPT-4.5では、事前学習データのスケーリングが大きな課題であったため、GPT-5では実際のデータが大幅に多く使用された可能性は低いでしょう。o3からの合成データも使用していましたが、量ではなく質に重点が置かれていました。
GPT-5 は GPT-4 の 100 倍のスケールアップではないという私たちの結論は、少なくとも事前トレーニングに関しては、Rohan Pandey (旧 OpenAI) によって確認されました。
企業は、従来の事前学習に続く強化学習を急速にスケールアップし、推論能力などのスキル向上を図っています。例えば、OpenAIはo1とo3の間でRLコンピューティングを10倍にスケールアップしました。
しかし、これまでのモデルのほとんどは、事前学習済みの計算が大部分を占めていました。強化学習を効率的にスケールアップするには、データ、環境、報酬モデルに関する研究が必要であり、GPT-5は強化学習のみでGPT-4.5のスケールを達成するには時期尚早であり、ましてや計算の新たな境地に到達することは不可能でしょう。
GPT-5の計算スケールは、AIの今後の方向性に影響を与えます。OpenAIは、推論コストの面から、現時点ではスケーリングは比較的期待できないと考えているかもしれません。しかし、GPT-5が新たなコンピューティングのフロンティアを確立しない限り、反復サイクルの高速化と将来のスケールアップの余地は残されています。
GPT-5がどのようにトレーニングされたかについてのさらなる証拠を注視していきます。どうぞお楽しみに！