Históricamente, OpenAI ha multiplicado por 100 el cálculo de entrenamiento con cada nueva generación de su GPT. Sin embargo, GPT-5 parece ser una excepción a esta tendencia. 🧵
GPT-4 se entrenó con operaciones de punto flotante de 2e25, y OpenAI indicó que GPT-4.5 tuvo una ampliación de escala de aproximadamente un orden de magnitud (10x). Aún no disponemos de una estimación rigurosa, pero la escala de cómputo de GPT-5 podría estar *entre* GPT-4 y GPT-4.5, y probablemente no represente una ampliación de escala significativa desde 4.5.
El cómputo de entrenamiento se escala con el tamaño del modelo × los datos de entrenamiento. GPT-5 es rápido y bastante económico en la API, con tokens de salida 15 veces más económicos y una entrega entre 2 y 4 veces más rápida que GPT-4.5 en el lanzamiento. Esto sugiere que GPT-5 es un modelo mucho más pequeño que GPT-4.5.
Desconocemos la cantidad de datos con los que se entrenó GPT-5. Sin embargo, dado que escalar los datos previos al entrenamiento fue un gran desafío para GPT-4.5 hace tan solo seis meses, es probable que GPT-5 no utilizara una cantidad significativamente mayor de datos reales. También utilizó datos sintéticos de o3, pero priorizando la calidad, no la cantidad.
Nuestra conclusión de que GPT-5 no es una mejora de 100x respecto de GPT-4 fue confirmada por Rohan Pandey (anteriormente OpenAI), al menos en tx.com/khoomeik/statu…ento.
Las empresas también están escalando rápidamente el aprendizaje de refuerzo, que sigue al preentrenamiento tradicional, para mejorar el razonamiento y otras habilidades. Por ejemplo, OpenAI multiplicó por diez el cálculo de RL entre o1 y o3.
Sin embargo, la mayoría de los modelos hasta la fecha se basaban principalmente en cálculos previos al entrenamiento. Escalar eficientemente el aprendizaje automático (RL) requerirá investigación sobre datos, entornos y modelos de recompensa, y GPT-5 probablemente sea demasiado pronto para alcanzar la escala de GPT-4.5 solo mediante el aprendizaje automático, y mucho menos para alcanzar una nueva frontera en la computación.
La escalabilidad computacional de GPT-5 tiene implicaciones para la trayectoria de la IA. OpenAI podría considerar que el escalamiento es relativamente poco prometedor por ahora, quizás debido a los costos de inferencia. Pero si GPT-5 no establece una nueva frontera computacional, tienen margen para ciclos de iteración más rápidos y futuras ampliaciones de escala.
Estaremos atentos para obtener más evidencia sobre cómo se entrenó GPT-5. ¡Estén atentos!