Historicamente, a OpenAI ampliou a capacidade de treinamento em cerca de 100 vezes a cada nova geração do seu GPT. No entanto, o GPT-5 parece ser uma exceção a essa tendência. 🧵
O GPT-4 foi treinado em operações de ponto flutuante 2e25, e a OpenAI afirmou que o GPT-4.5 representava uma ampliação de escala de aproximadamente uma ordem de grandeza (10x). Ainda não temos uma estimativa rigorosa, mas a escala computacional do GPT-5 pode estar *entre* o GPT-4 e o GPT-4.5, e provavelmente não representa uma ampliação muito grande em relação ao 4.5.
O treinamento computacional é escalonado com base no tamanho do modelo × dados de treinamento. O GPT-5 é rápido e relativamente barato na API, com tokens de saída 15 vezes mais baratos e servidos de 2 a 4 vezes mais rápido que o GPT-4.5 no lançamento! Isso sugere que o GPT-5 é um modelo muito menor que o GPT-4.5.
Não sabemos quantos dados o GPT-5 utilizou para treinamento. Mas, como o escalonamento de dados pré-treinamento foi um grande desafio para o GPT-4.5 há apenas seis meses, o GPT-5 provavelmente não utilizou uma quantidade significativamente maior de dados reais. Também utilizou dados sintéticos do o3, mas com foco na qualidade, não na quantidade.
Nossa conclusão de que o GPT-5 não é uma ampliação de 100x do GPT-4 foi confirmada por Rohan Pandey (anteriormente OpenAI), pelo menos em termos de pré-treinamento.
As empresas também estão expandindo rapidamente o aprendizado por reforço, que segue o pré-treinamento tradicional, para aprimorar o raciocínio e outras habilidades. Por exemplo, a OpenAI ampliou a computação RL em 10 vezes entre o1 e o3.
Mas a maioria dos modelos até o momento era majoritariamente computação pré-treinamento. Ampliar a RL de forma eficiente exigirá pesquisa sobre dados, ambientes e modelos de recompensa, e o GPT-5 provavelmente é muito cedo para atingir a escala do GPT-4.5 apenas por meio da RL, muito menos para atingir uma nova fronteira na computação.
A escala computacional do GPT-5 tem implicações para a trajetória da IA. A OpenAI pode achar que a escalabilidade é relativamente pouco promissora por enquanto, talvez devido aos custos de inferência. Mas se o GPT-5 não estabelecer uma nova fronteira computacional, eles têm espaço para ciclos de iteração mais rápidos e futuras expansões.
Estaremos atentos a mais evidências sobre como o GPT-5 foi treinado. Fique ligado!