SIM. A principal razão pela qual o pré-treinamento clássico dominou por tanto tempo é simplesmente porque você não precisa pensar muito sobre os dados ou o que leva ao raciocínio. Está tudo "aqui". (Para o novo podcast de Sutskever/Patel)
O pré-treinamento, como o conhecemos, chegará ao fim, mas você definitivamente vai querer um pré-treinamento (ou seria treinamento?).
Resta saber o que ele realmente vai construir, mas ele está entendendo do assunto.
É preciso analisar as linhas e as ausências táticas (s____h), mas esta foi mais interessante do que a de Karpathy.dwarkesh.com/p/ilya-sutskev…W