SÍ. La principal razón por la que el preentrenamiento clásico dominó durante tanto tiempo es que no hay que pensar tanto en los datos ni en lo que provoca el razonamiento. Está "aquí". (Para el nuevo podcast de Sutskever/Patel)
El pre-entrenamiento tal como lo conocemos terminará, pero definitivamente quieres pre-entrenamiento (¿o es entrenamiento?).
Habrá que ver qué construye realmente, pero realmente lo está consiguiendo.
Tienes que leer a través de líneas y ausencias tácticas (s____h) pero esto fue más interesante que el de Karpathy.dwarkesh.com/p/ilya-sutskev…W