Una de las razones por las que soy más optimista que nunca sobre los "LLM" es que, esencialmente, *nadie* en el campo es ya un maximalista del pase hacia adelante de las DNN o un maximalista de la auto-supervisión. No tiene el mismo significado que los LLM de 2020-22.
Sin embargo, como siempre, una vez que se logra una capacidad con un sistema, es fácil destilarla de nuevo en pesos del modelo:
Contexto más amplio aquí: