Um dos motivos pelos quais estou mais otimista do que nunca em relação aos "LLMs" é que, essencialmente, *ninguém* na área é mais um maximalista de passagem direta de DNN ou um maximalista de autossupervisão. Não tem o mesmo significado que os LLMs de 2020-2022.
Contudo, como sempre, uma vez que uma capacidade é alcançada com um sistema, é fácil destilá-la de volta em pesos de modelo:
Contexto mais amplo aqui: