E um importante lançamento de ciência aberta: eles não enfatizam o suficiente, mas a parte do SFT vai além do pós-treinamento. Trata-se de um treinamento intermediário totalmente documentado, com muitas informações valiosas sobre treinamento de MoE, RL de infraestrutura assíncrona e pesquisa profunda.
O relatório merece uma leitura atenta (acompanhada de um peru?) por todos os experimentos intermediários, que podem ser reproduzidosstorage.googleapis.com/intellect-3-pa…menores. https://t.co/p9nmK65bdF
