Y un importante lanzamiento de ciencia abierta: no lo enfatizan lo suficiente, pero la parte de SFT va más allá del post-entrenamiento. Este es un entrenamiento intermedio completamente documentado con muchísima información valiosa sobre entrenamiento de MoE, aprendizaje automático de infraestructura asincrónico e investigación profunda.
Vale la pena leer atentamente el informe (¿antes de comer un pavo?) por todos los experimentos intermedios, incluso reproducibles costorage.googleapis.com/intellect-3-pa… https://t.co/p9nmK65bdF
