Excelente nuevo lanzamiento de modelo abierto de todo de Nvidia con experimentaciones reales en el aspecto de diseño de modelos (y refuerza mi sensación de que tratar con el razonamiento del sintetizador crea nuevos incentivos en este frente).
Curiosamente, el primer plan de cómputo LLM de Pleia era bastante parecido: una mezcla de mamba híbrida de rango 30-50b de expertos entrenados en sintetizador (de enero de 2024, lamentablemente nunca financiado).
