Excellente nouvelle version open-tout de Nvidia avec de véritables expérimentations sur la conception des modèles (et cela renforce mon sentiment que la prise en compte du raisonnement synthétique crée de nouvelles incitations dans ce domaine).
Curieusement, le premier plan de calcul LLM de Pleias était assez proche : un mélange hybride mamba de 30 à 50 milliards d'utilisateurs formés par des experts sur la synthèse (datant de janvier 2024, malheureusement jamais financé).
