La Corée (Upstage) a pré-entraîné un MoE de classe 100B qu'elle qualifie de « qualité entreprise » sur Blackwell. Le précédent modèle Solar qui avait fait sensation était le 10.7B, une expérience intéressante de mise à l'échelle en profondeur du Mistral-7B qui rivalisait avec le Mixtral 8x7B.
J'avoue que je commence à en avoir marre de voir DS-MoE partout. Whale doit encore une fois réinventer la roue. Lire les articles de Google, repérer les idées intéressantes, y ajouter les siennes, et tout le monde dira « ah oui, bien sûr » pendant encore deux ans.