Cerebras a publié une version allégée du MiniMax-M2 ! Cette fois, le MiniMax-M2 a été rétrogradé de 230B à 162B (élagage de 30%), et les performances n'ont que légèrement diminué. Permettez-moi également de présenter le principe d'élagage REAP() : il évalue la fréquence et l'intensité d'activation de chaque expert par le routeur (seuil de routage), ainsi que l'importance de la contribution de chaque expert à la sortie (norme d'activation de l'expert). Il sélectionne et élimine ensuite les experts qui contribuent le moins à la sortie de la couche. Enfin, il effectue un réglage fin, permettant ainsi d'obtenir des performances accrues. Adresse du modèle :
Données du modèle
