Cerebras a encore frappé ! Ils ont sorti DeepSeek-V3.2, une version allégée. Les deux versions, de 508 octets et 345 octets, présentent des réductions de taille respectives de 25 % et 50 %. Elles conviennent aux déploiements locaux sur des machines aux ressources limitées. La méthode d'élagage REAP est toujours utilisée ; elle permet de sélectionner et de supprimer intelligemment les experts redondants afin de compresser le modèle MoE. Cependant, il faut bien l'avouer, certains points méritent d'être discutés. Premièrement, Cerebras n'a pas publié davantage de résultats de tests, seulement ceux des tests HumanEval et MBPP. Ces deux tests n'étaient pas disponibles lors de la sortie officielle de la version 3.2 de DeepSeek (ou peut-être ne les ai-je tout simplement pas vus). De plus, 345B a obtenu de meilleurs résultats que 508B lors de ces deux tests. Par conséquent, il est recommandé à ceux qui envisagent d'utiliser ce modèle d'élagage à grande échelle de tester eux-mêmes ses performances spécifiques avant de l'utiliser.
