A Cerebras atacou novamente! Eles lançaram o DeepSeek-V3.2, uma versão reduzida. As duas versões são de 508 bytes e 345 bytes, com reduções de tamanho de 25% e 50%, respectivamente. Elas são adequadas para cenários de implantação local com recursos de máquina limitados. O método de poda REAP ainda é utilizado, o qual consegue selecionar e remover especialistas redundantes de forma inteligente para comprimir o modelo MoE. No entanto, para ser honesto, há alguns pontos que precisam ser discutidos. Primeiro, o Cerebras não divulgou mais resultados de testes, apenas os testes HumanEval e MBPP. Esses dois testes não foram disponibilizados quando o DeepSeek lançou oficialmente a versão 3.2 (ou talvez eu simplesmente não os tenha visto). Além disso, o modelo 345B obteve uma pontuação superior ao modelo 508B nesses dois testes. Portanto, recomenda-se que aqueles que pretendem usar esse modelo de poda em larga escala testem seu desempenho específico antes de utilizá-lo.
