A Korea (Upstage) pré-treinou um MoE da classe 100B que eles afirmam ser de "nível empresarial" na Blackwells. O modelo solar anterior que causou sensação foi o 10.7B, um experimento interessante de ampliação da profundidade do Mistral-7B que rivalizou com o Mixtral 8x7B.
Admito que estou cansado de ver DS-MoE em todo lugar. Whale precisa reinventar isso mais uma vez. Leia os artigos do Google, identifique as ideias principais que podem ser aproveitadas, adicione as suas próprias, e então todos dirão "ah, claro" por mais dois anos.