Corea (Upstage) ha entrenado previamente un MoE de clase 100B que, según afirman, es de "nivel empresarial" en Blackwells. El modelo solar anterior que causó sensación fue el 10.7B, un interesante experimento de ampliación en profundidad del Mistral-7B que rivalizó con el Mixtral 8x7B.
Admito que me estoy cansando de ver DS-MoE en todas partes. Whale tiene que reinventar esto una vez más. Lee artículos de Google, identifica ideas útiles, añade las tuyas propias, y así todos dirán "claro" durante dos años más.