Artículo con alfa muy alto sobre la capacitación de Modern MoE Esto también demuestra lo valioso que es usar un clúster grande (obvio), si logras que tus paralelismos funcionen. Muchos problemas se vuelven más fáciles de resolver a escala; no se trata solo de convertir tokens en gradientes más rápido.
