Lo único que podrá reemplazar a MoE es un mejor MoE. De todos modos, “MoE” es un nombre inapropiado (a pesar de los esfuerzos de DeepSeek por promover la especialización de FFN). @main_horse lo dijo mejor: Modelos enrutados dispersos. 1) Mayor escasez. 2) Enrutamiento más sólido y diferenciable. Aquí está tu gran oportunidad.
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.