X (Twitter)

Ultraman: ¿Así que no lanzaréis nuevos modelos si no construyo una sala de servidores? ¡Aquí tenéis lo más destacado de la sesión de preguntas y respuestas (AMA) de Dark Side of the Moon en Reddit! ¡Está repleta de información! La mayor bomba es la respuesta de ComfortAsk449 (se rumorea que es Yang Zhilin) a la fecha de lanzamiento de Kimi-K3: "¡Lo lanzaremos antes de que se construya el centro de datos de un billón de dólares de Ultraman!" ¡Jajajaja! Volviendo al tema principal, permítanme resumir los puntos clave de esta sesión. Creo que he abarcado muchos aspectos que quizás desconocían: En primer lugar, el coste de entrenamiento de 4,6 millones de dólares es solo un rumor, pero es seguro que no será particularmente elevado. El equipo oficial reveló que el entrenamiento utiliza GPU H800 + Infiniband, menos numerosas que las GPU de gama alta en EE. UU., pero aprovechando al máximo cada tarjeta. Todos conocen la precisión int4; elegir int4 es más compatible con las GPU que no son Blackwell, lo que permite el uso del kernel Marlin. En cuanto a Kimi K3, es muy probable que se adopten conceptos relacionados con KDA y que se desarrollen nuevas funcionalidades mediante cambios arquitectónicos significativos. Según observaciones de la comunidad, se lanzará el primer viernes de cada dos meses (se prevé que sea el 9 de enero de 2026). En cuanto a otros modelos nuevos, el rango de 3B a 48B es actualmente el más solicitado por la comunidad, con una fuerte demanda también para el rango de 100-120B del Modelo de Excelencia (MoE). Además, se ha revelado que podría desarrollarse un nuevo modelo de lenguaje visual (Kimi-VL ya se había mencionado). Técnicamente, KDA + NoPE MLA supera a MLA completo + RoPE, y el optimizador Muon se ha validado por primera vez a una escala de 1T parámetros. K2 Thinking utiliza aprendizaje por refuerzo de extremo a extremo para el entrenamiento de agentes. El equipo implementó previamente una ventana de contexto de 1M (que resultaba demasiado costosa en ese momento), y las versiones futuras aumentarán la longitud del contexto (actualmente 256K). El equipo reconoce que la versión actual prioriza el rendimiento sobre la eficiencia de tokens y está trabajando activamente para mejorarla, incorporando la eficiencia en la función de recompensa. Otras noticias incluyen que OK Computer pronto lanzará una versión kimi-k2-thinking, con un estilo de escritura especialmente adaptado que evita la adulación y el optimismo excesivo. #moonshotAI #kimik2 #kimik3 #kimivl #AMA