X (Twitter)

Ultraman: Então vocês não vão lançar novos modelos se eu não construir uma sala de servidores? Aqui está o que rolou na sessão de perguntas e respostas (AMA - Ask Me Anything) do Dark Side of the Moon no Reddit! Está recheada de informações! A maior bomba é a resposta de ComfortAsk449 (supostamente Yang Zhilin) sobre a data de lançamento do Kimi-K3: "Vamos lançá-lo antes que o centro de dados de um trilhão de dólares do Ultraman seja construído!" Hahahaha! Voltando ao assunto principal, permita-me resumir os pontos-chave desta sessão. Acho que abordei muitos tópicos que vocês talvez não conhecessem: Primeiramente, o custo de treinamento de US$ 4,6 milhões é apenas um rumor, mas é certo que não será particularmente alto. A equipe oficial revelou que o treinamento utiliza GPUs H800 + Infiniband, em número inferior às GPUs de ponta disponíveis nos EUA, mas aproveitando ao máximo cada placa. Todos conhecem a precisão int4; optar por int4 é mais amigável para GPUs que não sejam Blackwell, permitindo o uso do kernel Marlin. Com relação ao Kimi K3, é muito provável que conceitos relacionados ao KDA sejam adotados no K3, e novas funcionalidades sejam desenvolvidas incorporando mudanças arquitetônicas significativas. De acordo com observações da comunidade, o lançamento ocorrerá na primeira sexta-feira de cada dois meses (previsto para 9 de janeiro de 2026). Em relação a outros novos modelos, a faixa de 3B a 48B é atualmente a mais solicitada pela comunidade, com forte demanda também para a faixa de 100-120B MoE. Além disso, foi revelado que um novo modelo de linguagem visual pode ser desenvolvido! (Kimi-VL foi mencionado anteriormente). Tecnicamente, o KDA + NoPE MLA supera o MLA completo + RoPE, e o otimizador Muon foi validado pela primeira vez em uma escala de 1T parâmetros. O K2 Thinking utiliza aprendizado por reforço de ponta a ponta para o treinamento do agente. A equipe implementou anteriormente uma janela de contexto de 1M (que era muito custosa na época), e versões futuras aumentarão o comprimento do contexto (atualmente 256K). A equipe reconhece que a versão atual prioriza o desempenho em detrimento da eficiência de tokens e está trabalhando ativamente para aprimorá-la, incorporando a eficiência à função de recompensa. Outra novidade é que a revista OK Computer lançará em breve uma versão "kimi-k2-thinking", com um estilo de escrita especialmente adaptado para evitar bajulação e otimismo excessivo. #moonshotAI #kimik2 #kimik3 #kimivl #AMA