X (Twitter)

Ultraman : Donc vous ne sortirez pas de nouveaux modèles si je ne construis pas de salle serveur ? Voici les réponses à vos questions (AMA – Ask Me Anything) de Dark Side of the Moon sur Reddit ! C'est une mine d'informations ! La plus grosse bombe, c'est la réponse de ComfortAsk449 (qui serait Yang Zhilin) à la date de sortie de Kimi-K3 : « On le sortira avant même que le centre de données à mille milliards de dollars d'Ultraman soit construit ! » Hahahaha ! Pour revenir au sujet principal, permettez-moi de résumer les points clés de cette session. Je pense avoir abordé de nombreux points que vous ignoriez peut-être auparavant : Tout d'abord, le coût de formation de 4,6 millions de dollars n'est qu'une rumeur, mais il est certain que ce coût ne sera pas particulièrement élevé. L'équipe officielle a révélé que la formation utilise des GPU H800 avec Infiniband, moins nombreux que les GPU haut de gamme américains, mais exploités au maximum. La précision int4 est bien connue ; ce choix est plus compatible avec les GPU autres que Blackwell, permettant ainsi l'utilisation du noyau Marlin. Concernant Kimi K3, il est fort probable que les concepts liés à KDA soient intégrés et que de nouvelles fonctionnalités soient développées grâce à d'importantes modifications architecturales. D'après les observations de la communauté, sa sortie aura lieu le premier vendredi de chaque période de deux mois (prévisionnellement le 9 janvier 2026). Concernant les autres nouveaux modèles, la gamme 3B à 48B est actuellement la plus demandée par la communauté, avec une forte demande également pour la gamme 100-120B MoE. De plus, il a été révélé qu'un nouveau modèle de langage visuel pourrait être développé ! (Kimi-VL a été mentionné précédemment). Techniquement, KDA + NoPE MLA surpasse MLA + RoPE, et l'optimiseur Muon a été validé pour la première fois à l'échelle d'un T de paramètres. K2 Thinking utilise l'apprentissage par renforcement de bout en bout pour l'entraînement des agents. L'équipe avait précédemment implémenté une fenêtre de contexte d'un million d'éléments (trop coûteuse à l'époque), et les versions futures augmenteront la longueur du contexte (actuellement de 256 000 éléments). L'équipe reconnaît que la version actuelle privilégie la performance à l'efficacité des jetons et travaille activement à son amélioration, en intégrant l'efficacité dans la fonction de récompense. Parmi les autres nouvelles, on apprend qu'OK Computer sortira bientôt une version « kimi-k2-thinking », avec un style d'écriture spécialement adapté qui évite la flatterie et l'optimisme excessif. #moonshotAI #kimik2 #kimik3 #kimivl #AMA