Prendre des décisions avec des informations imparfaites dans les laboratoires d'IA de pointe Veuillez suivre @zpysky1125 - chercheur principal chez Minimax AI - créateurs de M2, le modèle OSS leader actuel et, à ma connaissance, le premier modèle de pensée entrelacée OSS. Le blog ci-dessous de @zpysky1125 est un magnifique blog 💕 si vous vous intéressez à ce qui se passe dans la tête des personnes qui forment des LLM de pointe (SOTA). Ce document examine les choix qui leur sont proposés et la manière dont ils prennent des décisions avec des informations incomplètes. Le problème réside dans le fait qu'il est impossible de réaliser un grand nombre d'expériences avec les entraînements LLM, chaque exécution étant très coûteuse. Ceci diffère de l'apprentissage automatique conventionnel. Pengyu explique très honnêtement pourquoi ils ont dû abandonner, ou plutôt mettre de côté, leur innovation précédente de « l'attention linéaire » qu'ils avaient utilisée pour le modèle MiniMax M1, et revenir à l'« attention totale » pour le M2. Ils ont abandonné l'arbre technologique qu'ils avaient inventé et ont dû s'en séparer à contrecœur. Ils en parlent avec une grande sincérité. C'est un sujet poignant. Pengyu aborde les avantages de la méthode éprouvée à court terme, même si elle peut s'avérer moins efficace. L'équipe examine également les situations dans lesquelles elle reconsidérera sa décision concernant l'attention linéaire. Vous apprendrez énormément ! Voilà un aperçu rare de la façon de penser des décideurs dans les laboratoires de pointe. Espérons que davantage de laboratoires américains partageront leurs connaissances. Choisissez vos batailles avec soin. Merci @Hailuo_AI et Pengyu (@zpysky1125) @dwarkesh_sp, @himanshustwts, veuillez inviter des chercheurs chinois (de laboratoires chinois) à votre podcast 🇨🇳🇺🇸💕.
