Toma de decisiones con información imperfecta en los laboratorios de IA de vanguardia Por favor, sigan a @zpysky1125, investigador principal de Minimax AI, creadores de M2, el modelo OSS líder actual y, hasta donde sé, el primer modelo de pensamiento intercalado OSS. El blog que aparece a continuación, de @zpysky1125, es un blog precioso 💕 si te interesa saber qué pasa por la mente de las personas que forman a másteres en Derecho de vanguardia (SOTA). Se analizan las opciones a las que se enfrentan y cómo toman decisiones con información incompleta. El problema radica en que no se pueden realizar demasiados experimentos con entrenamientos LLM, ya que cada ejecución es muy costosa. Esto difiere del aprendizaje automático convencional. Pengyu explica con mucha honestidad por qué tuvieron que descartar, o mejor dicho, relegar a un segundo plano, su anterior innovación de "atención lineal" que utilizaron para el modelo MiniMax M1, y volver a la "atención completa" para el M2. Abandonaron el árbol tecnológico que habían inventado y tuvieron que desecharlo con gran pesar. Lo comentan con mucha sinceridad. Es algo conmovedor. Pengyu analiza las ventajas del método probado a corto plazo, aunque sea menos eficiente. También explica en qué situaciones reconsideraría la decisión sobre la Atención Lineal. ¡Aprenderás muchísimo! Esta es una perspectiva excepcional sobre la mentalidad de quienes toman decisiones en los laboratorios de vanguardia. Ojalá más laboratorios estadounidenses compartieran esta información. Elige bien tus batallas. Gracias @Hailuo_AI y Pengyu (@zpysky1125) @dwarkesh_sp, @himanshustwts por favor inviten a investigadores chinos (de laboratorios chinos) a su podcast 🇨🇳🇺🇸💕.
