在前沿人工智能实验室中,如何利用不完全信息做出决策 请关注 @zpysky1125 - Minimax AI 的首席研究员 - M2 的创建者,据我所知,M2 是目前领先的开源软件模型,也是第一个开源软件交错思维模型。 以下这篇由 @zpysky1125 撰写的博客非常精彩💕,如果您对培养最先进(SOTA)LLM 的人们的想法感兴趣,请继续阅读。 它探讨了他们面临的选择类型,以及他们如何在信息不完全的情况下做出决策。问题在于,使用LLM训练无法进行过多的实验,因为每次运行的成本都非常高。这与传统的机器学习不同。 彭宇非常坦诚地讨论了他们为什么不得不放弃,或者说搁置,他们之前在 MiniMax M1 型号中使用的“线性注意力”创新技术,而重新在 M2 型号中采用“完全注意力”技术。 他们放弃了自己发明的技术树,不得不忍痛割爱。他们坦诚地讨论此事,语气真挚感人。 彭宇讨论了短期内行之有效方法的优势——即使它的效率可能较低。他们还讨论了在哪些情况下会重新考虑使用线性注意力机制。你会学到很多东西! 这是了解前沿实验室决策者思维的难得机会。我们希望美国实验室能更多地分享这种信息。 明智地选择你的战场。 感谢@Hailuo_AI 和鹏宇 (@zpysky1125) @dwarkesh_sp,@himanshustwts 请邀请中国研究人员(来自中国实验室)参加你们的播客节目🇨🇳🇺🇸💕。
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
