최첨단 AI 연구실에서 불완전한 정보로 의사 결정 내리기 @zpysky1125를 팔로우해 주세요. Minimax AI의 수석 연구원인 Minimax AI는 현재 선도적인 OSS 모델이자 제가 아는 한 최초의 OSS 인터리브 사고 모델인 M2를 만든 사람입니다. @zpysky1125의 아래 블로그는 아름다운 블로그입니다 💕 최첨단(SOTA) LLM을 교육하는 사람들의 생각 속에서 무슨 일이 일어나는지 궁금하다면 꼭 읽어보세요. LLM 학습에서는 어떤 선택이 주어지고, 불완전한 정보로 어떻게 결정을 내리는지 논의합니다. 문제는 LLM 학습으로는 너무 많은 실험을 실행할 수 없다는 점입니다. 각 실험마다 비용이 많이 들기 때문입니다. 이는 기존 ML과는 다릅니다. 펭규는 MiniMax M1 모델에서 사용했던 '선형 주의'라는 이전 혁신 기술을 왜 폐기하거나, 오히려 뒷전으로 미루고, M2에서는 '전체 주의'로 돌아가야 했는지에 대해 매우 솔직하게 설명합니다. 그들은 자신들이 발명한 기술 나무를 버리고 무거운 마음으로 버려야 했습니다. 그들은 매우 솔직하게 그것에 대해 이야기합니다. 진심 어린 이야기입니다. 펭규는 단기적으로는 효율성이 떨어질 수 있지만, 검증된 경로의 장점에 대해 이야기합니다. 또한 어떤 상황에서 선형 주의에 대한 결정을 다시 검토해야 하는지에 대해서도 이야기합니다. 정말 많은 것을 배우게 될 것입니다!!!! 이는 최첨단 연구실의 의사결정권자들의 사고방식을 엿볼 수 있는 흔치 않은 통찰입니다. 미국 연구실에서 이러한 정보를 더 많이 공유할 수 있기를 바랍니다. 전투를 현명하게 선택하세요. @Hailuo_AI와 Pengyu(@zpysky1125)에게 감사드립니다. @dwarkesh_sp, @himanshustwts 중국 연구원(중국 연구소 출신)을 팟캐스트에 초대해 주세요 🇨🇳🇺🇸💕.
