Jürgen Schmidhuber(@SchmidhuberAI)의 스레드

LeCun의 "세계 모델"[9]을 사용한 물리적 AI에 관한 새로운 회사는 2014년 우리 회사[1]와 매우 유사해 보입니다. 그는 제가 수십 년 전에 발표한 내용을 출처 표기 없이 다시 언급했습니다[2][3]. 신경 세계 모델에 관한 1990-2018년 논문[4-7]을 참조하십시오. [1] NNAISENSE는 2014년에 설립된 물리적 세계의 AI를 위한 AGI 회사로, 신경망 세계 모델(NWM)을 기반으로 합니다. J. Schmidhuber(JS)는 이 회사의 사장 겸 최고 과학자였습니다. 그의 1990-2015년 NWM 논문(예: [4-5])과 Wayback Machine 인터넷 아카이브에 있는 2020년 NNAISENSE 웹페이지(첨부 이미지 참조)를 참조하십시오. (그러나 최근 NNAISENSE는 AGI에 대한 집중도가 낮아지고 자산 관리에 초점을 맞추는 등 더욱 전문화되었습니다.) [2] JS, AI 블로그(2022). LeCun의 2022년 자율 기계 지능에 관한 논문은 1990-2015년의 핵심 작업을 재탕하지만 인용하지는 않습니다. 수년 전, JS는 LeCun이 "주요 독창적 기여"라고 부르는 대부분의 연구 결과를 발표했습니다. 여기에는 여러 시간 척도와 추상화 수준을 학습하고, 하위 목표를 생성하고, 내재적 동기를 사용하여 세계 모델을 개선하고, 계획을 세우는 신경망(1990), 유용한 예측 가능한 표현을 학습하는 제어기(1997) 등이 포함됩니다. 이 내용은 Hacker News, Reddit, 그리고 언론에서도 논의되었습니다. LeCun은 또한 "2012-2022년 최고의 아이디어 5가지"를 선정하면서 그 대부분이 JS 연구실의 연구 결과이거나 그보다 오래된 것이라는 사실은 언급하지 않았습니다. 이와 관련된 인기 트윗은 다음과 같습니다. https://t.co/kn7KhFHLvw https://t.co/FxALILsNRu https://t.co/caTuctmztu https://t.co/Rpip8HBzPA [3] 튜링상 수상자 3명이 창작자에게 크레딧을 주지 않은 핵심 방법과 아이디어를 재출판한 방법. 기술 보고서 ​​IDSIA-23-23, 스위스 AI 연구소 IDSIA, 2023. 섹션 3부터 시작하는 것이 가장 좋습니다. [8]도 참조하세요. 이와 관련된 인기 트윗: https://t.co/0fJVklXyOr [4] JS (1990). 세상을 차별화하기: 비정상 환경에서 동적 강화 학습 및 계획을 위한 완전 순환 자기 지도 신경망 사용에 관하여. TR FKI-126-90, TUM. 이 보고서는 환경과 별도의 제어 신경망의 행동 결과를 예측하도록 학습하는 순환 신경망에 대해 "세계 모델"이라는 용어를 사용했습니다. 또한 생성적 적대 신경망을 통해 "인공적 호기심"과 "내재적 동기"를 도입했습니다. 이는 많은 후속 논문으로 이어졌습니다. [4b] JS (2002). 예측 가능한 것의 탐구. Ghosh, S. Tsutsui 편, 진화 컴퓨팅의 발전, 579-612쪽, Springer, 2002. 픽셀을 예측하지 마세요 - 복잡한 시공간적 사건의 예측 가능한 내부 표현/추상화를 찾으세요! [5] JS (2015). 사고 학습에 관하여: RL 컨트롤러와 순환 신경 세계 모델의 새로운 조합을 위한 알고리즘 정보 이론. ArXiv 1210.0118. 강화 학습(RL) 프롬프트 엔지니어와 적응형 사고 체인을 소개합니다. RL 신경망은 추상적 추론 및 의사 결정을 위해 "세계 모델" 네트워크에 질의하는 방법을 학습합니다. 1990년대 신경 세계 모델[4]을 넘어 밀리초 단위 계획을 수행합니다. 10주년 기념 트윗을 참조하세요: https://t.co/3FYt4x2PMM [6] JS (2018). 모든 것을 위한 하나의 큰 네트워크. arXiv 1802.08864. [5]의 강화 학습기와 세계 모델(예: 기초 모델)을 1991년 JS의 신경망 증류 절차를 사용하여 단일 네트워크로 통합합니다. DeepSeek 트윗 참조: https://t.co/HIVU8BWAaS [7] David Ha & JS. 세계 모델. NeurIPS 2018. [8] 합성곱 신경망을 누가 발명했나요? 기술 노트 IDSIA-17-25, IDSIA, 2025. 이 주제에 대한 인기 트윗: https://t.co/6eDUT8qcNE https://t.co/chfcmk253b https://t.co/h27y6Ni2CA https://t.co/Rpip8HBzPA [9] Sifted.eu(2024년 12월 18일). Yann LeCun, 새로운 AI 스타트업을 위해 30억 유로의 기업 가치로 5억 유로 투자 유치. Meta의 전 임원은 지난달 "세계 모델"을 구축하는 새로운 프로젝트를 시작한다고 발표했습니다. 인용문: "새로운 회사는 오늘날의 대규모 언어 모델(LLM)처럼 단순히 텍스트를 생성하는 대신 물리적 세계를 이해할 수 있는 시스템인 '세계 모델'에 집중할 것입니다." [1] 참조.