튜링상 수상자 벤지오 박사 연구실에서 가장 많이 인용된 연구 논문은 생성적 적대 신경망(GAN)에 관한 것입니다. 누가 GAN을 발명했을까요? 생성적이고 적대적인 최초의 신경망(NN)은 1990-1991년 뮌헨에서 발표되었습니다. [GAN25] https://t.co/Ev6rSvYiY2 그 당시 컴퓨팅은 오늘날(2025년)보다 약 1,000만 배 더 비쌌습니다. 이 네트워크들은 어떻게 작동할까요? 서로 경쟁하는 두 개의 신경망(NN)이 있습니다. 적응people.idsia.ch/~juergen/who-i…진 소위 제어 신경망(Controller NN)이 출력 데이터를 생성합니다. 이 출력은 예측 신경망(1990년에는 "월드 모델" [GAN90]이라고 불림)에 입력되며, 이 예측 신경망은 경사 하강법을 통해 출력의 효과를 예측합니다. 그러나 최소최대 게임에서는 생성 신경망이 예측 신경망이 최소화한 오차를 최대화합니다. 따라서 제어기는 예측기를 놀라게 하는 실험/상황을 출력으로 만들어내도록 동기를 부여받습니다. 예측기가 향상됨에 따라 이러한 상황은 지루해집니다. 이는 다시 제어기가 예측하기 어려운 결과를 가진 새로운 출력(또는 실험)을 만들어내도록 유도합니다. 이를 인공적 호기심[GAN90][GAN91][GAN10][AC]이라고 합니다. 인공적 호기심은 최초의 적대적 기계 학습 설정은 아니었지만, 이전 연구[S59][H90]는 매우 달랐습니다. 즉, 한 NN이 다른 생성 NN의 출력을 보고 그 결과를 예측하려고 하는 자기 감독 NN을 포함하지 않았고, 데이터 모델링에 관한 것도 아니었고, 경사 하강법을 사용하지 않았습니다. (생성 모델 자체는 훨씬 오래되었습니다. 예: 은닉 마르코프 모델[MM1-3]) 1990년 기술 보고서 [GAN90]의 "동적 호기심과 지루함 구현" 섹션과 1991년 동료 심사 학술대회 논문 [GAN91]을 참조하십시오. 여기에는 (외부 보상이 없는 경우) 예측 변수가 생성 변수가 최대화하는 값의 선형 함수를 최소화하는 예비 실험이 언급되어 있습니다. 따라서 이러한 오래된 논문들은 본질적으로 약 25년 후인 2014년[GAN14]에 GAN으로 알려지게 될 개념을 설명합니다. 당시 컴퓨팅 비용은 1990년보다 약 10만 배 저렴했습니다. 2014년에는 1990년의 신경망 예측 모델 또는 월드 모델[GAN90][GAN91]이 판별 모델[GAN14]로 명명되어 생성기의 가능한 출력(예: 실제 출력 vs. 가짜 출력)의 이진 효과를 예측했습니다[GAN20]. 2014년에 이미지 생성에 적용된[GAN14] 것은 참신했습니다. 1990년 GAN은 2014년 GAN보다 더 일반적이었습니다. 1단계 시행에서 단일 출력 동작에만 국한되지 않고, 긴 동작 시퀀스를 허용했습니다. 인공적인 호기심과 창의성을 위한 더욱 정교한 생성적 적대 신경망(GAN)이 1997년에 발표되었는데[AC97][AC99][AC02][LEC], 원시 데이터 대신 추상적인 내부 표현을 예측했습니다. 1990년 원리[GAN90-91]는 강화 학습[SIN5][OUD13][PAT17][BUR18] 탐색과 딥페이크[GAN14-19b]와 같은 사실적 이미지 합성에 널리 사용되었지만 후자의 영역은 결국 뮌헨에서 발표된 또 다른 방법인 Rombach 등의 잠재 확산[DIF1]에 의해 인수되었으며, 이는 Jarzynski의 이전 천년기 물리학 연구[DIF2]와 최근 논문[DIF3-5]을 기반으로 합니다. 부록 1. GAN 우선권 분쟁(1990-91년 대 2014년) 생성적 적대 신경망(GAN)에 관한 2014년 논문[GAN14]은 생성적 및 적대적 신경망에 관한 원래 1990년 연구[GAN90,91,20][R2][DLP]를 인용하지 못했습니다. 2014년 논문 [GAN14]은 또한 예측성 최소화(1991) [PM0-1][GAN20][DLP]라는 또 다른 기울기 기반 2-네트워크 적대 시스템에 대해 거짓 주장을 했습니다.인공적 호기심에 대한 1990년 논문 [GAN90] 이후 1년 후, 예측성 최소화는 두 학습 NN 간의 싸움을 사용하여 입력 데이터의 분리된 내부 표현(또는 팩토리얼 코드)을 생성했습니다 [PM0-1].2014년 논문 [GAN1]은 예측성 최소화를 인용했지만 미니맥스 게임이 아니므로 GAN과 다르다고 잘못 주장했습니다.그러나 1991년 [PM0-1]과 1996년 [PM2](이미지 포함)의 예측성 최소화 실험은 직접적으로 미니맥스 유형입니다. [GAN14] 저자들의 후속 조사에서도 [DLP] 원저를 인용하지 않았습니다. [GAN14] 저자들은 2014년 논문을 한 번도 수정하지 않았는데, 이는 모순되는 증거에도 불구하고 무차별 대입을 통해 참신한 주장을 펼치려는 의도를 시사합니다. 우선권 논쟁은 2016년 N(eur)IPS 컨퍼런스에서 Juergen Schmidhuber(JS)와 [GAN14]의 첫 번째 저자 사이에 특히 주목할 만한 만남이 있은 후 Bloomberg [AV1]와 같은 대중 언론에 의해 다루어졌습니다.JS는 GAN에 대한 강연을 하며 사람들이 질문하도록 장려했습니다.JS는 N(eur)IPS 2014 논문 [GAN14]의 문제점과 PM [GAN20][DLP]에 대한 이전 연구에 대해 잘못된 주장을 제기한 점을 언급했습니다. 이러한 문제를 공통 논문으로 수정하려는 후속 노력이 수개월 동안 이어졌지만, 성과는 없었습니다. 제1저자[GAN14]는 결국 PM이 적대적임을 인정했지만(수정되지 않은 그의 NeurIPS 논문[GAN14]은 여전히 그 반대 주장을 하고 있습니다), 생성적(generative)이 아니라는 점을 강조했습니다. 이에 대해 JS는 더 이전의 Artificial Curiosity[GAN90][GAN91][GAN20][R2][AC][DLP]가 적대적일 뿐만 아니라 생성적(generative)이라고 지적했습니다(생성자 NN은 StyleGAN[GAN19]과 마찬가지로 확률적 단위[GAN90]를 포함하고 있습니다). 이 주장의 타당성에도 불구하고, [GAN14]의 저자들은 논문을 수정하거나 이에 대응하려는 시도를 하지 않았습니다. 이러한 이유로 2020년에 이 우선권 분쟁에 대한 동료 심사 학술지 논문을 게재하여 [GAN20] 사실을 바로잡았습니다. 물론 표절은 "의도적이지 않거나" "의도적이거나 무모한" 것일 수 있다는 것은 잘 알려진 사실이며[PLAG1-6], 두 가지 중 더 무해한 것이 부분적으로는 그럴 수도 있습니다. 그러나 과학은 "다중 발견"과 표절을 처리하는 잘 확립된 방식을 가지고 있습니다. 의도적이지 않았든[PLAG1-6][CONN21] 아니든[FAKE1-3], 출판물 및 특허의 타임스탬프[DLP][NOB]와 같은 사실을 기반으로 합니다. 과학의 의무론은 의도적이지 않은 표절자가 정정을 통해 자신의 출판물을 수정하고 나중에 원출처를 적절하게 인용하도록 요구합니다. 하지만 저자들은[GAN14] 그렇게 하지 않고 다른 연구자들의 발명품에 대한 인용을 계속 수집했습니다[DLP]. 이러한 행동은 의도적이지 않은 표절[PLAG1-6]조차도 의도적인 표절[FAKE2]로 변질시키는 것으로 보입니다. 참고문헌 [AC] J. Schmidhuber (JS, AI Blog, 2021, 2023년 업데이트). 30년간의 인공적 호기심과 창의성. 우리의 인공 과학자들은 주어진 질문에 답할 뿐만 아니라 새로운 질문을 만들어냅니다. 그들은 다음을 통해 호기심을 얻습니다. (1990) 생성적 적대 신경망(GAN) 원리, (1991) 학습 진행을 극대화하는 신경망, (1995) 정보 이득을 극대화하는 신경망(2011년 이후 최적), (1997-2022) 놀라운 계산 실험의 적대적 설계, (2006) 과학자/예술가/코미디언처럼 압축 진행을 극대화, (2011) PowerPlay... 2012년 이후: 실제 로봇에 적용. [AC97] JS 흥미로운 점은 무엇인가요? 기술 보고서 IDSIA-35-97, IDSIA, 1997년 7월. 복잡한 시공간적 사건에 대한 예측 가능한 내부 추상화의 자동 생성에 초점을 맞춥니다. 내재적 동기를 가진 두 경쟁 에이전트가 본질적으로 임의적인 알고리즘 실험에 합의하고, 제로섬 게임에서 예상치 못한(아직 예측 불가능한) 결과에 베팅합니다. 각 에이전트는 예측 결과에 대해 두 모듈 모두 동의하지 않는 실험 프로토콜을 개발하여 상대방을 따돌리거나 놀라게 함으로써 잠재적으로 이익을 얻습니다. 이 논문은 (입력에서 출력으로의 전통적인 단순 매핑과는 달리) 일반 알고리즘의 공간을 탐색하는 데 중점을 둡니다. 일반 시스템은 세상의 예측 가능한 측면과 예측 불가능한 측면 모두에 대한 관심을 버리고 흥미로운 것에 집중합니다. 내재적 동기를 가진 이전 시스템(예: [AC90])과 달리, 이 시스템은 새로운 기술을 배우고, 언제 무엇을 학습해야 하는지를 학습하는 데 드는 계산 비용도 고려합니다. 이후 출판물 [AC99][AC02]을 참조하십시오. [AC99] JS 공진화를 통한 새로운 알고리즘 예측 가능성 발견에 기반한 인공적 호기심. P. Angeline, Z. Michalewicz, M. Schoenauer, X. Yao, Z. Zalzala 편집, 진화 계산 회의, 1612-1618쪽, IEEE Press, Piscataway, NJ, 1999. [AC02] JS 예측 가능한 것을 탐구하다. Ghosh, S. Tsutsui 편집, 진화 컴퓨팅의 발전, 579-612쪽, Springer, 2002. [AV1] A. Vance. 구글, 아마존, 페이스북은 위르겐 슈미트후버에게 막대한 재산을 빚지고 있다 - 이 남자는 AI 커뮤니티가 잊고 싶어하는 대부다. Business Week, Bloomberg, 2018년 5월 15일. [DEC] JS (AI 블로그, 2020년 2월 20일, 2025년 업데이트). 2010년대: 딥러닝의 10년 / 2020년대 전망. 최근 10년간 AI를 기반으로 한 가장 중요한 발전과 산업 응용 사례를 살펴보고, 2020년대 전망을 제시하며, 개인정보 보호 및 데이터 시장 문제도 다룹니다. [DIF1] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer. 잠재 확산 모델을 이용한 고해상도 영상 합성. CVPR 2022. 사전 인쇄본 arXiv:2112.10752, 뮌헨 LMU, 2021. [DIF2] C. Jarzynski. 비평형 측정값으로부터 얻은 평형 자유 에너지 차이: 마스터 방정식 접근법. Physical Review E, 1997. [DIF3] J. Sohl-Dickstein, EA Weiss, N. Maheswaranathan, S. Ganguli. 비평형 열역학을 사용한 심층 비지도 학습. CoRR, ABS/1503.03585, 2015. [DIF4] O. Ronneberger, P. Fischer, T. Brox. Unet: 생물의학 영상 분할을 위한 합성곱 신경망. MICCAI(3), Lecture Notes in Computer Science 9351권, 234-241쪽. Springer, 2015. [DIF5] J. Ho, A. Jain, P. Abbeel. 확산 확률론적 모델의 잡음 제거. 신경 정보 처리 시스템의 발전 33:6840-6851, 2020. [DL1] JS, 2015. 신경망에서의 딥러닝: 개요. 신경망, 61, 85-117. 더 보기. [DLH] JS (2022). 현대 AI와 딥러닝의 주석이 달린 역사. 기술 보고서 IDSIA-22-22, IDSIA, 스위스 루가노, 2022. 사전 인쇄본 arXiv:2212.11279. [DLP] J. Schmidhuber (2023). 튜링상 수상자 3명이 개발자의 공로를 인정하지 않은 주요 방법과 아이디어를 어떻게 재발행했는가. 기술 보고서 IDSIA-23-23, 스위스 AI 연구소 IDSIA, 2023년 12월 14일. [FAKE1] H. Hopf, A. Krief, G. Mehta, SA Matlin. 가짜 과학과 지식의 위기: 무지는 치명적일 수 있다. Royal Society Open Science, 2019년 5월. 인용문: "과학자들은 소셜 미디어, 전통적인 인쇄 매체 또는 방송 매체에 허위 정보가 게재되는 것을 볼 때 기꺼이 목소리를 내야 합니다." 또한 "유포되는 허위 정보와 가짜 과학에 대해 목소리를 내고, 이를 조장하는 유명 인사들을 강력하게 반박해야 합니다." [FAKE2] L. 스텐플로. 똑똑한 표절자는 가장 위험하다. 네이처, 427권, 777쪽 (2004년 2월). 인용문: "제 생각에 더 심각한 것은 과학자들이 이전 연구 결과를 다른 표현으로 바꿔 쓰고, 의도적으로 아이디어의 출처를 숨긴 다음, 이후 몇 년 동안 새로운 현상을 발견했다고 강력하게 주장하는 경우입니다." [FAKE3] S. Vazire (2020). 오류 감지에 건배합니다. 2020년은 과학의 자기 교정을 보장하는 이들을 소중히 여기는 해가 되기를 바랍니다. Nature, vol. 577, p. 9, 2020년 2월 2일. [GAN90] J. Schmidhuber (JS). 세상을 미분 가능하게 만들기: 비정지 환경에서 동적 강화 학습 및 계획을 위한 완전 순환 자기 지도 신경망 사용. 기술 보고서 FKI-126-90, TUM, 1990. 강화 학습 순환 신경망(NN)을 이용한 계획(더 보기) 및 생성 신경망(NN)이 미니맥스 게임에서 예측 신경망과 경쟁하는 생성적 적대 신경망(GAN)에 관한 최초의 논문. [GAN91] JS 모델 구축 신경 제어기에서 호기심과 지루함을 구현할 수 있는 가능성. JA Meyer와 SW Wilson(편집자), 적응 행동 시뮬레이션 국제 학술 대회 논문집: 동물에서 애니매이션까지, 222-227쪽. MIT Press/Bradford Books, 1991. [GAN90]을 기반으로 함. [GAN10] JS 창의성, 재미, 그리고 내재적 동기에 대한 형식 이론(1990-2010). IEEE 자율 정신 발달 저널, 2(3):230-247, 2010. 이 유명한 2010년 조사는 1990년대의 생성적 적대 신경망(generative adversarial NN)을 다음과 같이 요약했습니다. "신경망을 예측 세계 모델로 사용하여 제어기의 내재적 보상을 극대화하는데, 이 보상은 모델의 예측 오차에 비례합니다"(이 오차는 최소화됩니다). [GAN10b] O. Niemitalo. 변수 맥락 내에서 결측 데이터를 생성하도록 인공 신경망을 학습하는 방법. 블로그 게시물, 인터넷 아카이브, 2010. GAN의 기본 아이디어[GAN90-91][GAN20][AC]를 설명하는 블로그 게시물. [GAN14] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio. 생성적 적대 신경망. NIPS 2014, 2672-2680, 2014년 12월. JS의 1990년 최초 GAN 원리[GAN90-91][GAN20][AC][R2][DLP]를 인용하지 않고 예측 가능성 최소화를 위한 JS의 적대적 신경망에 대한 잘못된 주장을 포함하는 GAN에 대한 설명[PM0-2][GAN20][DLP]. [GAN19] T. Karras, S. Laine, T. Aila. 생성적 적대 신경망을 위한 스타일 기반 생성기 아키텍처. IEEE 컴퓨터 비전 및 패턴 인식(CVPR) 학술대회 논문집, 4401-4410쪽, 2019. [GAN19b] D. Fallis. 딥페이크의 인식적 위협. 철학과 기술 34.4(2021):623-643. [GAN20] J. Schmidhuber. 생성적 적대 신경망은 인공적 호기심의 특수한 사례이며(1990), 예측 가능성 최소화와도 밀접한 관련이 있다(1991). 신경망, 127권, 58-66쪽, 2020. 사전 인쇄본 arXiv/1906.04493. [GAN25] J. Schmidhuber. 누가 생성적 적대 신경망을 발명했을까? 기술 노트 IDSIA-14-25, IDSIA, 2025년 12월. 위 링크 참조. [H90] WD Hillis. 공진화 기생충은 최적화 절차로서 모의 진화를 개선한다. Physica D: 비선형 현상, 42(1-3):228-234, 1990. [LEC] JS (AI 블로그, 2022). 르쿤의 2022년 자율 기계 지능 논문은 1990년부터 2015년까지의 핵심 연구를 재조명하지만 인용하지는 않았습니다. 수년 전, JS 팀은 Y. 르쿤이 "주요 독창적 기여"라고 부르는 대부분의 논문을 발표했습니다. 즉, 여러 시간 척도와 추상화 수준을 학습하고, 하위 목표를 생성하고, 내재적 동기를 활용하여 세계 모델을 개선하고, 계획을 세우는 신경망(1990년), 정보를 제공하고 예측 가능한 표현을 학습하는 컨트롤러(1997년) 등이 있습니다. 이는 Hacker News, Reddit, 그리고 언론에서도 논의되었습니다. 르쿤은 또한 "2012년부터 2022년까지의 5가지 최고의 아이디어"를 나열했지만, 대부분이 JS 연구실에서 나온 것이거나 그보다 더 오래된 것이라는 사실은 언급하지 않았습니다. [MIR] JS (2019년 10월, 2021년, 2022년, 2025년 업데이트). 딥러닝: 우리의 기적적인 1990-1991년. 사전 인쇄본 arXiv:2005.05744. [MOST] JS(AI 블로그, 2021, 2025년 업데이트). 가장 많이 인용된 신경망은 모두 저의 연구실에서 수행한 작업을 기반으로 합니다. 1. 20세기 가장 많이 인용된 AI인 장단기 기억(LSTM). 2. 21세기 가장 많이 인용된 AI인 ResNet(개방형 게이트 고속도로 네트워크). 3. AlexNet 및 VGG Net(2011년의 유사하지만 더 이른 DanNet은 이전에 4개의 이미지 인식 과제에서 우승했습니다). 4. GAN(1990년의 적대적 인공 호기심의 한 예). 5. 변압기 변형 - 1991년 비정규화 선형 변압기(ULTRA) 참조. 생성 AI의 기초는 1991년에 출판되었습니다. GAN의 원리(현재 딥페이크에 사용됨), 변압기(ChatGPT의 T), 딥 NN의 사전 학습(ChatGPT의 P), NN 증류 및 유명한 DeepSeek. [NOB] JS 표절에 대한 노벨상. 기술 보고서 IDSIA-24-24(2024년 12월 7일, 2025년 10월 업데이트). [PLAG1] 옥스포드 표절 유형 가이드(2021). 인용문: "표절은 의도적일 수도 있고, 무모할 수도 있으며, 의도치 않을 수도 있습니다." [PLAG2] 잭슨 주립 커뮤니티 칼리지(2022). 의도치 않은 표절. [PLAG3] RL Foster. 의도치 않은 표절 방지. 소아 간호 전문가 저널; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. 의도적이든 아니든 표절은 절대 용납될 수 없습니다. 인도 대학의 표절 처리 지침에 대한 참고 자료. Perspect Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). 의도치 않은 표절이란 무엇인가? 인터넷 아카이브에 복사하세요. [PLAG6] 저작권 보호됨(2022). 우발적 또는 의도치 않은 표절을 피하는 방법(2023). 인터넷 아카이브에 게시됨. 인용문: "우발적이든 의도적이든 표절은 여전히 표절입니다." [PLAG7] 코넬 리뷰, 2024. 하버드 총장, 표절 스캔들로 사임. 2024년 1월. [PLAN] JS (AI Blog, 2020). 순환 세계 모델과 인공적 호기심을 활용한 계획 및 강화 학습 30주년(1990). 이 연구는 고차원 보상 신호, RNN을 위한 결정론적 정책 기울기, 그리고 오늘날 널리 사용되는 GAN 원리를 도입했습니다. 적응형 순환 세계 모델을 사용하는 에이전트는 의식과 자기 인식에 대한 간단한 설명까지 제시합니다. [PLAN2] JS 반응형 환경에서 동적 강화 학습 및 계획을 위한 온라인 알고리즘. 1990년 6월 17일~21일, 샌디에이고에서 개최된 IEEE/INNS 국제 신경망 공동 학술대회 논문집, 제2권, 253-258쪽. [GAN90]을 기반으로 함. [PLAN3] JS 마르코프 및 비마르코프 환경에서의 강화 학습. RP Lippman, JE Moody, DS Touretzky 편집, Advances in Neural Information Processing Systems 3, NIPS'3, 500-506쪽. 캘리포니아주 샌마테오: Morgan Kaufmann, 1991. [GAN90]을 부분적으로 기반으로 함. [PM0] J. Schmidhuber. 예측 가능성 최소화를 통한 요인 코드 학습. TR CU-CS-565-91, 콜로라도 대학교 볼더 캠퍼스, 1991. [PM1] JS 예측 최소화를 통한 요인 코드 학습. 신경 계산, 4(6):863-879, 1992. [PM2] JS, M. Eldracher, B. Foltin. 반선형 예측성 최소화를 통해 잘 알려진 특징 검출기를 생성할 수 있음. Neural Computation, 8(4):773-786, 1996. [R2] Reddit/ML, 2019. J. Schmidhuber는 실제로 1990년에 GAN을 가지고 있었습니다. [S59] AL Samuel. 체커 게임을 이용한 기계 학습 연구. IBM Journal on Research and Development, 3:210-229, 1959.
