Jürgen Schmidhuber(@SchmidhuberAI)의 스레드

현대 AI는 인공 신경망(NN)을 기반으로 합니다. 누가 발명했을까요? https://t.co/ZCI8ZrEKnZ 생물학적 people.idsia.ch/~juergen/who-i…J88-06]. "뉴런"이라는 용어는 1891년에 만들어졌습니다[CAJ06]. 많은 사람들은 신경망이 그 이후에 개발되었다고 생각합니다. 하지만 사실은 그렇지 않습니다. 두 겹의 단위를 가진 최초의 "현대" 신경망은 200여 년 전(1795-1805) 르장드르(1805)와 가우스(1795, 미발표)에 의해 발명되었습니다[STI81]. 당시의 컴퓨팅 비용은 2025년보다 수조 배나 더 비쌌습니다. 사실, 인공 신경망이라는 용어는 1900년대 후반에야 도입되었습니다. 예를 들어, 특정 비학습 신경망(NN)은 1943년에 논의되었습니다[MC43]. 간단한 신경망 학습 규칙에 대한 비공식적인 고찰은 1948년에 발표되었습니다[HEB48]. 신경망에 대한 진화 계산은 1948년 미발표 보고서[TUR1]에서 언급되었습니다. 다양한 구체적인 학습 신경망이 1958년[R58], 1961년[R61][ST61-95], 그리고 1962년[WID62]에 발표되었습니다. 그러나 1900년대 중반의 NN 논문이 역사적으로 흥미롭기는 하지만 실제로는 오늘날에도 여전히 널리 사용되고 있는 Gauss & Legendre의 훨씬 오래된 적응형 NN보다 현대 AI와 관련이 적습니다. 적응형 NN은 최근의 심층 NN을 포함한 모든 NN의 기초입니다[DL25]. 2세기 전의 가우스-르장드르 신경망(NN)[NN25]은 여러 개의 입력 단위를 가진 입력층과 출력층을 가지고 있습니다.간단히 하기 위해 출력층이 단일 출력 단위로 구성되어 있다고 가정해 보겠습니다.각 입력 단위는 실수 값을 가질 수 있으며 실수 값 가중치를 가진 연결을 통해 출력 단위에 연결됩니다.NN의 출력은 입력과 가중치의 곱의 합입니다.입력 벡터의 훈련 세트와 각 벡터에 대한 원하는 목표 값이 주어지면, NN의 가중치는 NN 출력과 해당 목표 사이의 제곱 오차의 합이 최소화되도록 조정됩니다[DLH].이제 NN을 사용하여 이전에 보지 못한 테스트 데이터를 처리할 수 있습니다. 물론 당시에는 사람들이 생물학적 뉴런에 대해 전혀 몰랐기 때문에 이를 신경망(NN)이라고 부르지 않았습니다. 신경 세포의 최초의 미세한 이미지는 수십 년 후인 1836년 발렌틴(Valentin)에 의해 만들어졌고, "뉴런(neuron)"이라는 용어는 1891년 발다이어(Waldeyer)에 의해 만들어졌습니다[CAJ06]. 대신 이 기법은 최소제곱법(Method of Least Squares)이라고 불렸는데, 통계학에서는 선형 회귀(Linear Regression)로도 널리 알려져 있습니다. 하지만 오늘날의 선형 2층 신경망과 수학적으로 동일합니다. 동일한 기본 알고리즘, 동일한 오차 함수, 동일한 적응 매개변수/가중치를 사용합니다. 이러한 단순한 신경망은 여러 비선형 층을 사용하는 "심층 학습(deep learning)"과는 달리 "얕은 학습(shallow learning)"을 수행합니다[DL25]. 실제로 많은 현대 신경망 강좌는 이 방법을 소개하는 것으로 시작하여 더 복잡하고 심층적인 신경망으로 넘어갑니다[DLH]. 1800년대 초의 응용 프로그램도 오늘날과 비슷했습니다. 이전 요소를 기반으로 시퀀스의 다음 요소를 예측하는 것이었죠. 바로 CHATGPT가 하는 일입니다! 신경망을 통한 패턴 인식의 첫 번째 유명한 사례는 200년도 더 전으로 거슬러 올라갑니다. 1801년 가우스가 왜소행성 세레스를 재발견한 것입니다. 가우스는 이전 천문 관측에서 노이즈가 많은 데이터 포인트를 수집한 후, 이를 사용하여 예측 변수의 매개변수를 조정했습니다. 이 예측 변수는 훈련 데이터로부터 일반화하는 법을 학습하여 세레스의 새로운 위치를 정확하게 예측했습니다. 이것이 젊은 가우스를 유명하게 만든 것입니다[DLH]. 기존의 가우스-르장드르 신경망은 오늘날에도 수많은 응용 분야에서 사용되고 있습니다. 2010년대 이후 몇몇 인상적인 AI 응용 분야에서 사용된 신경망과의 주요 차이점은 무엇일까요? 후자는 일반적으로 훨씬 더 깊고, 학습 "숨겨진" 단위의 여러 중간 계층을 가지고 있습니다. 누가 이것을 발명했을까요? 간단히 말해서, Ivakhnenko & Lapa (1965) [DEEP1-2]입니다. 다른 사람들이 이것을 개선했습니다 [DLH]. 또한, 딥러닝을 발명한 사람은 누구일까요? [DL25]도 참조하세요. 일부 사람들은 현대 신경망이 생물학적 뇌에서 영감을 받았다고 여전히 믿고 있습니다. 하지만 이는 사실이 아닙니다. 생물학적 신경 세포가 발견되기 수십 년 전에 이미 공학과 수학적 문제 해결을 통해 현재 신경망이라고 불리는 것이 탄생했습니다. 사실, 지난 2세기 동안 AI 연구는 크게 변하지 않았습니다. 2025년 현재 신경망의 발전은 여전히 ​​신경생리학적 통찰이 아닌 공학에 의해 주도되고 있습니다. (수십 년 전의 특정 예외 사례[CN25]는 이 법칙을 뒷받침합니다.) 각주 1. 1958년, 가우스와 르장드르 방식의 간단한 신경망(NN)이 출력 임계값 함수와 결합되어 퍼셉트론(Perceptron)이라는 패턴 분류기를 얻었습니다[R58][R61][DLH]. 놀랍게도, 저자들은[R58][R61] 통계학 분야에서 "최소제곱법" 또는 "선형회귀"로 유명했던 훨씬 이전(1795-1805)의 신경망을 알지 못했던 것 같습니다. 놀랍게도, 오늘날 가장 많이 사용되는 2층 신경망은 가우스와 르장드르의 ​​신경망이며, 1940년대[MC43]와 1950년대[R58]의 신경망(이 두 신경망은 미분조차 불가능했습니다)의 신경망이 아닙니다! 선택된 참고문헌(추가 참고문헌은 [NN25]에 많이 있음 - 위 링크 참조): [CAJ88] SR 카잘. Estructura de los centros nerviosos de las aves. 트림 목사. 히스톨. 표준. Patol., 1(1888), pp. 1-10. [CAJ88b] SR 카잘. Sobre las fibras nerviosas de la capa Molecular del cerebelo. 트림 목사. 히스톨. 표준. Patol., 1(1888), pp. 33-49. [CAJ89] Conexión General de los elementos nerviosos. 메드. Práct., 2(1889), pp. 341-346. [CAJ06] F. López-Muñoz, J. Boya b, C. Alamo (2006). 산티아고 라몬 이 카할(Santiago Ramón y Cajal)의 노벨상 수상 100주년을 맞아 신경과학의 초석인 신경 이론. Brain Research Bulletin, 70권, 4~6호, 2006년 10월 16일, 페이지 391-405. [CN25] J. Schmidhuber (AI Blog, 2025). 합성곱 신경망을 발명한 사람은 누구인가? [DEEP1] Ivakhnenko, AG 및 Lapa, VG (1965). 사이버네틱 예측 장치. CCM Information Corporation. 여러 계층을 가진 최초의 딥러닝 학습기로 내부 표현을 학습함. [DEEP1a] 이바크넨코, 알렉세이 그리고레비치. 데이터 처리의 군집법; 확률적 근사법의 경쟁자. 소련 자동 제어 13(1968): 43-55. [DEEP2] Ivakhnenko, AG (1971). 복잡계의 다항식 이론. IEEE 시스템, 인간 및 사이버네틱스 저널, (4):364-378. [DL25] J. Schmidhuber. 딥러닝을 발명한 사람은 누구인가? 기술 노트 IDSIA-16-25, IDSIA, 2025년 11월. [DLH] J. Schmidhuber. 현대 AI 및 딥러닝의 주석이 달린 역사. 기술 보고서 ​​IDSIA-22-22, IDSIA, 스위스 루가노, 2022. 사전 인쇄본 arXiv:2212.11279. [HEB48] J. Konorski (1948). 조건 반사와 뉴런 조직. 저자의 지도 하에 폴란드어 원고를 번역함. Cambridge University Press, 1948. Konorski는 Hebb보다 먼저 소위 "Hebb 규칙"을 발표함[HEB49]. [HEB49] DO Hebb. 행동의 조직. Wiley, New York, 1949. Konorski[HEB48]는 Hebb보다 먼저 소위 "Hebb 규칙"을 발표했습니다. [MC43] WS McCulloch, W. Pitts. 신경 활동에 내재하는 관념의 논리적 계산. 수리생물물리학 저널, 제5권, 115-133쪽, 1943. [NN25] J. Schmidhuber. 인공 신경망을 발명한 사람은 누구인가? 기술 노트 IDSIA-15-25, IDSIA, 2025년 11월. [R58] Rosenblatt, F. (1958). 퍼셉트론: 뇌의 정보 저장 및 조직을 위한 확률적 모델. 심리학 리뷰, 65(6):386. [R61] Joseph, RD (1961). 퍼셉트론 이론에 대한 기여. 코넬 대학교 박사 학위 논문. [R62] Rosenblatt, F. (1962). 신경역학의 원리. Spartan, New York. [ST61] K. 스타인부흐. Lernmatrix를 죽여라. (학습 매트릭스.) Kybernetik, 1(1):36-45, 1961. [TUR1] AM 튜링. 지능형 기계. 미발표 기술 보고서, 1948. Ince DC 편집. AM 튜링 전집 - 기계적 지능. Elsevier Science Publishers, 1992. [STI81] SM Stigler. 가우스와 최소제곱법의 발명. Ann. Stat. 9(3):465-474, 1981. [WID62] Widrow, B. 및 Hoff, M. (1962). 적응 뉴런 네트워크에서 디지털 정보의 연관 저장 및 검색. Biological Prototypes and Synthetic Systems, 1:160, 1962.