현대 AI는 "딥러닝"에 기반합니다. 딥러닝은 왜 1965년 우크라이나(소련)에서 시작되었을까요? 당시 소련은 여러 중요한 과학 기술 분야를 선도하고 있었는데, 특히 우주 분야에서 두드러졌습니다. 최초의 인공위성(1957년), 최초의 인공위성(1959년), 최초의 우주 비행(1961년), 최초의 여성 우주 비행(1962년), 최초의 로봇(1965년), 최초의 외계 행성 착륙(1970년) 등이 그 예입니다. 또한 소련은 세계 최대 규모의 폭탄(1961년)을 터뜨렸고, 수많은 저명한 수학자들을 배출했으며, 수십 년 후 컴퓨팅 비용이 수십억 배 저렴해지면서 비로소 그 중요성을 드러낼 블루 스카이 수학 연구에 충분한 자금을 지원했습니다. Ivakhnenko의 1971년 영어 연구(IEEE Transactions on Systems, Man and Cybernetics, (4):364-378)를 확인해 보세요. 이 연구는 8개의 층으로 구성된 딥 러닝 네트워크를 설명하는데, 이 네트워크는 2000년대 초반에도 여전히 딥 러닝으로 간주되었습니다. 입력 벡터와 그에 대응하는 목표 출력 벡터로 구성된 학습 세트가 주어지면, 각 층은 점진적으로 확장되고 회귀 분석을 통해 학습됩니다. 미세 조정 단계에서는 별도의 검증 세트를 사용하여 정규화를 통해 불필요한 은닉 유닛을 제거합니다. 이를 통해 네트워크가 단순화되고 보이지 않는 테스트 데이터에 대한 일반화가 향상됩니다. 층의 개수와 각 층당 유닛의 개수는 문제에 따라 학습됩니다. 실험도 오늘날과 유사했습니다. 즉, 이전 요소가 주어졌을 때 시퀀스의 다음 요소를 예측하는 방법을 학습하는 것입니다. 바로 ChatGPT가 하는 일입니다! 즉, 이바크넨코는 1980년대에 "연결주의"라는 이름이 유행하기 20년 전에 적응형 은닉층을 이용한 연결주의를 가지고 있었고, 2000년대에 "딥 러닝"이라는 이름이 유행하기 40년 전에 "딥 러닝"을 가지고 있었습니다. 그는 또한 생물학적으로 있을 수 없는 역전파법(1970년 이웃 핀란드에서 발표된 기술)을 사용하지 않고도 지역적으로 이용 가능한 정보만을 사용하여 숨겨진 단위에 대한 적절한 가중치를 학습하는 것이 가능함을 보여주었습니다. 더 자세한 내용: 딥러닝을 발명한 사람은 누구인가? 기술 노트 IDSIA-16-25, IDSIA, 2025년 11월.
