Jürgen Schmidhuber(@SchmidhuberAI)의 스레드

Fukushima의 비디오(1986)는 LeCun의 비디오(1989)보다 3년 앞서 손으로 쓴 숫자를 인식하는 CNN을 보여줍니다[3]. CNN 타임라인은 [5]에서 가져왔습니다. ★ 1969년: Kunihiko Fukushima는 현재 CNN에서 광범위하게 사용되는 ReLU(정류 선형 단위)[1]를 발표했습니다. ★ 1979년: 후쿠시마는 합성곱 계층과 다운샘플링 계층을 갖춘 기본 CNN 구조를 발표했습니다[2]. 그는 이를 네오코그니트론(neocognitron)이라고 불렀습니다. 이는 비지도 학습 규칙에 따라 학습되었습니다. 당시 컴퓨팅 비용은 1989년보다 100배, 오늘날보다 10억 배 더 비쌌습니다. ★ 1986년: 후쿠시마의 손으로 쓴 숫자를 인식하는 영상[3]. ★ 1988년: 웨이 장(Wei Zhang) 등은 역전파 알고리즘을 사용하여 학습된 최초의 "현대적" 2차원 CNN을 개발했으며, 이를 문자 인식에도 적용했습니다[4]. 당시 컴퓨팅 비용은 오늘날보다 약 1천만 배 더 비쌌습니다. ★ 1989-: 다른 사람들의 후기 작품 [5]. 참고문헌(자세한 내용은 [5] 참조) [1] K. Fukushima (1969). 아날로그 임계값 요소의 다층 네트워크를 통한 시각적 특징 추출. IEEE 시스템 과학 및 사이버네틱스 저널. 5(4): 322-333. 이 연구는 현재 CNN 및 기타 신경망에서 널리 사용되는 정류 선형 유닛(ReLU)을 도입했습니다. [2] K. Fukushima (1979). 위치 변화에 영향을 받지 않는 패턴 인식 메커니즘을 위한 신경망 모델—Neocognitron. IECE 번역, vol. J62-A, no. 10, pp. 658-665, 1979. 합성곱 계층과 다운샘플링 계층을 교대로 사용하는 최초의 심층 합성곱 신경망 구조. 일본어판. 영어판: 1980. [3] 1986년 K. Fukushima, S. Miyake, T. Ito(NHK 과학기술연구소)가 제작한 영화. YouTube: https://t.co/MUyH81L5wD [4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. 시프트 불변 패턴 인식 신경망 및 광학 구조. 일본 응용물리학회 연례 학술대회 논문집, 1988. 문자 인식에 적용된 최초의 "현대적" 역전파 학습 2차원 CNN. [5] J. Schmidhuber(AI Blog, 2025). 합성곱 신경망을 발명한 사람은 누구입니까?