Thread de Jürgen Schmidhuber (@SchmidhuberAI)

O vídeo de Fukushima (1986) mostra uma CNN que reconhece dígitos manuscritos [3], três anos antes do vídeo de LeCun (1989). Cronologia da CNN retirada de [5]: ★ 1969: Kunihiko Fukushima publicou unidades lineares retificadas ou ReLUs [1] que agora são amplamente utilizadas em CNNs. ★ 1979: Fukushima publicou a arquitetura básica da CNN com camadas de convolução e camadas de subamostragem [2]. Ele a chamou de neocognitron. Ela foi treinada por regras de aprendizado não supervisionado. O custo computacional era 100 vezes maior do que em 1989 e um bilhão de vezes maior do que hoje. ★ 1986: Vídeo de Fukushima sobre o reconhecimento de dígitos manuscritos [3]. ★ 1988: Wei Zhang et al treinaram a primeira CNN bidimensional "moderna" por retropropagação e também a aplicaram ao reconhecimento de caracteres [4]. O custo computacional era cerca de 10 milhões de vezes maior do que hoje. ★ 1989-: trabalhos posteriores de outros [5]. REFERÊNCIAS (mais em [5]) [1] K. Fukushima (1969). Extração de características visuais por uma rede multicamadas de elementos de limiar analógicos. IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322-333. Este trabalho introduziu as unidades lineares retificadas ou ReLUs, agora amplamente utilizadas em CNNs e outras redes neurais. [2] K. Fukushima (1979). Modelo de rede neural para um mecanismo de reconhecimento de padrões não afetado por mudança de posição — Neocognitron. Trans. IECE, vol. J62-A, nº 10, pp. 658-665, 1979. A primeira arquitetura de rede neural convolucional profunda, com camadas convolucionais e camadas de subamostragem alternadas. Em japonês. Versão em inglês: 1980. [3] Filme produzido por K. Fukushima, S. Miyake e T. Ito (Laboratórios de Pesquisa Científica e Técnica da NHK), em 1986. YouTube: https://t.co/MUyH81L5wD [4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Rede neural de reconhecimento de padrões invariante à mudança e sua arquitetura óptica. Anais da Conferência Anual da Sociedade Japonesa de Física Aplicada, 1988. Primeira CNN bidimensional "moderna" treinada por retropropagação, aplicada ao reconhecimento de caracteres. [5] J. Schmidhuber (AI Blog, 2025). Quem inventou as redes neurais convolucionais?