La IA moderna se basa en el aprendizaje profundo. ¿Por qué se originó el aprendizaje profundo en Ucrania (URSS) en 1965? En aquel entonces, la URSS lideraba muchos campos importantes de la ciencia y la tecnología, sobre todo en el espacio: el primer satélite (1957), el primer objeto artificial en un cuerpo celeste (1959), el primer hombre en el espacio (1961), la primera mujer en el espacio (1962), el primer robot que aterrizó en un cuerpo celeste (1965) y el primer robot en otro planeta (1970). La URSS también detonó la bomba más grande de la historia (1961) y fue la cuna de muchos matemáticos destacados, con financiación suficiente para la investigación matemática innovadora, cuya enorme importancia solo se manifestaría varias décadas después, cuando la computación era miles de millones de veces más barata. Consulte la encuesta de Ivakhnenko de 1971 en inglés (IEEE Transactions on Systems, Man and Cybernetics, (4):364-378). Describe una red de aprendizaje profundo de 8 capas, que aún se consideraba profunda a principios de la década de 2000. Dado un conjunto de entrenamiento de vectores de entrada con sus correspondientes vectores de salida objetivo, las capas se desarrollan y entrenan de forma incremental mediante análisis de regresión. En una fase de ajuste fino, las unidades ocultas superfluas se eliminan mediante regularización con la ayuda de un conjunto de validación independiente. Esto simplifica la red y mejora su generalización con datos de prueba no vistos. El número de capas y unidades por capa se aprende de forma dependiente del problema. Incluso los experimentos eran similares a los actuales: aprender a predecir el siguiente elemento de una secuencia, dados los elementos anteriores. ¡Eso es lo que hace ChatGPT! Es decir, Ivakhnenko tenía conexionismo con capas ocultas adaptativas dos décadas antes de que el nombre "conexionismo" se hiciera popular en los años 1980, y tenía "aprendizaje profundo" 4 décadas antes de que el nombre se hiciera popular en los años 2000. También demostró que es posible aprender pesos apropiados para unidades ocultas usando sólo información disponible localmente sin requerir el paso hacia atrás biológicamente implausible de la retropropagación (una técnica que fue publicada en la vecina Finlandia en 1970). Más información en: ¿Quién inventó el aprendizaje profundo? Nota técnica IDSIA-16-25, IDSIA, noviembre de 2025.
