Fil de Andrej Karpathy (@karpathy)

Je partage une conversation récente intéressante sur l'impact de l'IA sur l'économie. L'IA a été comparée à divers précédents historiques : l'électricité, la révolution industrielle, etc. Je pense que l'analogie la plus pertinente est celle de l'IA en tant que nouveau paradigme informatique (Logiciel 2.0), car les deux concernent fondamentalement l'automatisation du traitement de l'information numérique. Si l'on devait prévoir l'impact de l'informatique sur le marché du travail dans les années 1980, le critère le plus révélateur serait le degré de rigidité de l'algorithme utilisé : s'agit-il simplement de transformer mécaniquement des informations selon des règles simples et répétitives (comme la dactylographie, la comptabilité, le calcul mental) ? À l'époque, c'était le type de programmes que les capacités informatiques de l'époque permettaient d'écrire (manuellement). Grâce à l'IA, nous pouvons désormais écrire des programmes qu'il nous aurait été impossible de concevoir manuellement auparavant. Pour ce faire, nous spécifions des objectifs (par exemple, la précision de la classification, les fonctions de récompense) et nous explorons l'espace des programmes par descente de gradient afin de trouver des réseaux neuronaux performants pour atteindre ces objectifs. J'ai publié il y a quelque temps un article sur mon blog consacré au logiciel 2.0. Dans ce nouveau paradigme de programmation, la vérifiabilité est devenue le critère prédictif le plus important. Si une tâche est vérifiable, elle est optimisable directement ou par apprentissage par renforcement, et un réseau neuronal peut être entraîné à obtenir des performances exceptionnelles. Il s'agit de déterminer dans quelle mesure une IA peut « s'entraîner ». L'environnement doit être réinitialisable (possibilité de recommencer), efficace (pouvant effectuer de nombreuses tentatives) et gratifiant (un processus automatisé doit récompenser chaque tentative effectuée). Plus une tâche est vérifiable, plus elle se prête à l'automatisation dans le cadre du nouveau paradigme de programmation. Si elle ne l'est pas, son automatisation repose sur la magie des réseaux neuronaux et la généralisation (on croise les doigts !), ou sur des méthodes moins performantes comme l'imitation. C'est ce qui explique la progression irrégulière des masters en apprentissage. Les tâches vérifiables progressent rapidement, dépassant parfois les capacités des meilleurs experts (par exemple, les mathématiques, le code, le temps passé à visionner des vidéos, ou tout ce qui ressemble à un casse-tête avec une solution), tandis que beaucoup d'autres sont à la traîne (tâches créatives, stratégiques, ou celles qui combinent connaissances du monde réel, contexte et bon sens). Le logiciel 1.0 automatise facilement ce que vous pouvez spécifier. Le logiciel 2.0 automatise facilement les tâches vérifiables.