Le contenu sweibo.com/2126427211/QjI…te Weibo de Tang Jie : https://t.co/AOdkBXNIey J'aimerais partager quelques réflexions récentes, en espérant qu'elles seront utiles à tous. Le pré-entraînement permet aux grands modèles d'acquérir une connaissance intuitive du monde et de développer des capacités de raisonnement élémentaires. L'utilisation de données plus nombreuses, de paramètres plus importants et d'une puissance de calcul accrue demeure la méthode la plus efficace pour faire évoluer les modèles de base. L'activation de l'alignement et l'amélioration des capacités d'inférence, notamment l'activation de capacités plus complètes pour la gestion des variations à longue traîne, constituent un autre élément clé pour garantir la performance des modèles. Si les benchmarks généraux évaluent la performance globale des modèles, ils peuvent également entraîner un surapprentissage pour nombre d'entre eux. Dans des scénarios réels, comment les modèles peuvent-ils s'aligner plus rapidement et plus efficacement sur les variations à longue traîne des scènes réelles, renforçant ainsi le réalisme ? Les interventions en cours et en fin d'entraînement permettent un alignement rapide et des capacités d'inférence robustes dans un plus grand nombre de scénarios. Les capacités des agents représentent une étape cruciale dans l'expansion des capacités des modèles et sont essentielles pour permettre aux modèles d'IA d'intégrer le monde réel (virtuel ou physique). Sans ces capacités, les grands modèles resteront au stade de l'apprentissage théorique, à l'instar d'une personne qui, même au doctorat, accumule des connaissances sans les mettre en pratique. Auparavant, les agents étaient implémentés via l'application du modèle ; désormais, les modèles peuvent intégrer directement les données des agents dans le processus d'entraînement, ce qui accroît leur polyvalence. Cependant, la généralisation et le transfert entre différents environnements d'agents restent complexes. La solution la plus simple consiste donc à enrichir continuellement les données provenant de ces environnements et à implémenter un apprentissage par renforcement adapté à chacun. L'acquisition d'une mémoire du modèle est essentielle, une capacité nécessaire à toute application d'un modèle dans des environnements réels. La mémoire humaine se divise en quatre étapes : à court terme (cortex préfrontal), à moyen terme (hippocampe), à long terme (cortex cérébral distribué) et historique (wikis ou livres d'histoire). La capacité des grands modèles à acquérir une mémoire à travers ces différentes étapes est cruciale. Le contexte, l'horizon temporel et les paramètres du modèle peuvent correspondre à différentes étapes de la mémoire humaine, mais la manière d'y parvenir est déterminante. Une approche possible est la compression de la mémoire, qui consiste simplement à stocker le contexte. Si un grand modèle peut gérer des contextes suffisamment longs, l'acquisition d'une mémoire à court, moyen et long terme devient pratiquement possible. Cependant, l'itération sur les connaissances du modèle et la modification de ses paramètres demeurent un défi majeur. Apprentissage en ligne et auto-évaluation. La compréhension des mécanismes de la mémoire place l'apprentissage en ligne au cœur des préoccupations. Les modèles à grande échelle actuels sont périodiquement réentraînés, ce qui pose plusieurs problèmes : le modèle ne peut pas véritablement s'auto-améliorer, or l'auto-apprentissage et l'auto-itération seront inévitablement nécessaires à l'étape suivante ; le réentraînement est également coûteux et entraîne la perte d'une grande quantité de données interactives. Par conséquent, la mise en œuvre de l'apprentissage en ligne est cruciale, et l'auto-évaluation en est un aspect fondamental. Pour qu'un modèle apprenne par lui-même, il doit d'abord savoir s'il est correct ou incorrect. S'il le sait (même de manière probabiliste), il connaîtra l'objectif d'optimisation et pourra s'améliorer. Ainsi, la conception d'un mécanisme d'auto-évaluation des modèles représente un défi. Cela pourrait également constituer le prochain paradigme de mise à l'échelle. Apprentissage continu/apprentissage en temps réel/apprentissage en ligne ? Enfin, à mesure que le développement de modèles à grande échelle devient de plus en plus intégré, il est inévitable de combiner développement et application. L'objectif principal de l'application des modèles d'IA ne devrait pas être la création de nouvelles applications ; son essence réside dans le remplacement du travail humain par l'IA. Par conséquent, le développement d'une IA capable de remplacer différents emplois est essentiel à son application. La messagerie instantanée remplace partiellement la recherche et, d'une certaine manière, elle intègre l'interaction émotionnelle. L'année prochaine sera une année charnière pour le remplacement de différents emplois par l'IA. En conclusion, abordons la multimodalité et l'incarnation. La multimodalité représente sans aucun doute un avenir prometteur, mais le problème actuel est qu'elle ne contribue pas significativement à l'augmentation des capacités de l'intelligence artificielle générale (IAG), et que cette augmentation reste inconnue. L'approche la plus efficace consiste peut-être à développer ces trois aspects séparément : le texte, la multimodalité et la génération multimodale. Bien sûr, explorer leur combinaison, même modérée, pourrait révéler des capacités inédites, mais cela exige du courage et un soutien financier conséquent. De même, si vous comprenez le fonctionnement des agents, vous saurez où se situent les points faibles de l'intelligence incarnée : il est trop difficile de généraliser (bien que cela ne soit pas forcément vrai), mais activer des capacités incarnées générales avec un échantillon restreint est pratiquement impossible. Que faire, alors ? Collecter ou synthétiser des données n'est ni simple ni bon marché. À l'inverse, à mesure que le volume de données augmente, des capacités générales émergent naturellement et constituent une barrière à l'entrée. Bien sûr, ce défi ne concerne que l'intelligence artificielle. Pour l'intelligence incarnée, les robots eux-mêmes posent également problème ; leur instabilité et leurs dysfonctionnements fréquents limitent son développement. Des progrès significatifs sont attendus dans ces domaines d'ici 2026. Abordons également le modèle maître de domaine et ses applications. J'ai toujours pensé que ce modèle était une illusion : avec l'IA déjà en place, quelle IA spécifique à un domaine existe-t-il ? Cependant, l'IA n'étant pas encore pleinement aboutie, les modèles de domaine persisteront longtemps (difficile de dire combien de temps exactement, compte tenu du rythme rapide de son développement). Leur existence reflète essentiellement la réticence des entreprises d'applications à s'avouer vaincues par les entreprises d'IA. Elles espèrent se constituer un rempart de savoir-faire métier, résister à l'intrusion de l'IA et la maîtriser comme un outil. Mais l'IA est par nature comme un tsunami : elle emporte tout sur son passage. Inévitablement, certaines entreprises de domaine finiront par franchir leurs remparts et se laisser happer par le monde de l'IA. En bref, les données, les processus et les données des agents du domaine intégreront progressivement le modèle maître. L'application de modèles à grande échelle doit également revenir aux principes fondamentaux : l'IA n'a pas besoin de créer de nouvelles applications. Son essence est de simuler, de remplacer ou d'assister les humains dans l'exécution de certaines tâches humaines essentielles (certains métiers). Cela conduit généralement à deux types d'applications : d'une part, l'intégration de l'IA dans des logiciels existants, modifiant ainsi ce qui nécessitait initialement une intervention humaine ; d'autre part, la création de logiciels d'IA adaptés à un métier spécifique, remplaçant le travail humain. Par conséquent, l'application de modèles à grande échelle doit être utile aux personnes et créer de la valeur. Si un logiciel d'IA est créé mais que personne ne l'utilise et qu'il ne génère aucune valeur, alors ce logiciel est dépourvu de toute vitalité.
Chargement du thread
Récupération des tweets originaux depuis X pour offrir une lecture épurée.
Cela ne prend généralement que quelques secondes.