Le modèle de publicité générative de Meta (GEM) : le « cerveau central » de l’IA pour la recommandation publicitaire Le dernier article du blog technique de Meta détaille le nouveau modèle d'intégration générative (GEM) lancé par l'équipe. Innovation majeure au sein de l'écosystème publicitaire de Meta, GEM se positionne comme le « cerveau » du système de recommandation publicitaire. Grâce à un entraînement à grande échelle de l'IA, il améliore la personnalisation des publicités et le retour sur investissement des annonceurs. S'inspirant du paradigme LLM et entraîné sur des milliers de GPU, il aide les plateformes de Meta (telles que Facebook et Instagram) à cibler les publicités avec une plus grande précision, assurant ainsi une parfaite adéquation entre les préférences des utilisateurs et les objectifs publicitaires. Le mécanisme principal de GEM : extraire des informations pertinentes à partir d’interactions massives. GEM construit un espace de caractéristiques dynamique en analysant quotidiennement des milliards de points de données d'interactions utilisateur-publicité, incluant des caractéristiques séquentielles (comme l'historique comportemental des utilisateurs, qui peut s'étendre sur des milliers d'événements) et non séquentielles (comme l'âge, la localisation ou le format publicitaire). Son innovation réside dans sa capacité à capturer efficacement les interactions complexes entre ces caractéristiques, évitant ainsi les limitations des modèles traditionnels. Les principaux éléments comprennent : Architecture Wukong : une architecture de machine factorisée empilable qui intègre des mécanismes d’attention intercouches et est conçue spécifiquement pour les fonctionnalités non séquentielles, permettant une meilleure simulation des interactions utilisateur fines avec les publicités. • Structure parallèle pyramidale : assure un traitement parallèle efficace des comportements séquentiels longs, révélant les schémas d’intention de l’utilisateur. Conception d'InterFormer : Elle permet l'apprentissage de séquences et de caractéristiques croisées grâce à une synthèse parallèle et à des couches entrelacées, tout en préservant l'intégralité des informations de séquence et en assurant l'évolutivité. Ces éléments rendent l'architecture de GEM quatre fois plus efficace que la précédente, ce qui se traduit par des améliorations significatives des performances publicitaires, à ressources de données et de calcul égales. Les capacités d'apprentissage multi-domaines de GEM permettent de répondre aux besoins spécifiques de plateformes telles que Facebook, Instagram et la messagerie professionnelle, tout en exploitant les données issues de l'ensemble des plateformes. Intégration poussée avec les plateformes d'agents intelligents : diffusion efficace des connaissances GEM ne fonctionne pas de manière isolée ; au contraire, il s'intègre parfaitement à la plateforme d'agents de Meta et à d'autres systèmes grâce à des techniques de post-entraînement. Il « distille » les résultats d'apprentissage en centaines de modèles verticaux (MV), doublant ainsi les performances par rapport à la distillation standard grâce à des méthodes telles que la distillation des connaissances, l'apprentissage de représentations et le partage de paramètres. L'« Adaptateur étudiant » est un composant léger qui calibre les prédictions du « professeur » avec les données réelles les plus récentes, corrigeant ainsi les biais de domaine et les signaux de supervision obsolètes. Cela permet aux enseignements de GEM d'être rapidement intégrés à la diffusion publicitaire, optimisant ainsi l'ensemble du parcours client, de la prise de conscience à la conversion. Innovation en matière de formation : concilier évolutivité et efficacité. La formation des GEM (Global Events Management) est confrontée aux défis posés par les données massives et éparses et les entrées multimodales (telles que les objectifs publicitaires, les formats créatifs et les signaux de mesure). Les solutions de Meta comprennent : • Parallélisme multidimensionnel : optimise la mémoire et la communication, en gérant à la fois les composants denses et épars. Noyaux GPU personnalisés : exploitez les dernières fonctionnalités matérielles pour les séquences de longueur variable et la fusion de calculs. • Optimisation de la mémoire : par exemple, l'activation de la quantification FP8 et le format d'intégration unifié réduisent considérablement l'empreinte mémoire. Grâce aux optimisations de compilation au niveau du graphe et de communication GPU de PyTorch 2.0, le processus d'entraînement a bénéficié d'une multiplication par 23 des FLOPS effectifs, d'une amélioration de 1,43 de l'utilisation des FLOPS du modèle (MFU) et d'une réduction de 5 fois du temps de démarrage des tâches. Ceci a permis non seulement d'augmenter la capacité des GPU par 16, mais aussi d'assurer une itération continue avec un retour sur investissement maîtrisable. Résultats concrets : Taux de conversion et succès de l’écosystème. Depuis son lancement en début d’année, GEM a considérablement amélioré les conversions publicitaires sur Facebook Feed et Instagram : au deuxième trimestre, les taux de conversion sur Instagram ont progressé de 5 % et sur Facebook Feed de 3 %. Cette performance s’explique par la précision de ses prédictions des préférences des utilisateurs, permettant aux annonceurs d’établir des relations personnalisées et évolutives, d’améliorer l’engagement et le ROAS (retour sur investissement publicitaire). Pour Meta, GEM renforce la cohérence de l’écosystème publicitaire en optimisant le classement des contenus organiques et des publicités.
