Modelo de publicidad generativa (GEM) de Meta: El "cerebro central" de la IA para la recomendación de anuncios La última publicación del blog de ingeniería de Meta detalla el nuevo Modelo Generativo de Incrustación (GEM) del equipo. Como innovación clave en el ecosistema publicitario de Meta, GEM se posiciona como el núcleo del sistema de recomendación de anuncios. Mediante entrenamiento de IA a gran escala, mejora la personalización de los anuncios y el retorno de la inversión de los anunciantes. Inspirado en el paradigma LLM y entrenado en miles de GPU, ayuda a las plataformas de Meta (como Facebook e Instagram) a segmentar los anuncios con mayor precisión, logrando una profunda alineación entre las preferencias de los usuarios y los objetivos publicitarios. El mecanismo central de GEM: extraer información valiosa de interacciones masivas. GEM crea un espacio de características dinámico mediante el análisis diario de miles de millones de puntos de datos de interacción usuario-anuncio, incluyendo características secuenciales (como secuencias de comportamiento del historial del usuario que pueden abarcar miles de eventos) y no secuenciales (como la edad del usuario, su ubicación o el formato del anuncio). Su innovación reside en capturar de forma eficiente las complejas interacciones entre estas características, evitando así los cuellos de botella de los modelos tradicionales. Los componentes clave incluyen: Arquitectura Wukong: Una arquitectura de máquina factorizada apilable que incorpora mecanismos de atención entre capas y está diseñada específicamente para características no secuenciales, lo que permite una mejor simulación de las interacciones detalladas del usuario con los anuncios. • Estructura paralela piramidal: Proporciona un procesamiento paralelo eficiente para comportamientos de secuencia larga, revelando patrones de intención del usuario. Diseño de InterFormer: Permite el aprendizaje de secuencias y características cruzadas a través de la generación de resúmenes paralelos y capas intercaladas, al tiempo que preserva la información completa de la secuencia y garantiza la escalabilidad. Estos elementos hacen que la arquitectura de GEM sea cuatro veces más eficiente que su predecesora, lo que se traduce en mejoras significativas en el rendimiento publicitario con los mismos datos y recursos informáticos. Las capacidades de aprendizaje multidominio de GEM equilibran las necesidades diferenciadas de plataformas como Facebook, Instagram y Business Messaging, al tiempo que aprovechan la información interplataforma. Integración profunda con marcos de agentes inteligentes: difusión eficiente del conocimiento GEM no opera de forma aislada; por el contrario, se integra perfectamente con el marco de agentes de Meta y otros sistemas mediante técnicas de post-entrenamiento. Destila los resultados del aprendizaje en cientos de modelos verticales (MV), logrando una mejora del doble respecto a la destilación estándar mediante métodos como la destilación del conocimiento, el aprendizaje de representaciones y el intercambio de parámetros. El "Adaptador de Estudiante" es un componente ligero que calibra las predicciones del "profesor" con los datos reales más recientes, corrigiendo el sesgo de dominio y las señales de supervisión obsoletas. Esto permite que la información de GEM se incorpore rápidamente a la entrega real de anuncios, impulsando la optimización completa del embudo, desde el conocimiento de marca hasta la conversión. Innovación en la formación: Equilibrio entre escalabilidad y eficiencia. La formación de GEM se enfrenta a los retos de los datos masivos y dispersos y las entradas multimodales (como objetivos publicitarios, formatos creativos y señales de medición). Las soluciones de Meta incluyen: • Paralelismo multidimensional: Optimiza la memoria y la comunicación, manejando componentes tanto densos como dispersos. Núcleos de GPU personalizados: Utilice las últimas características de hardware para secuencias de longitud variable y fusión computacional. • Optimización de memoria: como la activación de la cuantización FP8 y el formato de incrustación unificado, reduce significativamente el espacio ocupado. Aprovechando las optimizaciones de compilación a nivel de grafo y comunicación con la GPU de PyTorch 2.0, todo el proceso de entrenamiento logró un aumento de 23 veces en las operaciones de punto flotante efectivas de entrenamiento, una mejora de 1,43 veces en la utilización de operaciones de punto flotante del modelo (MFU) y una reducción de 5 veces en el tiempo de inicio de las tareas. Esto no solo permitió un aumento de 16 veces en la escala de la GPU, sino que también garantizó la iteración continua con un retorno de la inversión controlable. Resultados reales: Tasas de conversión y éxito del ecosistema. Desde su lanzamiento a principios de este año, GEM ha mejorado significativamente las conversiones de anuncios en el feed de Facebook e Instagram: las tasas de conversión de Instagram aumentaron un 5 % en el segundo trimestre y las del feed de Facebook un 3 %. Esto se debe a sus predicciones precisas de las preferencias de los usuarios, que ayudan a los anunciantes a lograr conexiones escalables personalizadas y a mejorar la interacción y el ROAS (retorno de la inversión publicitaria). Para Meta, fortalece la unidad del ecosistema publicitario, impulsando la clasificación inteligente del contenido orgánico y los anuncios.
