Modelo de Publicidade Generativa da Meta (GEM): O "Cérebro Central" da IA para Recomendação de Anúncios A publicação mais recente do blog de engenharia da Meta detalha o recém-lançado Modelo de Incorporação Generativa (GEM, na sigla em inglês). Como uma inovação central no ecossistema de publicidade da Meta, o GEM se posiciona como o "cérebro central" do sistema de recomendação de anúncios. Por meio de treinamento de IA em larga escala, ele aprimora a personalização de anúncios e o ROI dos anunciantes. Inspirado no paradigma LLM e treinado em milhares de GPUs, o GEM ajuda as plataformas da Meta (como Facebook e Instagram) a segmentar anúncios com mais precisão, alcançando um alinhamento profundo entre as preferências do usuário e os objetivos da publicidade. O principal mecanismo do GEM: extrair informações de interações massivas. O GEM constrói um espaço de características dinâmico analisando bilhões de pontos de dados de interação usuário-anúncio diariamente, incluindo características sequenciais (como sequências de comportamento do histórico do usuário que podem durar milhares de eventos) e características não sequenciais (como idade do usuário, localização ou formato do anúncio). Sua inovação reside na captura eficiente das interações complexas entre essas características, evitando os gargalos dos modelos tradicionais. Os principais componentes incluem: Arquitetura Wukong: Uma arquitetura de máquina fatorizada e empilhável que incorpora mecanismos de atenção entre camadas e foi projetada especificamente para recursos não sequenciais, permitindo uma melhor simulação de interações detalhadas do usuário com anúncios. • Estrutura Paralela Piramidal: Oferece processamento paralelo eficiente para comportamentos de sequência longa, revelando padrões de intenção do usuário. Design do InterFormer: Ele permite o aprendizado de sequências e de características cruzadas por meio de sumarização paralela e camadas intercaladas, preservando as informações completas da sequência e garantindo a escalabilidade. Esses elementos tornam a arquitetura do GEM quatro vezes mais eficiente que a de seu antecessor, resultando em melhorias mais significativas no desempenho da publicidade com os mesmos dados e recursos computacionais. Os recursos de aprendizado multidomínio do GEM equilibram as necessidades diferenciadas de plataformas como Facebook, Instagram e Mensagens Comerciais, ao mesmo tempo que aproveitam insights multiplataforma. Integração profunda com estruturas de agentes inteligentes: disseminação eficiente de conhecimento. O GEM não opera isoladamente; em vez disso, integra-se perfeitamente à estrutura de agentes da Meta e a outros sistemas por meio de técnicas de pós-treinamento. Ele "destila" os resultados do aprendizado em centenas de modelos verticais (VMs), alcançando uma melhoria de 2x em relação à destilação padrão usando métodos como destilação de conhecimento, aprendizado de representação e compartilhamento de parâmetros. O "Adaptador do Aluno" é um componente leve que calibra as previsões do "professor" com os dados mais recentes do mundo real, corrigindo vieses de domínio e sinais de supervisão desatualizados. Isso permite que os insights do GEM penetrem rapidamente na veiculação de anúncios, impulsionando a otimização completa do funil, da conscientização à conversão. Inovação em Treinamento: Equilibrando Escalabilidade e Eficiência. O treinamento de GEMs (Global Exchange Management) enfrenta o desafio de lidar com grandes volumes de dados esparsos e entradas multimodais (como objetivos de publicidade, formatos criativos e sinais de mensuração). As soluções da Meta incluem: • Paralelismo multidimensional: Otimiza a memória e a comunicação, lidando com componentes densos e esparsos. Kernels de GPU personalizados: Utilize os recursos de hardware mais recentes para sequências de comprimento variável e fusão computacional. • Otimização de memória: recursos como a ativação da quantização FP8 e o formato de incorporação unificado reduzem significativamente o espaço ocupado. Aproveitando a compilação em nível de grafo e as otimizações de comunicação com a GPU do PyTorch 2.0, todo o processo de treinamento alcançou um aumento de 23 vezes no número efetivo de FLOPS de treinamento, uma melhoria de 1,43 vezes na utilização de FLOPS do modelo (MFU) e uma redução de 5 vezes no tempo de inicialização da tarefa. Isso não apenas permitiu um aumento de 16 vezes na escalabilidade da GPU, mas também garantiu iteração contínua com retorno sobre o investimento (ROI) controlável. Resultados Reais: Taxas de Conversão e Sucesso do Ecossistema Desde o seu lançamento no início deste ano, o GEM melhorou significativamente as conversões de anúncios no Feed do Facebook e no Instagram: as taxas de conversão do Instagram no segundo trimestre aumentaram 5% e as do Feed do Facebook, 3%. Isso se deve às suas previsões precisas das preferências do usuário, ajudando os anunciantes a alcançar conexões escaláveis e personalizadas, além de melhorar o engajamento e o ROAS (Retorno sobre o Investimento em Publicidade). Para a Meta, isso fortalece a unidade do ecossistema de publicidade, impulsionando a classificação inteligente de conteúdo orgânico e anúncios.
