Meta 的生成式廣告模型GEM：廣告推薦AI 的“中央大腦” Meta 最新發布的工程博客，詳細介紹了團隊最新推出的生成式廣告推薦模型（Generative Embedding Model，GEM）。作為Meta 廣告生態的核心創新，GEM 被定位為廣告推薦系統的“中央大腦”，透過大規模AI 訓練，提升廣告的個人化匹配度和廣告主的ROI。它藉鑒了LLM 的範式，利用數千GPU 訓練而成，幫助Meta 的平台（如Facebook 和Instagram）更精準地投放廣告，實現用戶偏好與廣告目標的深度對齊。 GEM 的核心機制：從海量互動中提煉洞見 GEM 透過分析每日數十億用戶-廣告互動數據，建立一個動態的特徵空間，包括序列特徵（如用戶歷史行為序列，可長達數千事件）和非序列特徵（如用戶年齡、位置或廣告創意格式）。其創新在於高效捕捉這些特徵間的複雜交互，避免傳統模型的瓶頸。 關鍵組件包括： · Wukong 架構：一種可堆疊的因子化機器結構，結合跨層注意力機制，專為非序列特徵設計，能更好地模擬使用者與廣告的細微互動。 · 金字塔平行結構：針對長序列行為，提供高效率的平行處理，揭示使用者意圖模式。 · InterFormer 設計：透過並行摘要和交錯層，實現序列與跨特徵的學習，同時保留完整序列訊息，確保可擴展性。 這些元素讓GEM 的架構比前代模型有效率4 倍，在相同資料和運算資源下，廣告效能提升更顯著。 GEM 的多域學習功能則平衡了Facebook、Instagram 和Business Messaging 等平台的差異化需求，同時藉力跨平台洞見。 和智能體框架的深度整合：知識高效傳播 GEM 不孤立運作，而是透過後訓練技術與Meta 的智能體框架及其他系統無縫整合。它將學習成果「蒸餾」到數百個垂直模型（VMs）中，使用知識蒸餾、表示學習和參數共享等方法，實現標準蒸餾效果的2 倍提升。其中，「學生適配器」（Student Adapter）是一個輕量組件，能用最新真實數據校準「教師」預測，解決領域偏差和監督訊號過時問題。這使得GEM 的洞見能快速滲透到實際廣告投放中，推動從感知到轉換的全漏斗優化。 訓練創新：規模化與效率並重訓練GEM 面臨海量稀疏資料和多模態輸入的挑戰（如廣告目標、創意格式和測量訊號）。 Meta 的解決方案包括： · 多維並行：優化記憶體和通信，處理稠密與稀疏組件。 · 自訂GPU 核心：針對變長序列和運算融合，利用最新硬體特性。 · 記憶體最佳化：如FP8 量化活化和統一嵌入格式，顯著降低足跡。 透過PyTorch 2.0 的圖級編譯和GPU 通訊優化，整個訓練實現了有效訓練FLOPS 提升23 倍、模型FLOPS 利用率（MFU）提高1.43 倍，以及作業啟動時間縮短5 倍。 這不僅支撐了16 倍GPU 規模的擴展，也確保了ROI 可控的持續迭代。 實質成效：轉換率與生態共贏自今年稍早上線以來，GEM 已在Facebook Feed 與Instagram 上大幅提升廣告轉換：Q2 Instagram 轉換率成長5%，Facebook Feed 成長3%。 這源自於其對使用者偏好的精準預測，幫助廣告主實現一對一規模化連接，提升engagement 和ROAS（廣告支出回報）。對Meta 而言，它強化了廣告生態的統一性，推動有機內容與廣告的智慧排序。
