MetaのGenerative Advertising Model（GEM）：広告推奨のためのAIの「中枢脳」 Metaの最新のエンジニアリングブログ投稿では、チームが新たにリリースしたGenerative Embedding Model（GEM）について詳しく説明されています。Metaの広告エコシステムにおける中核的なイノベーションであるGEMは、広告推奨システムの「中枢脳」として位置付けられています。大規模なAIトレーニングを通じて、広告のパーソナライゼーションと広告主のROIを向上させます。LLMパラダイムを借用し、数千台のGPUでトレーニングされたGEMは、Metaのプラットフォーム（FacebookやInstagramなど）における広告のターゲティング精度を向上させ、ユーザーの嗜好と広告目標の深い整合性を実現します。 GEM のコアメカニズム: 大量のインタラクションから洞察を抽出する。 GEMは、毎日数十億ものユーザーと広告のインタラクションデータポイントを分析することで、動的な特徴空間を構築します。これには、シーケンシャルな特徴（数千イベントにわたるユーザー履歴の行動シーケンスなど）と非シーケンシャルな特徴（ユーザーの年齢、所在地、広告クリエイティブフォーマットなど）が含まれます。GEMの革新性は、これらの特徴間の複雑なインタラクションを効率的に捉え、従来のモデルのボトルネックを回避できることにあります。 主なコンポーネントは次のとおりです。 Wukong アーキテクチャ: クロスレイヤー アテンション メカニズムを組み込み、非シーケンシャル機能向けに特別に設計されたスタック可能な因数分解マシン アーキテクチャで、広告に対するきめ細かいユーザー インタラクションのより優れたシミュレーションを可能にします。 • ピラミッド並列構造: 長いシーケンスの動作に対して効率的な並列処理を提供し、ユーザーの意図パターンを明らかにします。 InterFormer 設計: 完全なシーケンス情報を保持し、スケーラビリティを確保しながら、並列要約とインターリーブ レイヤーを通じてシーケンスとクロス フィーチャの学習を可能にします。 これらの要素により、GEMのアーキテクチャは前世代と比べて4倍の効率性を実現し、同じデータとコンピューティングリソースで広告パフォーマンスを大幅に向上させます。GEMのマルチドメイン学習機能は、Facebook、Instagram、ビジネスメッセージングなどのプラットフォームの異なるニーズをバランスよく満たしながら、クロスプラットフォームのインサイトを活用します。 インテリジェントエージェントフレームワークとの緊密な統合：効率的な知識の普及 GEMは単独で動作するのではなく、学習後の技術を通じてMetaのエージェントフレームワークやその他のシステムとシームレスに統合されます。学習結果を数百の垂直モデル（VM）に「蒸留」することで、知識蒸留、表現学習、パラメータ共有といった手法を用いて、標準的な蒸留手法と比較して2倍の精度向上を実現します。「Student Adapter」は軽量コンポーネントで、「教師」の予測を最新の実世界データで調整し、ドメインバイアスや古い教師信号に対処します。これにより、GEMの知見を実際の広告配信に迅速に反映させ、認知からコンバージョンまで、ファネル全体の最適化を推進できます。 トレーニングイノベーション：拡張性と効率性の両立。GEMのトレーニングは、膨大なスパースデータとマルチモーダル入力（広告目標、クリエイティブフォーマット、測定シグナルなど）という課題に直面しています。Metaのソリューションには以下が含まれます。 • 多次元並列処理: 密なコンポーネントと疎なコンポーネントの両方を処理し、メモリと通信を最適化します。 カスタム GPU カーネル: 可変長シーケンスと計算融合に最新のハードウェア機能を活用します。 • メモリの最適化: FP8 量子化の有効化や統合埋め込み形式などにより、フットプリントが大幅に削減されます。 PyTorch 2.0のグラフレベルのコンパイルとGPU通信の最適化を活用することで、学習プロセス全体で実効学習FLOPSが23倍、モデルFLOPS使用率（MFU）が1.43倍向上し、ジョブの起動時間が5分の1に短縮されました。これにより、GPUスケールが16倍に拡大しただけでなく、ROIを制御可能な継続的なイテレーションも実現しました。 実績：コンバージョン率とエコシステムの成功 今年初めのリリース以来、GEMはFacebookフィードとInstagramの広告コンバージョン率を大幅に向上させました。第2四半期のInstagramのコンバージョン率は5%、Facebookフィードは3%増加しました。これは、ユーザーの嗜好を正確に予測することで、広告主が1対1のスケーラブルなつながりを構築し、エンゲージメントとROAS（広告費用対効果）を向上させることに起因しています。Metaにとって、GEMは広告エコシステムの統合を強化し、オーガニックコンテンツと広告のインテリジェントなランキング向上に貢献しています。
