메타의 생성 광고 모델(GEM): 광고 추천을 위한 AI의 "중심 두뇌" Meta의 최신 엔지니어링 블로그 게시물에서는 새롭게 출시된 생성적 임베딩 모델(GEM)에 대해 자세히 설명합니다. Meta 광고 생태계의 핵심 혁신인 GEM은 광고 추천 시스템의 "핵심 두뇌" 역할을 합니다. 대규모 AI 학습을 통해 광고 개인화와 광고주의 ROI를 향상시킵니다. LLM 패러다임을 차용하고 수천 개의 GPU에서 학습된 GEM은 Meta 플랫폼(예: Facebook, Instagram)이 광고를 더욱 정확하게 타겟팅하여 사용자 선호도와 광고 목표 간의 긴밀한 연관성을 확보할 수 있도록 지원합니다. GEM의 핵심 메커니즘: 대규모 상호작용에서 통찰력을 추출하는 것입니다. GEM은 매일 수십억 개의 사용자-광고 상호작용 데이터 포인트를 분석하여 동적 특성 공간을 구축합니다. 여기에는 순차적 특성(예: 수천 개의 이벤트에 걸쳐 지속될 수 있는 사용자 이력 행동 시퀀스)과 비순차적 특성(예: 사용자 연령, 위치, 광고 소재 형식)이 포함됩니다. GEM의 혁신적인 기능은 이러한 특성 간의 복잡한 상호작용을 효율적으로 포착하여 기존 모델의 병목 현상을 방지하는 데 있습니다. 주요 구성 요소는 다음과 같습니다. Wukong 아키텍처: 교차 계층 주의 메커니즘을 통합하고 비순차적 기능을 위해 특별히 설계된 스택형 요인화 머신 아키텍처로, 광고와의 세부적인 사용자 상호작용을 더 잘 시뮬레이션할 수 있습니다. • 피라미드 병렬 구조: 긴 시퀀스 동작에 대한 효율적인 병렬 처리를 제공하여 사용자 의도 패턴을 밝혀냅니다. InterFormer 디자인: 병렬 요약과 인터리브 계층을 통해 시퀀스 및 교차 기능 학습을 가능하게 하는 동시에 완전한 시퀀스 정보를 보존하고 확장성을 보장합니다. 이러한 요소들로 인해 GEM 아키텍처는 이전 모델보다 4배 더 효율적이 되었으며, 동일한 데이터 및 컴퓨팅 리소스로 광고 성과를 대폭 향상시킵니다. GEM의 다중 도메인 학습 기능은 Facebook, Instagram, 비즈니스 메시징 등 플랫폼의 차별화된 요구 사항을 충족하는 동시에 크로스 플랫폼 인사이트를 활용합니다. 지능형 에이전트 프레임워크와의 긴밀한 통합: 효율적인 지식 전파 GEM은 단독으로 작동하지 않습니다. 대신, 사후 학습 기법을 통해 Meta의 에이전트 프레임워크 및 기타 시스템과 완벽하게 통합됩니다. GEM은 학습 결과를 수백 개의 수직 모델(VM)로 "증류"하여 지식 증류, 표현 학습, 매개변수 공유 등의 방법을 사용하여 표준 증류 방식보다 2배 향상된 성능을 달성합니다. "Student Adapter"는 "교사" 예측을 최신 실제 데이터와 보정하여 도메인 편향 및 오래된 감독 신호를 해결하는 경량 구성 요소입니다. 이를 통해 GEM 인사이트는 실제 광고 게재에 신속하게 적용되어 인지에서 전환까지 전체 퍼널 최적화를 추진할 수 있습니다. 교육 혁신: 확장성과 효율성의 균형. GEM 교육은 방대한 희소 데이터와 다중 모드 입력(예: 광고 목표, 크리에이티브 형식, 측정 신호)이라는 과제에 직면합니다. Meta의 솔루션은 다음과 같습니다. • 다차원 병렬 처리: 밀도가 높은 구성 요소와 희소한 구성 요소를 모두 처리하여 메모리와 통신을 최적화합니다. 맞춤형 GPU 커널: 가변 길이 시퀀스와 계산 융합을 위한 최신 하드웨어 기능을 활용합니다. • 메모리 최적화: FP8 양자화 활성화 및 통합 임베딩 형식 등을 통해 메모리 공간을 크게 줄입니다. PyTorch 2.0의 그래프 수준 컴파일 및 GPU 통신 최적화를 활용하여 전체 학습 프로세스에서 유효 학습 FLOPS가 23배 증가하고, 모델 FLOPS 활용도(MFU)가 1.43배 향상되었으며, 작업 시작 시간이 5배 단축되었습니다. 이를 통해 GPU 규모를 16배 확장할 수 있었을 뿐만 아니라, 제어 가능한 ROI를 통해 지속적인 반복이 가능해졌습니다. 실제 결과: 전환율 및 생태계 성공 GEM은 올해 초 출시 이후 페이스북 피드와 인스타그램의 광고 전환율을 크게 향상시켰습니다. 2분기 인스타그램 전환율은 5%, 페이스북 피드 전환율은 3% 증가했습니다. 이는 사용자 선호도를 정확하게 예측하여 광고주가 일대일 확장 가능한 연결을 구축하고 참여도와 ROAS(광고 투자수익률)를 개선할 수 있도록 지원한 덕분입니다. Meta의 경우, GEM은 광고 생태계의 통합을 강화하여 유기적 콘텐츠와 광고의 지능적인 순위를 향상시킵니다.
