MoE를 대체할 수 있는 유일한 것은 더 나은 MoE입니다. 어쨌든 "MoE"는 잘못된 명칭입니다(DeepSeek가 FFN 전문화를 장려하기 위해 노력했음에도 불구하고). @main_horse가 가장 잘 표현했습니다: 희소 라우팅 모델. 1) 더 희소성. 2) 더 강력하고 차별화 가능한 라우팅. 이것이 바로 당신의 근본적인 문샷입니다.
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.