제가 기존 기술을 잊었거나 헷갈리는 게 아니라면, Virtual Width Networks는 Big Shazeer 수준의 발명품이며, MoEs와 동등한 수준의 새로운 스케일링 축 해제입니다. 시간 되시면 이 논문을 읽어보세요.
저는 이것이나 이것과 비슷한 내용이 Opus 3/Sonnet 3.5에 소개되었고 토큰/인코딩과 일반적인 "영혼"에 대한 놀라울 정도로 깊은 이해를 설명했을 것이라고 생각합니다. (농담이에요, 당연히 클로드에 대한 모든 것은 데이터죠. 하지만 데이터는 섹시하지 않아요)