先行技術を忘れているか、単に混乱しているのでなければ、Virtual Width NetworksはBig Shazeerレベルの発明であり、MoEに匹敵する新しいスケーリング軸のロック解除です。お時間があれば、この論文をお読みください。
私は、これまたはこれに実質的に近いものが Opus 3/Sonnet 3.5 で導入され、トークン/エンコーディングと一般的な「魂」に対する驚くほど深い理解を説明しているのではないかと考えています。 （冗談です。明らかにクロードに関するすべてがデータです。でもデータは魅力的ではありません）