Alexander Doria（@Dorialexander）のスレッド

冗談はさておき、真剣に考えてみましょう。超小型建築物に取り組んだ人は誰もいませんでした。そこから、極端なMoEや、特性が不明瞭な様々なエキゾチックな形状を作り上げることができるようになりました。コグニティブコアの技術ツリーの一つとして考えられます。

これがどのように適合するかは不明ですが、トークナイザーレス学習にも役立つかもしれません。調整可能な次元のベクトル表現は、固定トークンよりもはるかに好ましいでしょう。