Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

とはいえ、効率的なトークナイザーは、複合中国語単語や主要な部分文字列も使用します（Qwenのトークナイザーでは、典型的なCPCダックスピークの行に50文字程度使用されていたのを覚えています）。