正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
共 1 条推文 · 2025年12月13日 07:40
也就是说,高效的分词器仍然使用复合中文词,甚至使用较大的子字符串(我记得 Qwen 的一个分词器,对于一些典型的中共鸭语句子,就用了大约 50 个字符)。