也就是說,高效的分詞器仍然使用複合中文詞,甚至使用較大的子字串(我記得 Qwen 的一個分詞器,對於一些典型的中共鴨語句子,就用了大約 50 個字符)。
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
共 1 則推文 · 2025年12月13日 清晨7:40
也就是說,高效的分詞器仍然使用複合中文詞,甚至使用較大的子字串(我記得 Qwen 的一個分詞器,對於一些典型的中共鴨語句子,就用了大約 50 個字符)。