已經有大佬測試來了,我之前打算統計幾個開放權重模型的tokenizer的一些低頻詞的分佈+博主這個統計token量的雙重方法驗證. 看來已經有結論了.
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
共 1 条推文 · 2025年11月2日 08:32
已經有大佬測試來了,我之前打算統計幾個開放權重模型的tokenizer的一些低頻詞的分佈+博主這個統計token量的雙重方法驗證. 看來已經有結論了.