已經有大佬測試來了,我之前打算統計幾個開放權重模型的tokenizer的一些低頻詞的分佈+博主這個統計token量的雙重方法驗證. 看來已經有結論了.
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
共 1 則推文 · 2025年11月2日 上午8:32
已經有大佬測試來了,我之前打算統計幾個開放權重模型的tokenizer的一些低頻詞的分佈+博主這個統計token量的雙重方法驗證. 看來已經有結論了.