karminski-牙医(@karminski3)의 스레드

전문가가 이미 테스트했습니다. 저는 이전에 여러 오픈웨이트 모델의 토크나이저에서 저빈도 단어의 분포를 통계적으로 분석하고, 블로거의 토큰 계산 이중 방법을 결합하여 이를 검증할 계획이었습니다. 이미 결론이 도출된 것 같습니다.