Não tenho certeza de como isso se encaixaria, mas também poderia sugerir um treinamento sem tokenizador. A representação vetorial de dimensões ajustáveis seria muito preferível a tokens fixos.
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.