Este pode ser um bom caso para o método sem tokenizador: em vez de re-tokenizar, você pode alterar constantemente as configurações do codificador durante o treinamento.
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.