Podría ser un buen caso para no tener tokenizador: en lugar de volver a tokenizar, es posible alterar constantemente las configuraciones del codificador en el momento del entrenamiento.
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.