Recientemente publicamos un capítulo de más de 3000 palabras escrito por @KeremTurgutlu, basado en el magnífico vídeo de @karpathy «Construyamos el tokenizador GPT». Incluye imágenes, enlaces, código, diagramas… Kerem ha escrito ahora una guía detaanswer.ai/posts/2025-10-…o: https://t.co/EIiejHe8hS
Y, si aún no lo has leído, ¡lee el capítulo del libro! Gracias a la información de Andrej, es una explicación fantástica de cómo funcionan realmente los tokenizadores, y cualquiera que se interese por los LLM necesita saber esto.fast.ai/posts/2025-10-…nm