最近、@karpathyさんの素晴らしい動画「GPTトークナイザーを作ろう」をもとに、@KeremTurgutluさんが執筆した3000語以上の書籍の章を公開しました。写真、リンク、コード、図などが掲載されています。 Kerem 氏は、これをどうやって作ったかについての詳細なウォークスルーを次のように書いています。 https://t.co/EIiejHe8hS
まだ読んでいない方は、ぜひ本書の章を読んでみてください！Andrejのソース資料のおかげで、トークナイザーの実際の動作を非常にわかりやすく説明しており、LLMに関心のある人なら誰でも知っておくべき内容です。 https://t.co/aSgsZz1tnm