최근 @KeremTurgutlu가 @karpathy의 멋진 "GPT 토크나이저를 만들어 봅시다" 영상을 바탕으로 쓴 3,000단어가 넘는 책 챕터를 공개했습니다. 사진, 링크, 코드, 다이어그램 등이 포함되어 있습니다. 케렘은 이제 그것을 만든 방법에 대한 자세한 설명을 작성했습니다. https://t.co/EIiejHe8hS
아직 안 읽으셨다면 꼭 책의 챕터를 읽어보세요! Andrej의 소스 자료 덕분에 토크나이저의 실제 작동 방식을 정말 훌륭하게 설명하고 있습니다. LLM에 관심 있는 사람이라면 누구나 이 내용을 알아야 합니다. https://t.co/aSgsZz1tnm