Ces deux dernières années, la demande d'emplois liés aux grands modèles de langage a explosé, et de plus en plus de développeurs souhaitent apprendre le développement de grands modèles, mais la plupart des tutoriels en ligne ne couvrent que des concepts théoriques. Ce cours, issu du programme CS336 du printemps 2025 de l'Université de Stanford, est désormais entièrement ouvert et gratuit, et nous guide dans la construction d'un modèle de langage complet et de grande envergure à partir de zéro. Il couvre tous les aspects clés du développement LLM, notamment la segmentation des mots, l'architecture du modèle, l'optimisation GPU, l'entraînement parallèle, le traitement des données et l'alignement du modèle. GitHub : https://t.co/R4SCZsarfk Lien pédagogique : https://t.co/rjvjvk5S4p Il comprend également 5 exercices de programmation de haute qualité, et le code source de ces exercices est disponible en open source sur GitHub ; vous pouvez le télécharger et l’exécuter directement. Ce cours comprend également des tutoriels vidéo disponibles sur YouTube. Il requiert une certaine maîtrise de Python et des connaissances en apprentissage profond. Les étudiants intéressés peuvent le consulter.
