Autre document incontournable : le manuel de formation LLM de Huggingface Cette section fournit un aperçu très détaillé du processus complet de formation LLM, y compris les directives de formation (si une formation préalable est requise), la préformation, la postformation et l'infrastructure. L'exemple principal est leur modèle SmolLM3 3B auto-entraîné. L'article, ou plutôt le manuel, contient une analyse de leur processus de formation de modèles, décrivant une série de décisions, de découvertes et d'impasses, le tout basé sur l'expérience pratique. Détails:
