« Il n'y a rien d'intéressant sur arXiv ces temps-ci ! » - les paroles d'un esprit peu curieux J'ai été personnellement impressionné par le nombre d'articles intéressants publiés ces derniers mois, et je suis avec intérêt les résumés quotidiens. Voici quelques articles que j'ai particulièrement appréciés : - Pré-entraînement avec une puissance de calcul infinie (septembre 2025, https://t.co/3Q838oO6ei) - À retenir : la récence de l’ordre d’entraînement est encodée linéairement dans les activations du modèle de langage (septembre 2025, https://t.co/V9qCttiFPJ) - Apprentissage subliminal : les modèles de langage transmettent des traits comportementaux via des signaux cachés dans les données (juillet 2025, https://t.co/eJrGChfq1d) - Limitations de mémoire du réglage rapide dans les transformateurs (septembre 2025, https://t.co/AJR17dkVUx) - Identification comportementale des grands modèles de langage (septembre 2025, https://t.co/ZdHMlIdcYP) - Apprentissage autonome des langues pour une formation sans données (septembre 2025, https://t.co/9kLvY8dNbe) - L'illusion des rendements décroissants : mesurer l'exécution à long terme dans les LLM (septembre 2025, https://t.co/X7bwtKE8xe) - Les descriptions en langage naturel des activations de modèles véhiculent-elles des informations privilégiées ? (Septembre 2025, https://t.co/4qjWhFJVUG) - Au-delà du classement : Comprendre les disparités de performance dans les grands modèles de langage via la comparaison de modèles (septembre 2025, https://t.co/2ejyGDCSVF) - Activations stochastiques (septembre 2025, https://t.co/1xoXmLeIiF) - PonderLM-2 : Pré-entraînement LLM avec des pensées latentes dans un espace continu (septembre 2025, https://t.co/gZW50tvCIK) - Les mots qui permettent aux modèles de langage de percevoir (octobre 2025, https://t.co/IDQEXdeAGv) - Les modèles de langage n'intègrent pas les nombres de manière continue (octobre 2025, https://t.co/g8Cw3yNcoV) - Apprendre des faits à grande échelle grâce à la lecture active (août 2025, https://t.co/aw3fE8dKiJ) - OverFill : Modèles en deux étapes pour un décodage efficace des modèles de langage (août 2025, https://t.co/Wku5FXbGEz) - Les capacités de récupération des grands modèles de langage évoluent avec le nombre d'opérations en virgule flottante (FLOPs) avant l'entraînement (août 2025, https://t.co/TWgqTCHjuZ) - Régression à forte intensité de raisonnement (août 2025, https://t.co/2G8Lxn323A) - Surveillez les poids : surveillance et contrôle non supervisés des LLM finement réglés (août 2025, https://t.co/im0qdNorNQ) - Sur les limites théoriques de la recherche basée sur l'intégration (août 2025, https://t.co/7haVnfNpTp)
