J'ai été à la fois impressionné et amusé récemment en découvrant VaultGemma, un projet récent de Google visant à pré-entraîner un modèle linéaire généralisé avec confidentialité différentielle. En bref : - premier LLM sans mémorisation détectable des données d'entraînement - toutes les astuces possibles, puissance de calcul multipliée par 100, atteint le niveau de *GPT-2*
