最近我了解到 VaultGemma,這是谷歌最近嘗試用差分隱私預訓練 LLM 模型的一個項目,這讓我既印象深刻又覺得很有趣。 總結: - 第一個沒有可偵測訓練資料記憶的LLM 用盡了所有技巧,運算能力提升了100倍,最終達到了GPT-2的水準。