這個項目有意思,Glance 是一種用極少數據(1 個樣本)和極低訓練成本,就能透過「兩階段LoRA 專家」顯著加速擴散模型推理(最多5×),同時基本保持生成質量的階段感知加速方法。 你可以把現在的擴散畫圖模型(如Stable Diffusion)想成: “從一張純噪音開始,慢慢擦乾淨,一點一點把畫擦出來。” 問題是: 想畫出一張好圖,通常要“擦”幾十上百次每次都要跑一次大模型,既耗時又費顯卡所以很多人會覺得:“生成質量很好,就是太慢了。” 以前的加速思路,大多是: 重新訓練一個“學生模型”,讓它學會用更少的步數畫完但這需要很多訓練數據、很多算力,還容易“降智”(泛化變差) Glance 換了一個思路: 不是平均地把所有步驟壓縮,而是觀察: 前期的步驟,負責定結構和大致內容,很關鍵後期的步驟,更多是在摳細節、去一點點噪聲,有很多是「冗餘」的 於是他們做了個「分階段加速」: 給模型加兩個很輕的LoRA 小插件: Slow-LoRA:用在前半段,“慢慢來”,少跳步,保證構圖和語義不崩 Fast-LoRA:用在後半段,“能省就省”,大膽跳步,減少計算 這兩個LoRA 只需要用1 張樣本圖、在1 張V100 上訓練大約1 小時就能搞定,訓練成本幾乎可以忽略。 結果是: 相較於原始模型,推理速度最快可以提升到約5 倍但產生的圖在各種測試集上,品質基本和原模型差不多,看不出明顯下降。
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
