推理過程中的另一個問題是,由於分塊處理,運動不平滑。 模型預測下一個資料區塊,執行它,然後暫停以預測下一個資料區塊(如下視頻,3 倍速)。 如果在前一個程式碼區塊執行之前嘗試預測下一個程式碼區塊,而模型在執行一個截然不同的操作模式時跳到另一個操作模式,則可能會導致致命的錯誤。 解決方案是圖像修復——這通常用於圖像生成。我們可以在執行上一個資料區塊的同時預測下一個資料區塊,但我們會強制新的預測與前一個資料區塊的結尾完全匹配。 結果是運動更加流暢,沒有跳躍和停頓,並且模型的性能和吞吐量更高。
如果你想深入了解(包括圖片、演示和微調說明),請觀看我的新影片:https://t.co/TDdhedJiDn