推理过程中的另一个问题是,由于分块处理,运动不平滑。 模型预测下一个数据块,执行它,然后暂停以预测下一个数据块(如下视频,3 倍速)。 如果在前一个代码块执行之前尝试预测下一个代码块,而模型在执行一个截然不同的操作模式时跳转到另一个操作模式,则可能会导致致命的错误。 解决方案是图像修复——这通常用于图像生成。我们可以在执行上一个数据块的同时预测下一个数据块,但我们会强制新的预测与前一个数据块的结尾完全匹配。 其结果是运动更加流畅,没有跳跃和停顿,并且模型的性能和吞吐量更高。
如果你想深入了解(包括图片、演示和微调说明),请观看我的新视频:https://t.co/TDdhedJiDn