来自 Alexander Doria（@Dorialexander）的推文线程

我越来越觉得对于小型模型来说，蒸馏的意义不大。如果最终还是要采用全合成方法，那么针对特定任务和记忆进行选择性目标优化远优于模糊压缩。