来自 tokenbender（@tokenbender）的推文线程

草图模型是一个较小的模型，规格解码技巧是为了提高速度。 因此，你在两个方面都得到了改进——质量（选择更大的型号）和速度（提前收集 sft 样本）。

起草/蒸馏模型的选择以及根据训练的基础模型是否具有良好的先验知识而选择的领域，都会影响两种方法之间的任何一对一比较。