tokenbender（@tokenbender）のスレッド

製図モデルは小型モデルであり、スペックデコードトリックは速度を向上させるためのものです。 そのため、品質 (より大きなモデルの選択) と速度 (事前に収集された sft サンプル) の両方の側面が向上します。

ドラフト/蒸留モデルの選択と、トレーニングされるベースモデルが適切な事前分布を持つかどうかに基づいて選択されるドメインは、ここでの 2 つのアプローチ間の 1x1 比較に影響します。