tokenbender(@tokenbender)의 스레드

훈련과 추론 사이에 kl 불일치가 거의 없다면 결과가 크게 향상될 것입니다. 아마도 kl 정규화도 쉽게 적용할 수 있을 겁니다. 하지만 *PO를 선택해도 결과가 달라지지 않는다는 건 재밌는 일이고, 그래도 꼬리에 영향을 미칠 것 같습니다.