하네스에 적응하는 모델에 대한 흥미로운 질문과 "하네스벤치"와 같은 것에 대한 생각을 공유해 주세요. 1. 더 스마트한 모델이 새로운 하네스로 전환하는 데 더 나은가요, 아니면 더 나쁜가요? 최근 결과에 따르면 CC 하네스에서 Opus가 CC 하네스에서 Sonnet보다 훨씬 더 큰 도약률을 보였습니다. 2. 새로운 하네스에 대한 상황 적응과 미세 조정 사이의 차이점은 무엇인가요? 하네스벤치: - 터미널 벤치의 결과 보고 방식과 어느 정도 유사하지만, 기본적으로 모델뿐 아니라 하네스에 대한 평가가 더 많이 필요합니다. - 우리는 다양한 하네스에 걸쳐 모델 일반화에 대한 적절한 지표를 가지고 있지 않습니다. HarnessBench는 기본적으로 다양한 작업을 평가하는 도구로, 고정된 모델 모음에서 하네스의 평균 성능을 측정합니다. 물론 이 도구를 통해 모델별 및 하네스별 벤치마크 점수도 얻을 수 있습니다. - 제 생각에는 이 질문은 탐구해 볼 만한 가치 있고 재미있는 질문입니다. 어떤 하네스 요소가 어떤 모델에게는 도움이 되고 어떤 모델에게는 도움이 되지 않는지, 그리고 일반적으로 하네스에 있으면 좋은 요소는 무엇인지 엿볼 수 있게 해 줍니다. 우리는 힐 클라임 하네스를 개발해야 하고, 해석 가능성도 확보해야 합니다. 그리고 RL 미세 조정이 모든 것을 좌우할 가능성도 매우 높습니다.
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.