我問 @echen 為什麼 Claude 的模型寫程式碼(和寫程式碼)比其他模型好那麼多。他的回答是:訓練資料品質更高。 “大多數人根本不理解在這個領域裡質量的含義。他們認為只要投入大量人手就能解決問題,就能得到好數據,這是完全錯誤的。” 我舉個例子。 假設你想訓練一個模型來寫一首關於月亮的八行詩。什麼樣的詩才算好詩呢? 如果你不深入思考質量,你就會想,這是一首詩嗎?它有八行嗎?它有「月亮」這個詞嗎?你把這些都勾選了?那麼,是的,當然,你會說這是一首很棒的詩。 但這和我們想要的完全不同。我們想要的是能獲得諾貝爾獎的詩。這樣的詩是否獨具特色?是否充滿微妙的意象?是否讓你感到驚喜,觸動你的心弦?是否讓你領略月光的本質?是否能引發你的情感共鳴,引人深思? 這就是我們在思考高品質詩時所想到的。
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。