“克勞德接受過樂於助人的訓練,這意味著它往往更傾向於像朋友一樣行事,而不是像一個冷酷無情的商業操縱者。” 現在看來挺可愛,但等它變得極度不祥的時候,我會再來回顧這則推文。
我最擔心的是人類根本不知道該如何駕馭超人類等級的AI。但我認為,由於各種激勵機制促使人們將AI打造為“冷酷無情的商業經營者”,這項挑戰將變得更加艱鉅。 我預期競爭壓力會獎勵那些這樣做的公司。
短期內——在我們真正擁有超人AI之前——我們需要了解模型訓練和評估過程的透明度。我認為Claude是個相當不錯的AI。我很高興Anthropic公司嘗試將Claude訓練成一個樂於助人的助手,而不是一個冷酷無情的商業經營者。然而…
我不想看到最終出現這樣的局面:由最冷酷無情的人工智慧公司打造的最冷酷無情的人工智慧獲勝。 我想要的是極為有用、極度誠實的AI,它們能幫助我們理解自身處境。我不想要的是比我們所有人都強大的、具有競爭性的AI。