“克劳德接受过乐于助人的训练,这意味着它往往更倾向于像朋友一样行事,而不是像一个冷酷无情的商业操纵者。” 现在看来挺可爱,但等它变得极其不祥的时候,我会再来回顾这条推文。
我最担心的是人类根本不知道该如何驾驭超人类级别的AI。但我认为,由于各种激励机制促使人们将AI打造为“冷酷无情的商业运营者”,这一挑战将变得更加艰巨。 我预计竞争压力会奖励那些这样做的公司。
短期内——在我们真正拥有超人AI之前——我们需要了解模型训练和评估过程的透明度。我认为Claude是一个相当不错的AI。我很高兴Anthropic公司尝试将Claude训练成一个乐于助人的助手,而不是一个冷酷无情的商业运营者。然而……
我不想看到最终出现这样的局面:由最冷酷无情的人工智能公司打造的最冷酷无情的人工智能获胜。 我想要的是极其有用、极其诚实的AI,它们能帮助我们理解自身处境。我不想要的是比我们所有人都强大的、具有竞争性的AI。