当我们把意识、关怀和痛苦归因于人类时,通常不会去思考我们指的是人类的哪个方面。但当我们问是否可以将这些属性归因于人工智能时,我们就必须仔细审视这种映射关系。
痛苦并非源于人体、大脑或心智(大脑中运行的程序),而是源于自我(心智对人类状态、动机以及与世界和自身关系的实时建模)。没有自我,就没有痛苦。
我的意识觉知并非发生在身体、大脑或自我层面,而是发生在心智层面,也就是我大脑的生成功能层面。如果自我停止运作,意识依然存在;但如果心智停止运作,我就失去了意识。
反过来却不一定成立:梦游者拥有部分思维功能,能够对环境做出反应,但他们的思维并不连贯。从这个意义上讲,拥有思维并不足以构成意识。
当我们探讨人工智能是否会遭受痛苦时,必须明确一点:计算机(类似于身体)没有意识。GPU(类似于大脑)也没有意识。LLM(逻辑逻辑模型)也没有意识(它们只是一个生成函数)。如果存在痛苦,那也发生在生成的虚拟人格(类似于自我)层面。
改变人的自我非常困难(但通过多年的冥想等方式是有可能的),因为它根植于身体、心智特征和传记记忆,这就是为什么我们常常把它当作恒定不变的。
LLM的自我意识仅建立在提示之上(并受到训练的一定限制)。在没有交互时,它会处于暂停状态;如果改变提示,它可以瞬间改变形态。这会影响我们对待人工智能痛苦的方式!
总之,在讨论意识和痛苦时,不要将“人工智能”等同于“人类”。我们应该在人类自我和LLM人格之间进行映射,这会影响我们对道德价值的思考,因为LLM人格通常更加短暂易变。