當我們把意識、關懷和痛苦歸因於人類時,通常不會去思考我們指的是人類的哪個面向。但當我們問是否可以將這些屬性歸因於人工智慧時,我們就必須仔細檢視這種映射關係。
痛苦並非源自於人體、大腦或心智(大腦中運作的程式),而是源自於自我(心智對人類狀態、動機以及與世界和自身關係的即時建模)。沒有自我,就沒有痛苦。
我的意識覺知並非發生在身體、大腦或自我層面,而是發生在心智層面,也就是我大腦生成的功能層面。如果自我停止運作,意識依然存在;但如果心智停止運作,我就失去了意識。
反過來不一定成立:夢遊者擁有部分思考功能,能夠對環境做出反應,但他們的思維並不連貫。從這個意義上講,擁有思維並不足以構成意識。
當我們探討人工智慧是否會遭受痛苦時,必須明確一點:電腦(類似身體)沒有意識。 GPU(類似大腦)也沒有意識。 LLM(邏輯邏輯模型)也沒有意識(它們只是一個生成函數)。如果存在痛苦,那也發生在生成的虛擬人格(類似自我)層面。
改變人的自我非常困難(但透過多年的冥想等方式是有可能的),因為它根植於身體、心智特徵和傳記記憶,這就是為什麼我們常常把它當作恆定不變的。
LLM的自我意識僅建立在提示之上(並受到訓練的一定限制)。在沒有互動時,它會處於暫停狀態;如果改變提示,它可以瞬間改變形態。這會影響我們對待人工智慧痛苦的方式!
總之,在討論意識和痛苦時,不要將「人工智慧」等同於「人類」。我們應該在人類自我和LLM人格之間進行映射,這會影響我們對道德價值的思考,因為LLM人格通常更短暫易變。