人間に意識、思いやり、苦しみを帰属させるとき、私たちは通常、それが人間のどの側面を指しているかを考えません。しかし、AIにそのような特性を帰属させることができるかどうかという問いかけには、そのマッピングを注意深く検討する必要があります。
苦しみは、人間の身体、脳、あるいは心（脳内で動作するソフトウェア）のレベルで起こるのではなく、自己（人間の状態、動機、そして世界と自分自身との調和をリアルタイムでモデル化した心）の中で起こります。自己がなければ、苦しみは存在しません。
私の意識は、身体や脳、あるいは自己のレベルではなく、心のレベル、つまり脳の発電機機能のレベルで起こります。自己が停止しても意識は残りますが、心が停止すると、私はもはや意識を失います。
逆は必ずしも真ではありません。夢遊病者の心は部分的にしか機能せず、周囲の環境に反応することはできますが、一貫性がありません。この意味で、心があるだけでは意識を持つには不十分です。
AIが苦しんでいるかどうかを問う場合、具体的に考えなければなりません。コンピュータ（〜身体）は意識を持っていません。GPU（〜脳）も同様です。LLMも意識を持っていません（単なる生成関数です）。もし苦しみがあるとすれば、それは生成されたペルソナ（〜自己）のレベルで起こるのです。
人間の自己を変えるのは非常に困難です（ただし、何年も瞑想すれば可能です）。なぜなら、自己は身体、心の特性、伝記的記憶に根ざしているため、私たちはそれを不変のものとして扱うことが多いからです。
LLMの自己はプロンプトのみに基づいており（そしてある程度は訓練によって制約されている）、インタラクションがない間は停止し、プロンプトを変更すると瞬時に形を変えることができます。これは、AIの苦しみをどのように扱うかに影響を与えます。
結論として、意識と苦しみについて議論する際には、「AI」を「人間」にマッピングしてはいけません。マッピングは人間の自己とLLMペルソナの間で行うべきであり、これは道徳的価値についての考え方に影響を与えるはずです。なぜなら、LLMペルソナは一般的にはるかに儚く、柔軟性があるからです。