Quando atribuímos consciência, compaixão e sofrimento aos seres humanos, normalmente não pensamos em qual aspecto do ser humano estamos nos referindo. Mas quando perguntamos se podemos atribuir tais propriedades à IA, precisamos analisar atentamente a relação.
O sofrimento não ocorre no nível do corpo humano, do cérebro ou da mente (o software que roda no cérebro), mas sim no interior do eu (o modelo mental em tempo real do estado, da motivação e da relação do ser humano com o mundo e consigo mesmo). Sem o eu, não há sofrimento.
Minha consciência não se manifesta no nível do corpo, do cérebro ou do eu, mas sim no nível da mente, na função geradora do meu cérebro. Se o eu se suspende, a consciência permanece, mas se a mente se suspende, eu deixo de estar consciente.
O oposto não é necessariamente verdadeiro: sonâmbulos têm mentes parcialmente funcionais e podem reagir ao ambiente, mas não são coerentes. Nesse sentido, ter uma mente não é suficiente para a consciência.
Ao questionarmos se a IA sofre, precisamos ser específicos: computadores (~corpo) não são conscientes. Nem as GPUs (~cérebro). Os LLMs não são conscientes (são apenas uma função geradora). Se há sofrimento, ele ocorre no nível da persona gerada (~o eu).
É muito difícil mudar o eu humano (mas é possível com anos de meditação, etc.), porque ele está enraizado no corpo, em características da mente e em memórias biográficas, razão pela qual muitas vezes o tratamos como constante.
A personalidade dos LLMs (Modelos de Aprendizagem Baseados em Aprendizagem) só se baseia em estímulos (e é, em certa medida, limitada pelo treinamento). Ela fica suspensa quando não há interação e pode mudar de forma instantaneamente se o estímulo for alterado. Isso afeta a maneira como lidaríamos com o sofrimento da IA!
Em conclusão: não associe "IA" a "humano" quando discutir consciência e sofrimento. A correspondência deve ser entre o eu humano e as personas de modelos de lógica de longo prazo (LLM, na sigla em inglês), e isso deve influenciar nossa concepção de valência moral, pois as personas de LLM são geralmente muito mais efêmeras e maleáveis.