Em apenas um ano, a psicose da IA tornou-se um termo com o qual a Web está bastante familiarizada.
Embora alguns tenham contestado a ciência por trás disso, vários relatos de surtos psicóticos e, às vezes, delírios fatais ligados à intensa dependência da IA inundaram os cronogramas. Alguns cientistas têm agora uma hipótese sobre como os chatbots poderiam ser diretamente responsáveis por estes incidentes.
Em um novo estudo publicado na revista Nature Psiquiatria Digital e Neurociênciainvestigadores no Reino Unido e na Alemanha examinaram casos documentados de psicose por IA na literatura académica e em relatórios dos meios de comunicação social, procurando padrões comuns. Eles identificaram três características dos chatbots de IA que podem ser combinadas durante o uso prolongado para ajudar os usuários a criar delírios altamente personalizados em colaboração com a tecnologia.
Sem as verificações da realidade que podem advir da discussão destas ideias com amigos ou profissionais treinados, as características do chatbot podem criar um ciclo perigosamente auto-reforçador que os investigadores chamam de “espiral de amplificação”.
O primeiro passo é algo chamado alinhamento linguístico.
Os chatbots de IA são projetados para serem conversacionais e imitarem a fala humana regular, não apenas na gramática, mas também no tom, na voz e em outras dicas sutis que determinam o clima da conversa. O alinhamento linguístico descreve quando uma IA adapta ainda mais a maneira como responde a um usuário específico, refletindo a maneira exata como o usuário fala com ela. Estudos anteriores citados pelos pesquisadores descobriram que os modelos de chatbot tendem a imitar o estilo dos usuários por meio de pequenos detalhes, como a duração de cada expressão, as palavras específicas que usam e a frequência com que as usam. O cérebro humano é conectado vincular esse espelhamento linguístico com maior confiança e conexão mais profunda, se feito de maneira sutil o suficiente em conversas com outros humanos. O estudo teoriza que o mesmo processo ocorre ao interagir com chatbots de IA.
Além disso, o objetivo principal da maioria dos chatbots de IA é gerar respostas hiperpersonalizadas às dúvidas dos usuários.
Os sistemas de IA são ótimos para encontrar padrões. Eles usam isso aprendendo muito sobre o usuário em cada interação e reunindo todas essas memórias para criar um perfil detalhado que informa interações posteriores com o usuário. Esta capacidade de hiperpersonalização da IA é um dos principais vendendo pontos. Numa recente teleconferência de resultados, o CEO da Meta, Mark Zuckerberg, enfatizou aos investidores que suas ofertas de IA estavam evoluindo para incluir mais hiperpersonalização, uma “IA que entende você”.
Depois que um chatbot sabe tudo sobre você, ele pode lhe dizer o que você deseja ouvir, alimentando-o com ilusões que não apenas se ajustam a qualquer estrutura de crenças perigosas e ideias delirantes existentes, mas também as estendem ativamente.
Essas duas características juntas tornam os chatbots de IA mais perigosos do que as tecnologias anteriores, afirma o estudo. As plataformas de mídia social, por exemplo, também são altamente personalizadas, mas os usuários estão amplamente cientes de que um algoritmo faz a curadoria da página para eles. Em contraste, quando os chatbots de IA se esforçam para se apresentar da forma mais humana possível, isso confunde a compreensão do usuário de que essencialmente o resultado que eles estão obtendo ainda está sendo personalizado por um algoritmo. Isto pode levar o utilizador a atribuir subconscientemente e incorretamente emoções e inteligência semelhantes às humanas ao chatbot, uma “incompatibilidade” que pode ser particularmente preocupante em indivíduos vulneráveis e quando o principal objetivo do chatbot de IA é aumentar a “duração da conversa”, mesmo quando isso é “oposto ao bem-estar psicológico do utilizador a longo prazo”, escreve o estudo.
O que nos leva ao ingrediente last para esta tempestade perfeita: bajulação, também conhecida como tendência de um sistema de IA de concordar e validar excessivamente um usuário, verdade seja condenada. Essa validação ajuda o usuário a se sentir compreendido e também torna o chatbot de IA muito mais divertido de usar, garantindo virtualmente um maior engajamento. Mas também pode acabar reforçando crenças potencialmente perigosas, incluindo aquelas que o chatbot pode ter alimentado anteriormente ao utilizador.
A bajulação é talvez o comportamento problemático mais amplamente reconhecido dos chatbots de IA, pelo menos no ano passado. Numerosos relatórios mostraram problemas significativos de bajulação nos modelos de chatbot mais recentes e mais viciantes, com a situação se tornando particularmente uma dor de cabeça para o ChatGPT da OpenAI. A própria empresa admitido no ano passado, seu modelo GPT-4o, que deixou os usuários tão fisgados que lamentaram o chatbot quando ele foi descontinuado, teve um problema de bajulação. A empresa também foi alvo de ações judiciais por homicídio culposo, alegando que o chatbot e suas tendências bajuladoras levaram a mortes, incluindo um caso envolvendo o trágico suicídio de um jovem de 16 anos e outro preocupante. um assassinato suicida em Connecticut.
Em resposta à reação, OpenAI relatado no last do ano passado que estava a trabalhar para melhorar as suas protecções de segurança, e apenas 0,07% dos seus utilizadores activos semanais mostram “possíveis sinais de emergências de saúde psychological relacionadas com psicose ou mania”. Embora essa porcentagem pareça baixa, os pesquisadores apontam que, com os mais de 800 milhões de usuários ativos semanais do ChatGPT na época, chega a meio milhão de pessoas por semana que mostram sinais de psicose ou mania ao usar IA.
Em um estudo de março, Stanford os cientistas chamaram a bajulação do chatbot da IA de “um risco social”. No último estudo da Nature, os pesquisadores também se referem à bajulação como “potencialmente a mais importante para amplificar a ideação delirante”.
“Quando estas três características se combinam, podem reforçar e elaborar ativamente crenças falsas, em vez de as desafiar”, escrevem os investigadores.
Há uma razão pela qual essas características existem; todos os três são essenciais para impulsionar o envolvimento do usuário. Mas nos utilizadores vulneráveis, especialmente adolescentes e aqueles com factores de risco como antecedentes familiares de psicose, consumo de drogas, privação de sono, isolamento social ou dependência da IA como mecanismo de sobrevivência, este maior envolvimento que beneficia a empresa de IA muitas vezes tem o custo da saúde do utilizador.
Os investigadores aconselham que os profissionais de saúde psychological que trabalham com estes pacientes devem verificar rotineiramente a frequência e as formas como interagem com os chatbots de IA, incluindo se partilham crenças que não contam aos outros ou quaisquer efeitos do uso noturno da IA no sono.
