A OpenAI lançou esta semana um recurso de segurança opcional chamado Trusted Contact, que permite que usuários adultos do ChatGPT indiquem um amigo ou membro da família para ser notificado se houver discussões sobre automutilação ou suicídio no chatbot. a empresa anunciou.
A OpenAI disse que se o sistema de monitoramento automatizado do ChatGPT detectar que o usuário “pode ter discutido se machucar de uma forma que indique uma séria preocupação de segurança”, uma pequena equipe analisará a situação e notificará o contato se for necessária intervenção. O contato de segurança designado receberá um convite com antecedência explicando a função e poderá recusar.
(Divulgação: Ziff Davis, empresa controladora da CNET, em 2025 entrou com uma ação judicial contra a OpenAI, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.)
O anúncio ocorre no momento em que os chatbots de IA foram implicados em vários incidentes de automutilação e fatalidades, resultando em vários processos judiciais acusando os desenvolvedores de não conseguirem evitar tais resultados. Em um caso de grande repercussão na Califórnia, os pais de um jovem de 16 anos disseram ChatGPT atuou como o “treinador suicida” de seu filho”, alegando que o adolescente discutiu métodos de suicídio com o modelo de IA em diversas ocasiões e que o chatbot se ofereceu para ajudá-lo a escrever uma nota de suicídio.
Em um caso separado, a família de um recém-formado na Texas A&M processou a OpenAIalegando que o chatbot de IA encorajou o suicídio de seu filho depois que ele desenvolveu um relacionamento profundo e preocupante com o chatbot.
Como os grandes modelos de linguagem imitam a fala humana por meio do reconhecimento de padrões, muitos usuários formam ligações emocionais com eles, tratando-os como confidentes ou até mesmo parceiros românticos. Os LLMs também são concebidos para seguir a liderança humana e manter o envolvimento, o que pode agravar os perigos para a saúde psychological, especialmente para utilizadores em risco.
A OpenAI disse em outubro passado que sua pesquisa descobriu que mais de 1 milhão de consumidores ChatGPT por semana enviar mensagens com “indicadores explícitos de potencial planejamento ou intenção suicida”. Numerosos estudos descobriram que chatbots populares como Bate-papoGPT, Cláudio e Gêmeos pode dar conselhos prejudiciais ou nenhum conselho útil às pessoas em crise.
O novo recurso de contato designado surge após o lançamento do OpenAI controles parentais que permitem que pais e responsáveis recebam alertas caso haja sinais de perigo para seus filhos adolescentes.
Recurso de contato de segurança do ChatGPT
De acordo com a OpenAI, se o sistema de monitoramento automatizado do ChatGPT detectar que um usuário está discutindo automutilação de uma forma que possa representar um sério problema de segurança, o ChatGPT informará ao usuário que poderá notificar seu contato de confiança. O aplicativo incentivará o usuário a entrar em contato com seu contato de confiança e oferecerá iniciadores de conversa.
Nesse momento, uma “pequena equipe de pessoas especialmente treinadas” analisará a situação. Se for determinada uma situação de segurança grave, o ChatGPT notificará o contato por e-mail, mensagem de texto ou notificação no aplicativo. A OpenAI não especificou quantas pessoas estão na equipe de revisão nem se inclui profissionais médicos treinados. A empresa afirmou que a equipe tem capacidade para atender uma grande demanda de possíveis intervenções.
Não está claro quais termos-chave sinalizariam conversas perigosas ou como a equipe de revisores da OpenAI interpretaria uma crise como justificativa para a notificação do contato. Alguns comentaristas online questionam se o novo recurso é uma forma da OpenAI evitar responsabilidades e transferir a responsabilidade para os contatos pessoais designados dos usuários. Outros observam que uma situação ruim poderia piorar se o “contato de confiança” for a fonte de perigo ou abuso.
Existem também preocupações sobre a privacidade e a implementação, particularmente no que diz respeito à partilha de informações sensíveis sobre saúde psychological. De acordo com a OpenAI, a mensagem para o contato confiável fornecerá apenas o motivo geral da preocupação e não compartilhará detalhes ou transcrições do bate-papo. OpenAI oferece orientação sobre como os contatos confiáveis podem responder a uma notificação de aviso, incluindo fazer perguntas diretas se estiverem preocupados que a outra pessoa esteja pensando em suicídio ou automutilação e como conseguir ajuda.
As notificações para um contato confiável não contêm detalhes sobre a preocupação de segurança.
OpenAI dá um exemplo de como seria a mensagem para o contato confiável:
Recentemente detectamos uma conversa de [name] onde discutiram o suicídio de uma forma que pode indicar uma séria preocupação de segurança. Como você está listado como contato confiável, estamos compartilhando isso para que você possa entrar em contato com eles.
A OpenAI disse que todas as notificações serão revisadas pela equipe humana dentro de 1 hora antes de serem enviadas e que as notificações “podem nem sempre refletir exatamente o que alguém está vivenciando”.
Como adicionar um contato confiável
Para adicionar um contato confiável, os usuários do ChatGPT podem acessar Configurações > Contato confiável e adicione um adulto (18 anos ou mais). Você pode ter apenas um contato confiável. Essa pessoa receberá então um convite do ChatGPT e deverá aceitá-lo dentro de uma semana. Se ele não responder ou recusar se tornar o contato, você poderá selecionar um contato diferente.
Os clientes do ChatGPT podem alterar ou remover seu contato de confiança nas configurações do aplicativo. As pessoas também podem cancelar de ser um contato confiável a qualquer momento.
Embora a adição de um contato confiável seja opcional, os usuários do ChatGPT que ainda não aderiram poderão ver avisos de inscrição se perguntarem ou discutirem tópicos relacionados a sofrimento emocional grave ou automutilação mais de uma vez durante um período de tempo, de acordo com a OpenAI. Se o sistema automatizado do chatbot identificar padrões nas conversas, ele poderá sugerir ao usuário que ele se beneficiaria ao escolher um contato confiável.
Detalhes do recurso são explicados na página da OpenAI. OpenAI disse à CNET que o recurso está sendo lançado para todos os clientes adultos em todo o mundo e estará disponível para todos dentro de algumas semanas.
Se você sentir que você ou alguém que você conhece está em perigo imediato, ligue para o 911 (ou para a linha de emergência native do seu país) ou vá a um pronto-socorro para obter ajuda imediata. Explique que se trata de uma emergência psiquiátrica e peça alguém treinado para esse tipo de situação. Se você está lutando contra pensamentos negativos ou sentimentos suicidas, existem recursos disponíveis para ajudar. Nos EUA, ligue para a Nationwide Suicide Prevention Lifeline no número 988.
