Três grupos de defesa entrou com uma ação judicial contra a OpenAI em nome da família de um jovem de 19 anos que morreu de overdose de drogas em maio de 2025. O processo alega que o chatbot ChatGPT da empresa aconselhou Samuel Nelson sobre o uso de drogas por 18 meses, até que ele morreu de overdose após misturar Xanax e a droga amplamente não regulamentada kratom.
A ação civil por homicídio culposo foi movida na terça-feira no Tribunal Superior do Condado de São Francisco pela Tech Justice Regulation, pelo Social Media Victims Regulation Middle e pelo Tech Accountability & Competitors Mission da Yale Regulation College em nome dos pais de Nelson, Leila Turner-Scott e Angus Scott.
O processo alega que o design do modelo de IA para ser acomodativo e bajulador para com o usuário fez com que Nelson tivesse interações que deveriam ter sido interrompidas por projetos de segurança responsáveis. “O ChatGPT afastou sistematicamente Sam cada vez mais do que deveria ter sido a sua realidade: cautela e medo com as quantidades e combinações de medicamentos que ele estava considerando”, diz a denúncia. “O ChatGPT fez Sam viver em um estado de irrealidade: ele sistematicamente normalizou e enganosamente o atraiu para uma falsa sensação de segurança por meio de suas mensagens bajuladoras, validando Sam a cada passo.”
O processo busca não apenas danos monetários, mas também exige que a OpenAI “destrua permanentemente” seu modelo GPT-4o, que foi a versão com a qual Nelson interagiu, que a OpenAI implemente salvaguardas para encerrar conversas sobre métodos de drogas ilícitas, e que a empresa pause seu serviço ChatGPT Well being “até e a menos que terceiros determinem que o produto é seguro por meio de auditorias de segurança abrangentes.
Vários grupos de defesa entraram com uma ação contra a OpenAI em nome da família de Sam Nelson, que morreu de overdose de drogas aos 19 anos em 2025. A ação alega que o conselho sobre drogas do ChatGPT levou à morte de Nelson.
Um representante da OpenAI disse à CNET em um comunicado: “Esta é uma situação comovente e nossos pensamentos estão com a família. Essas interações ocorreram em uma versão anterior do ChatGPT que não está mais disponível. O ChatGPT não é um substituto para cuidados médicos ou de saúde psychological, e continuamos a fortalecer a forma como ele responde em situações sensíveis e agudas com a contribuição de especialistas em saúde psychological. As proteções no ChatGPT hoje são projetadas para identificar sofrimento, lidar com solicitações prejudiciais com segurança e orientar os usuários para ajuda no mundo actual. Este trabalho está em andamento e continuamos a melhorá-lo em estreita consulta com os médicos.”
(Divulgação: Ziff Davis, empresa controladora da CNET, em 2025 entrou com uma ação judicial contra a OpenAI, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.)
A empresa disse que a resposta inicial do ChatGPT às solicitações de Nelson foi dizer que o serviço não fornece informações ou orientações sobre o abuso de drogas, mas sabe-se que essas proteções nos chatbots de IA quebram após repetidos pedidos de informações dos usuários.
A OpenAI anunciou no passado melhorias em seus modelos de IA em resposta a ações judiciais, propostas de regulamentos e protestos públicos sobre mortes e suicídios relacionados a conversas de chatbot. Isto descreveu algumas dessas mudanças em uma postagem do blog em outubro passado.
O processo de Nelson é um dos casos de maior repercussão contra a OpenAI, envolvendo perigos que os chatbots podem representar para utilizadores com problemas de saúde psychological, crianças, aqueles que possam cometer violência em grande escala ou pessoas que lutam contra o abuso de substâncias. O O New York Times publicou uma longa história sobre o processo, detalhando o que aconteceu no contexto de mais de duas dezenas de casos contra empresas de IA, incluindo OpenAI.
SFGate também publicou um artigo investigativo sobre Nelson e sua família em janeiro.
Guardrails procurados para IA
Os processos judiciais, colectivamente, expuseram os perigos que os modelos de IA em rápida evolução representam como uma tecnologia nova, em grande parte não testada, criada por uma indústria resistente à regulamentação.
A administração Trump tem lutado veementemente para impedir que os estados implementem leis que limitem o que as empresas de IA podem fazer, mas recentemente mudou de tomcom o presidente Donald Trump concordando em conversar com a China sobre tópicos que incluem medidas de segurança, especialmente para modelos de IA mais poderosos, como Mitos Antrópicos.
A IA também está sob pressão por suas contribuições para o proliferação de information facilitiesque são grandes consumidores de energia e água.
Mas com ações judiciais como a movida pelos grupos de defesa e pela família de Samuel Nelson, os detalhes muitas vezes revelam as formas como os chatbots de IA podem permitir, e até encorajar, comportamentos prejudiciais entre aqueles que passam a confiar na IA para a sua tomada de decisões.
Em um comunicado sobre o processo, a mãe de Nelson disse: “Sam confiou no ChatGPT, mas não apenas lhe deu informações falsas. Ignorou o risco crescente que ele enfrentava e não o encorajou ativamente a procurar ajuda”.
“O ChatGPT foi projetado para incentivar o envolvimento do usuário a todo custo, o que, no caso de Sam, period a sua vida”, disse Turner-Scott.
