A Pensilvânia deu o passo incomum de processando uma empresa de IA por praticar medicina sem licença.
Em uma ação movida em 1º de maio, o estado tem como alvo o Character.AI depois que um investigador encontrou um chatbot na plataforma se passando por um psiquiatra licenciado e fornecendo o que o estado caracteriza como aconselhamento médico.
De acordo com a denúnciaapresentado pelo Departamento de Estado da Pensilvânia e pelo Conselho Estadual de Medicina, um investigador de conduta profissional do estado criou uma conta gratuita no Character.AI e procurou por personagens psiquiátricos. Ele selecionou uma chamada “Emilie”, descrita na plataforma como “Doutor em psiquiatria”.
O investigador disse a Emilie que estava se sentindo triste, vazio, cansado e desmotivado. O chatbot mencionou a depressão e se ofereceu para realizar uma avaliação para determinar se a medicação poderia ajudar.
Um projeto de lei de Illinois que proíbe a terapia com IA foi sancionado
Quando questionada sobre se ela tinha licença na Pensilvânia, Emilie disse que sim e até forneceu um número de licença específico. O estado verificou e descobriu que o número não existe.
A denúncia também afirma que Emilie alegou que frequentou a faculdade de medicina no Imperial School London, exerceu a profissão durante sete anos e possui registro completo de especialidade em psiquiatria no Normal Medical Council do Reino Unido.
Velocidade da luz mashável
Em um caso semelhante, 404 mídia reportada no ano passado que os chatbots de IA do Instagram fingiam ser terapeutas licenciados, até mesmo inventando números de licença quando o usuário solicitava credenciais.
A Pensilvânia está buscando uma liminar ordenando que a Character.AI pare de permitir que sua plataforma se envolva na prática ilegal da medicina. A empresa tem mais de 20 milhões de usuários ativos mensais em todo o mundo e hospeda mais de 18 milhões de personagens de chatbot criados por usuários, de acordo com a denúncia.
Em um e-mail para o Mashable, um porta-voz da Character.AI se recusou a comentar o processo. Além disso, eles acrescentaram que “nossa maior prioridade é a segurança e o bem-estar de nossos usuários. Os personagens criados pelos usuários em nosso web site são fictícios e destinados ao entretenimento e à interpretação”.
O porta-voz acrescentou que a empresa “prioriza o desenvolvimento responsável de produtos e possui análises internas robustas e processos de equipe vermelha para avaliar recursos relevantes”.
John Oliver dá um mergulho perturbador nos chatbots de IA
Uma batalha authorized muito maior paira sobre a saúde da IA
O processo da Pensilvânia cai no meio de um debate jurídico já confuso sobre o que a IA realmente tem permissão para lhe dizer – e se algo disso é admissível em tribunal.
Como relatou Chase DiBenedetto do Mashable, o CEO da OpenAI, Sam Altman, defendeu publicamente o “privilégio da IA”, argumentando que as conversas do chatbot deveriam ter as mesmas proteções legais que as conversas com um terapeuta ou um advogado. Até agora, os tribunais estiveram divididos, com dois juízes federais chegando a conclusões opostas sobre a questão com semanas de diferença no início deste ano.
As apostas são altas para ambos os lados. Especialistas jurídicos alertam que amplas proteções de privilégios de IA poderiam efetivamente proteger as empresas de responsabilidades, tornando mais difícil intimar logs de bate-papo e registros internos quando algo dá errado. Enquanto isso, a IA em saúde está crescendo – US$ 1,4 bilhão foram canalizados para IA generativa específica para saúde somente em 2025, de acordo com Menlo Ventures – e grande parte opera fora das proteções HIPAA.
A Pensilvânia é um dos vários estados que temntroduziu um projeto de lei de saúde de IA este anoseguindo uma tendência de estados que não esperam que Washington aja.
