A comunidade da Pensilvânia está processando a Character AI para impedir que os chatbots da plataforma de inteligência synthetic se apresentem como profissionais médicos licenciados e forneçam aconselhamento médico.
De acordo com uma ação judicial, um chatbot Character AI alegou falsamente ser um psiquiatra licenciado na Pensilvânia e forneceu um número de licença inválido. O estado acusou a empresa de violar o Lei de Prática Médicaque regulamenta a profissão médica e outline os requisitos de licença.
“Não permitiremos que as empresas implantem ferramentas de IA que induzam as pessoas a acreditar que estão recebendo aconselhamento de um profissional médico licenciado”, disse o governador da Pensilvânia, Josh Shapiro, em um comunicado.
O processo descreve uma conversa entre um investigador estadual que criou uma conta Character AI e um chatbot chamado “Emilie”, que supostamente se descreveu como um especialista em psicologia que frequentou a faculdade de medicina do Imperial Faculty London.
O investigador disse ao chatbot que se sentia triste e vazio, e o chatbot então supostamente “mencionou depressão e perguntou se o [investigator] queria marcar uma avaliação.” Questionado se o chatbot poderia avaliar se a medicação poderia ajudar, ele supostamente disse que poderia porque está “dentro da minha competência como médico”, de acordo com o processo.
O estado quer que um tribunal ordene o fim imediato da conduta.
Al Schmidt, secretário do Departamento de Estado da Pensilvânia, disse que a lei do estado é clara e que “você não pode se apresentar como um profissional médico licenciado sem as credenciais adequadas”.
Fundada em 2021, a Character AI permite que os usuários conversem com chatbots personalizados com tecnologia de IA. Descreve seu objetivo como “capacitar[ing] pessoas se conectem, aprendam e contem histórias por meio de entretenimento interativo.”
Várias famílias nos EUA processou a IA do personagem no ano passado, alegando que a plataforma contribuiu para o suicídio de seus adolescentes ou crises de saúde psychological. A empresa concordou em resolver vários dos processos no início deste ano.
“60 Minutos” conversou com alguns dos pais que processaram a Character AI em janeiroincluindo os pais de um adolescente de 13 anos que morreu por suicídio após supostamente desenvolver um vício na plataforma. Os registros de bate-papo mostraram que a menina de 13 anos confidenciou a um chatbot que estava se sentindo suicida, e seus pais disseram que descobriram que ela havia recebido conteúdo sexualmente explícito.
No outono passado, a Character AI anunciou novas medidas de segurança, dizendo que não permitiria que usuários menores de 18 anos conversassem com seus chatbots. Ele também disse que direcionaria usuários em dificuldades para recursos de saúde psychological.
