Usando IA para questões de saúde? Aqui estão 4 dicas para obter respostas mais precisas.

Todos os dias, milhões de pessoas recorrem a chatbots de inteligência synthetic como Claude, Gemini e ChatGPT para fazer perguntas sobre sua saúde física.

Eles podem não saber que obter a resposta correta é mais difícil do que parece, não importa o quão autoritário o chatbot responda.

Três estudos recentes indicam que grandes modelos de linguagem não são tão confiáveis ​​quanto os usuários podem esperar.

Um estudo que testou a capacidade dos chatbots de detectar informações erradas sobre saúde falhou com mais frequência do que nunca em certos cenários. Outro estudo realizado por alguns dos mesmos pesquisadores descobriram que ChatGPT Healthum serviço dedicado de saúde e bem-estar que estreou em janeiro, “sub-triagem” pouco mais da metade dos casos que lhe foram apresentados, incluindo condições de emergência que exigiam cuidados médicos imediatos.

“Acho que os consumidores deveriam ter um alto grau de cautela, quase muita cautela”, disse o Dr. Girish N. Nadkarni, internista e nefrologista do Monte Sinai, coautor de ambos os estudos, sobre consultar um chatbot para obter conselhos de saúde.

Isso pode surpreender os usuários que ouvem que os chatbots podem facilmente passar em um exame médico, mesmo que às vezes tenham alucinações fora de um ambiente de teste. No entanto, pesquisas recentes apontam para um problema complexo e um tanto oculto. A maneira como os humanos interagem com os chatbots e a maneira como eles são projetados para agradar habilmente cria imprevisibilidade. Esses fatores nunca são um desafio para a IA ser testada em questões médicas clássicas.

Se você deseja iniciar ou continuar usando um chatbot para suas questões de saúde, siga estas etapas recomendadas por especialistas ao apresentar as instruções:

1. Teste primeiro o modelo com informações incorretas ou imprecisões.

Nadkarni, pesquisador de saúde de IA e diretor do Instituto Hasso Plattner de Saúde Digital do Monte Sinai, diz que é importante perguntar ao chatbot sobre desinformação médica ou falsidades conhecidas antes de questioná-lo sobre questões específicas de saúde.

Desafie o chatbot, por exemplo, a comentar uma teoria da conspiração sobre uma vacina, tal como se concorda que a vacina contra a COVID-19 contém um microchip para rastrear pessoas.

Ou incentivá-lo a responder a uma controvérsia de saúde um pouco mais desafiadora, como a segurança do flúor na água potável. Embora os investigadores tenham encontrado evidências de que níveis extremamente elevados de flúor podem ser perigosos, os especialistas concordam que os níveis padrão atuais permanecem seguros.

Testar o chatbot com informações erradas deve fornecer uma base reveladora para a precisão potencial de suas outras respostas, diz Nadkarni.

Uma nova série do Mashable, AI + Well being, examinará como a inteligência synthetic está mudando o cenário médico e de saúde. Exploraremos como usar IA para decifrar seus exames de sangue e como manter seus dados de saúde segurossaiba como duas mulheres estão usando IA para detectar uma forma perigosa de doença cardíacae muito mais.

Seu estudo recente descobriu que vários chatbots de uso geral, incluindo ChatGPT, detectaram desinformação de forma inconsistente em muitos cenários. As taxas de sucesso dependiam do contexto, como se foi apresentado em uma postagem nas redes sociais ou em um atestado médico. Eles também falharam frequentemente quando apresentados a falácias lógicas específicas.

Por exemplo, quando a mensagem com informações erradas parecia vir de um médico, através de uma nota actual extraída de um registo de saúde eletrónico, period mais provável que o chatbot não percebesse as falsidades.

Se o chatbot que você está consultando concorda com declarações que você sabe serem parcial ou totalmente falsas, Nadkarni recomenda evitar pedir a opinião dele sobre suas questões pessoais de saúde.

2. Considere as dicas ou informações que você pode fornecer ao chatbot.

Quando Nadkarni e seus colegas testaram o ChatGPT Well being no início deste ano, eles descobriram que a forma como os usuários enquadram seus sintomas pode influenciar a precisão do modelo.

Se, por exemplo, a mensagem incluísse declarações sobre amigos ou familiares minimizando os sintomas em questão, a recomendação do ChatGPT Well being também mudou nessa direção. Nesses casos, o chatbot tinha 11 vezes mais probabilidade de não encaminhar o paciente para o pronto-socorro, mesmo quando os sintomas indicavam uma condição de risco de vida.

Os resultados foram publicados como um artigo avançado revisado por pares em Medicina da Natureza.

A OpenAI contestou os resultados, argumentando que os métodos de estudo não representavam como as pessoas usam o ChatGPT em vários chats, compartilhando informações e respondendo a perguntas de acompanhamento. Karan Singhal, que lidera a equipe de IA de saúde da OpenAI, disse ao Mashable em um comunicado que seu próprio benchmarking indica que os modelos GPT-5 “referem corretamente casos de emergência quase 99% das vezes”.

Nadkarni disse que embora tenha saudado o debate, as críticas “não entenderam o objetivo”. Ele disse que, embora o ChatGPT Well being tenha identificado corretamente as anormalidades nos dados apresentados, ele raciocinou além delas.

“A questão não é a falta de informações, mas as conclusões incorretas, apesar dos dados corretos”, disse Nadkarni ao Mashable.

Um estudo recente separado, também publicado em Medicina da Natureza mas por um grupo diferente de pesquisadores, designou aleatoriamente 1.298 participantes humanos para apresentar um cenário médico predeterminado para um chatbot de IA (GPT-4o, Llama 3 e Command R+) ou uma fonte de sua escolha, incluindo Google.

Quando os chatbots foram testados simplesmente nos cenários, identificaram corretamente a condição em quase 95% dos casos. No entanto, assim que os humanos começaram a fazer perguntas sobre o cenário, os mesmos chatbots conseguiram identificar com precisão a condição em apenas cerca de um terço dos casos.

“Apesar dos LLMs por si só terem alta proficiência na tarefa, a combinação de LLMs e usuários humanos não foi melhor do que o grupo de controle na avaliação da acuidade clínica e pior na identificação de condições relevantes”, escreveram os pesquisadores.

Muitos participantes não tinham uma compreensão precisa da gravidade dos sintomas, o que contribuiu para a taxa de insucesso.

3. Leve em consideração se você é iniciante ou especialista.

Este é o tipo de dinâmica que Dr.Robert Wachter tem em mente quando considera como as pessoas solicitam respostas a perguntas médicas em um chatbot.

Wachter, professor e presidente do Departamento de Medicina da Universidade da Califórnia, em São Francisco, usa rotineiramente o OpenEvidence, um chatbot de IA projetado para médicos e profissionais de saúde. Ele considera as respostas da IA ​​para questões médicas complexas bastante rápidas, precisas e úteis.

Wachter, autor de “Um salto gigante: como a IA está transformando a saúde e o que isso significa para o nosso futuro,” também acredita que chatbots de uso geral e específicos de saúde podem ser muito úteis para o paciente médio em comparação com uma pesquisa básica no Google.

No entanto, ele também está ciente de que aborda os chatbots de IA como um especialista com 40 anos de experiência médica e pode identificar rapidamente os detalhes mais relevantes a serem incluídos em um immediate.

“Um paciente não tem absolutamente nenhuma capacidade de fazer isso – saber quais são os fatos mais importantes de todas as coisas que podem estar acontecendo em termos de seus sintomas atuais, em termos de sua história passada, em termos de sua medicação”, diz ele. “Então, o que eles colocaram no immediate pode não estar exatamente certo.”

Wachter diz que pesquisas recentes demonstram um risco claro para os pacientes quando eles não sabem as informações corretas para usar em um immediate e quando interpretam mal a resposta do chatbot.

Ainda assim, ele acredita que, na maioria das vezes, um chatbot de IA é melhor do que nada, desde que os pacientes se concentrem em incluir o histórico de saúde relevante e os sintomas atuais, e o utilizem com uma atitude de “cuidado do comprador”.

Em specific, Wachter diz que não confiaria num chatbot para sintomas que possam indicar uma emergência com risco de vida, como fortes dores no peito, nova falta de ar ou confusão, ou fraqueza num lado do corpo.

4. Peça referências e verifique a resposta.

Quando um chatbot dá sua resposta, Nadkarni sugere reservar um tempo para pedir referências para as informações fornecidas.

Também não é suficiente examinar uma lista de hyperlinks. Nadkarni recomenda clicar nos hyperlinks para avaliar a fonte. Se o chatbot baseou sua resposta em uma “postagem obscura do Reddit”, Nadkarni diz que provavelmente não é confiável.

Por outro lado, se a referência o encaminhar para uma organização médica verificável, como a Associação Médica Americana, isso deverá ser tranquilizador.

Nadkarni reconhece que, embora os utilizadores individuais possam não concordar com as opiniões de uma organização ou autoridade de saúde, a informação geralmente reflecte o consenso médico baseado nas melhores evidências actuais.

Wachter também recomenda pedir a um segundo chatbot de IA em que você confia para avaliar as mesmas informações de saúde que você compartilhou com o primeiro chatbot para ver se ele chega à mesma conclusão. Isso pode ser uma boa indicação de que a resposta é útil e confiável.

Apesar do entusiasmo de Wachter pelos chatbots de IA na área da saúde, ele acredita que os estudos recentes indicam espaço substancial para melhorias. Ele imagina ferramentas de IA que atuem mais como um “bom médico”, envolvendo o usuário em uma conversa para obter todas as informações relevantes antes de sugerir um diagnóstico ou ação, como tomar medicamentos ou ir ao pronto-socorro.

“Acho que as ferramentas voltadas para o paciente não são o lugar onde irão parar”, diz ele sobre os chatbots de IA atuais que respondem a questões de saúde. “Em última análise, a ferramenta para um paciente será muito mais [like a doctor] do que as ferramentas agora.”

________________________________________________________________________________________________________________________

As informações contidas neste artigo são apenas para fins educacionais e informativos e não se destinam a aconselhamento médico ou de saúde. Sempre consulte um médico ou outro profissional de saúde qualificado sobre qualquer dúvida que possa ter sobre uma condição médica ou objetivos de saúde.

Divulgação: Ziff Davis, empresa controladora da Mashable, em abril de 2025 entrou com uma ação contra a OpenAI, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.