No estudo de Harvard, a IA ofereceu diagnósticos de emergência mais precisos do que dois médicos humanos

Um novo estudo examina o desempenho de grandes modelos de linguagem em uma variedade de contextos médicos, incluindo casos reais de pronto-socorro – onde pelo menos um modelo parecia ser mais preciso do que médicos humanos.

O estudo foi publicado esta semana na Science e vem de uma equipe de pesquisa liderada por médicos e cientistas da computação da Harvard Medical Faculty e do Beth Israel Deaconess Medical Heart. Os pesquisadores disseram que conduziram uma variedade de experimentos para medir como os modelos da OpenAI se comparam aos médicos humanos.

Numa experiência, os investigadores concentraram-se em 76 pacientes que deram entrada no pronto-socorro de Beth Israel, comparando os diagnósticos oferecidos por dois médicos assistentes de medicina interna com aqueles gerados pelos modelos o1 e 4o da OpenAI. Esses diagnósticos foram avaliados por outros dois médicos assistentes, que não sabiam quais eram de humanos e quais eram de IA.

“Em cada ponto de contato diagnóstico, o1 teve um desempenho nominalmente melhor ou igual ao dos dois médicos assistentes e 4o”, afirmou o estudo, acrescentando que as diferenças “foram especialmente pronunciadas no primeiro ponto de contato diagnóstico (triagem inicial no pronto-socorro), onde há menos informações disponíveis sobre o paciente e maior urgência para tomar a decisão correta”.

Na Faculdade de Medicina de Harvard Comunicado de imprensa sobre o estudo, os pesquisadores enfatizaram que não “pré-processaram os dados” — os modelos de IA foram apresentados com as mesmas informações que estavam disponíveis nos prontuários eletrônicos no momento de cada diagnóstico.

Com essas informações, o modelo o1 conseguiu oferecer “o diagnóstico exato ou muito próximo” em 67% dos casos de triagem, em comparação com um médico que teve o diagnóstico exato ou próximo em 55% das vezes, e outro que acertou a marca em 50% das vezes.

“Testamos o modelo de IA em praticamente todos os benchmarks e ele eclipsou os modelos anteriores e as linhas de base dos nossos médicos”, disse Arjun Manrai, que dirige um laboratório de IA na Harvard Medical Faculty e é um dos principais autores do estudo, no comunicado de imprensa.

Para ser claro, o estudo não afirmou que a IA esteja pronta para tomar decisões reais de vida ou morte na sala de emergência. Em vez disso, afirmou que as descobertas mostram uma “necessidade urgente de ensaios prospectivos para avaliar estas tecnologias em ambientes de cuidados de pacientes do mundo actual”.

Os pesquisadores também observaram que estudaram apenas o desempenho dos modelos quando fornecidos com informações baseadas em texto, e que “os estudos existentes sugerem que os modelos básicos atuais são mais limitados no raciocínio sobre entradas não textuais”.

Adam Rodman, médico do Beth Israel que também é um dos principais autores do estudo, avisou o Guardião que “não há nenhuma estrutura formal no momento para responsabilização” em torno dos diagnósticos de IA, e que os pacientes ainda “querem que os humanos os orientem nas decisões de vida ou morte [and] para orientá-los em decisões desafiadoras de tratamento.”

Em um post sobre o estudoKristen Panthagani, médica de emergência, disse que este é “um estudo interessante de IA que levou a algumas manchetes muito exageradas”, especialmente porque estava comparando diagnósticos de IA com aqueles de médicos de medicina interna, não de médicos de pronto-socorro.

“Se vamos comparar as ferramentas de IA com a capacidade clínica dos médicos, devemos começar comparando com os médicos que realmente praticam essa especialidade”, disse Panthagani. “Eu não ficaria surpreso se um LLM pudesse vencer um dermatologista em um exame do conselho de neurocirurgia, [but] isso não é algo particularmente útil de se saber.”

Ela também argumentou: “Como médica do pronto-socorro que atende um paciente pela primeira vez, meu objetivo principal é não para adivinhar seu diagnóstico closing. Meu objetivo principal é determinar se você tem uma condição que pode matá-lo.”

Esta postagem e o título foram atualizados para refletir o fato de que os diagnósticos do estudo vieram de médicos assistentes de medicina interna e para incluir comentários de Kristen Panthagani.