MÉDICOS PEDEM À IA PAPELADA, NÃO DIAGNÓSTICOS
Os hospitais agora oferecem às suas equipes assistentes de IA seguros baseados em grandes modelos de linguagem. Se esses assistentes estão prontos é algo julgado sobretudo por pontuações em benchmarks — questões no estilo de prova ou casos cuidadosamente selecionados, nos quais os modelos já atingem quase a nota máxima. O artigo observa que, das 519 avaliações de modelos de linguagem na área da saúde publicadas até o início de 2024, apenas 5% usaram dados reais de atendimento a pacientes.
Um benchmark só diz algo sobre o uso real se suas perguntas se parecerem com o que os profissionais de saúde de fato perguntam. Krithik Vishwanath, Tim Requarth, Eric Oermann e colegas, a maioria do NYU Langone Health e da Universidade de Nova York, decidiram medir isso.
127.833 solicitações reais
A equipe analisou a primeira mensagem de 127.833 conversas entre profissionais de saúde e o assistente de IA seguro de um grande sistema de saúde acadêmico com vários hospitais, de agosto de 2025 a abril de 2026. Elas vieram de 6.342 pessoas em 35 especialidades: médicos titulares, fellows, residentes, enfermeiros de prática avançada (nurse practitioners), assistentes médicos (physician assistants) e enfermeiros. Metade das solicitações veio de enfermeiros e profissionais de prática avançada, grupos raramente incluídos nas avaliações de IA.
Para rotular cada solicitação, os pesquisadores construíram uma grade de 20 campos chamada RCQ-Map (tarefa, intenção, informação ausente, dano potencial, resposta mais segura…) e fizeram um modelo de IA, o GPT-5.6 sol da OpenAI, aplicá-la. Primeiro, eles a compararam com sete profissionais de saúde em 100 solicitações: o modelo concordou com a resposta comum dos profissionais quase tão frequentemente quanto um profissional concordava, 84,6% contra 83,0%. Os pesquisadores nunca viram o texto das solicitações, apenas os rótulos.
O que os profissionais realmente perguntam
- Documentação e administração: 36,2% — anotações clínicas, planos de cuidado, instruções de alta, resumos de prontuário, respostas a mensagens de pacientes.
- Busca de conhecimento: 28,9%, incluindo informações sobre medicamentos (14,1%).
- Raciocínio clínico sobre uma situação: 14,3%, dos quais o diagnóstico foi só 3,7%.
- Um quarto das solicitações eram meros fragmentos de palavras-chave, e mais da metade usava abreviações clínicas.
- Os especialistas muitas vezes saíam do próprio campo: 43,9% das suas perguntas clínicas diziam respeito a condições tratadas por outro departamento.
Muitas perguntas não podem ser respondidas como foram feitas
Mais de um terço das solicitações (36,1%) não podia ser bem respondido do jeito que estava escrito. Em 22,2% dos casos, uma boa resposta exigia informações que a mensagem não continha — o histórico do paciente, a lista de medicamentos ou os protocolos do hospital. Em cerca de um quarto das solicitações, a resposta mais segura era uma pergunta de esclarecimento; recusar ou repassar a questão a um humano quase nunca era a melhor opção.
O modelo julgou que 13,2% das solicitações traziam um dano potencial alto ou crítico se respondidas de forma errada, mas foi mais cauteloso que os profissionais: recalibrado segundo o consenso deles, o número cai para cerca de 3,7%. Essas solicitações arriscadas se concentravam em doses de medicamentos e em decisões ou verificações de uma ação planejada.
Testes feitos para outro trabalho
A equipe aplicou então a mesma grade a 58 benchmarks públicos de IA médica. O benchmark típico não continha nenhuma solicitação de documentação, e sua mistura de tarefas coincidia com o uso real em apenas 31% — menos do que um benchmark que distribuísse suas perguntas igualmente entre todos os tipos de tarefa (55%). Os benchmarks de conjuntos concebidos para se parecer com a prática clínica não ficaram mais próximos. No MedQA, um teste no estilo de prova muito usado, o diagnóstico representava 48% dos itens, e quase todos os itens eram mais bem respondidos diretamente.
Um hospital, uma ferramenta
O estudo abrange um único sistema de saúde e um único assistente; ele não examinou as respostas do assistente, portanto mede o dano potencial, e não o real. Os profissionais concordaram apenas moderadamente entre si sobre o quão arriscada era uma solicitação. Um dos autores declara, entre outros interesses, prestar consultoria ao Google, e outro a uma empresa de IA para a saúde. Os autores disponibilizam sua grade e seu atlas de benchmarks, para que outros hospitais possam traçar o perfil do próprio uso. Sua mensagem a quem constrói testes: avaliem a IA pelo trabalho que os profissionais de saúde realmente levam a ela.