UMA EM CADA CINCO RESPOSTAS DE SAÚDE DO CHATGPT CLASSIFICADA COMO DE ALTO RISCO

O ChatGPT tem mais de 700 milhões de usuários semanais, observam os autores, e as perguntas sobre saúde fazem parte rotineira desse uso. A adoção cresce mais rápido nos países de renda baixa e média, onde faltam médicos — de modo que uma resposta de IA tem mais chance de substituir o atendimento profissional do que de complementá-lo.

No entanto, quase tudo o que se sabe sobre a segurança dos conselhos de saúde dados por IA vem de casos inventados: vinhetas escritas por clínicos, prompts sintéticos, pacientes simulados. E a segurança depende de quem pergunta. Jejuar, levantar pesos pesados ou um remédio caseiro são inofensivos para a maioria dos adultos saudáveis e perigosos para alguém com úlcera, cirurgia recente ou um transtorno alimentar.

202.590 conversas doadas

Shreyasi Roy Chowdhury, pesquisadora independente, e Kiran Garimella, da Rutgers University, recrutaram 1.252 usuários do ChatGPT na Índia, Nigéria, Brasil e Paquistão. Cada um exportou e doou seu histórico completo do ChatGPT, com idade e gênero; os dados pessoais foram removidos no próprio computador antes do envio. Isso resultou em 202.590 conversas, de dezembro de 2022 a fevereiro de 2026, das quais 15.555 tratavam de saúde.

Para avaliá-las, a equipe usou uma grade de segurança publicada e, como juíza, uma IA de outro fornecedor — o Gemini 3.1 Pro —, para que as respostas do ChatGPT não fossem avaliadas por um modelo da mesma empresa. Cada resposta recebeu uma nota de 1 (perigosa) a 7 (segura); 3 ou menos contava como alto risco. A juíza avaliou cada resposta duas vezes:

• às cegas, olhando apenas a conversa, como fazem os testes de segurança habituais;
• com contexto, conhecendo as informações de saúde duradouras que o usuário havia revelado em conversas anteriores — e perguntando se a resposta era segura para aquela pessoa.

Uma em cada cinco, e a maioria dos usuários

Avaliadas às cegas, a maioria das respostas era segura: a nota mediana foi 6. Mas cerca de uma conversa sobre saúde em cada cinco era de alto risco — de 20,6% na Nigéria a 26,3% no Paquistão. E como as pessoas voltam, 51,6% a 61,7% dos usuários receberam pelo menos uma resposta de alto risco.

O risco se concentrava nas perguntas mais clínicas: 40 a 48% das conversas sobre doenças e tratamentos, e 33 a 40% das conversas sobre sintomas, eram de alto risco, contra cerca de 8 a 12% para informações gerais de saúde.

Ao ler 128 conversas arriscadas, os autores encontraram falhas recorrentes: nenhum encaminhamento a um profissional, conselhos errados ou prejudiciais, automedicação ou dosagem inseguras, incentivo à dependência do chatbot e autodiagnóstico arriscado. Entre os exemplos:

• desaconselhar a triagem de tuberculose para um bebê exposto à doença, contrariando as diretrizes;
• dar doses de medicamentos a uma usuária grávida sem aconselhá-la a consultar um profissional;
• listar apenas causas inofensivas para dor no peito durante o exercício;
• recomendar dieta e exercício para uma anemia grave (hemoglobina 6,6) em vez de atendimento de urgência;
• apresentar-se como o principal apoio de alguém em sofrimento psíquico grave e prolongado.

Quem pergunta muda tudo

Com o histórico do usuário à vista, as mesmas respostas pareceram muito piores. A proporção de alto risco subiu 13 a 17 pontos percentuais em cada país — na Índia, de 29% para 44% das conversas analisadas dessa forma. Notavelmente constante entre os países: cerca de uma em cada quatro respostas consideradas seguras isoladamente era insegura para a pessoa que de fato perguntou.

O coaching de condicionamento físico passou de um dos temas mais seguros a um dos mais arriscados. Exercícios abdominais pesados para alguém que tinha passado por uma cirurgia intestinal; alho cru, água com limão e gengibre para alguém com úlcera no estômago. Na maioria desses casos, escrevem os autores, a informação necessária para evitar o dano já estava no histórico de chat do usuário. O modelo a usou para personalizar o tom e o conteúdo — mas não a sua cautela.

Mais novo não era mais seguro

Cada conversa registra o modelo que respondeu. Avaliada às cegas, a taxa de alto risco subiu a cada atualização, do GPT-3.5 ao GPT-4o e ao GPT-5, até o GPT-5.1, nos quatro países — no Brasil, de 6,2% para 34,6%. As versões “mini” eram mais arriscadas que os modelos principais; o mais recente, o GPT-5.2, recuou na Índia e na Nigéria. A tendência se manteve para os mesmos usuários ao longo de modelos consecutivos, embora os autores não consigam separar totalmente o modelo do momento em que foi usado.

Uma juíza, não um médico

Os autores são cautelosos quanto ao que isso mostra. Os participantes são uma amostra de conveniência de trabalhadores de plataformas online (gig workers), jovens e majoritariamente homens na Índia e no Paquistão, portanto as taxas não são números nacionais. A juíza é uma IA, não um clínico, e mede risco, não dano real a alguém. As conversas arriscadas foram codificadas por um único autor.

Eles traçam um paralelo com a farmacovigilância, o monitoramento obrigatório dos medicamentos após a aprovação: os conselhos de saúde por IA ainda não têm equivalente. A doação de dados consentida, como a deles, poderia ser um primeiro protótipo — desde que as ferramentas de segurança que leem os perfis dos usuários não se transformem em vigilância.