LOS MÉDICOS PIDEN A LA IA PAPELEO, NO DIAGNÓSTICOS

Los hospitales ofrecen ya a su personal asistentes de IA seguros basados en grandes modelos de lenguaje. Si esos asistentes están listos se juzga sobre todo por sus puntuaciones en benchmarks: preguntas de tipo examen o casos cuidadosamente seleccionados, en los que los modelos ya rozan la puntuación máxima. El artículo señala que, de 519 evaluaciones de modelos de lenguaje en atención sanitaria publicadas hasta principios de 2024, solo el 5 % usó datos reales de atención a pacientes.

Un benchmark solo dice algo del uso real si sus preguntas se parecen a lo que los clínicos preguntan de verdad. Krithik Vishwanath, Tim Requarth, Eric Oermann y sus colegas, en su mayoría de NYU Langone Health y la Universidad de Nueva York, se propusieron medirlo.

127.833 solicitudes reales

El equipo analizó el primer mensaje de 127.833 conversaciones entre clínicos y el asistente de IA seguro de un gran sistema de salud académico con varios hospitales, entre agosto de 2025 y abril de 2026. Procedían de 6.342 personas de 35 especialidades: médicos adjuntos, fellows, residentes, enfermeras de práctica avanzada, asistentes médicos y enfermeras. La mitad de las solicitudes venían de enfermeras y profesionales de práctica avanzada, grupos que rara vez se incluyen en las evaluaciones de IA.

Para etiquetar cada solicitud, los investigadores crearon una plantilla de 20 campos llamada RCQ-Map (tarea, intención, información que falta, daño potencial, respuesta más segura…) e hicieron que un modelo de IA, GPT-5.6 sol de OpenAI, la aplicara. Primero la contrastaron con siete clínicos sobre 100 solicitudes: el modelo coincidía con la respuesta común de los clínicos tan a menudo como un clínico, un 84,6 % frente a un 83,0 %. Los investigadores nunca vieron el texto de las solicitudes, solo las etiquetas.

Lo que preguntan realmente los clínicos

• Documentación y administración: 36,2 %: notas clínicas, planes de cuidados, instrucciones de alta, resúmenes de historias clínicas, respuestas a mensajes de pacientes.
• Búsqueda de conocimientos: 28,9 %, incluida información sobre fármacos (14,1 %).
• Razonamiento clínico sobre una situación: 14,3 %, del que el diagnóstico fue solo el 3,7 %.
• Una cuarta parte de las solicitudes eran meros fragmentos de palabras clave, y más de la mitad usaban abreviaturas clínicas.
• Los especialistas a menudo se salían de su campo: el 43,9 % de sus preguntas clínicas se referían a enfermedades que gestiona otro servicio.

Muchas preguntas no pueden responderse tal como se formulan

Más de un tercio de las solicitudes (36,1 %) no podían responderse bien tal como estaban escritas. En el 22,2 % de los casos, una buena respuesta requería información que el mensaje no contenía: los antecedentes del paciente, el listado de fármacos o los protocolos del hospital. En aproximadamente una cuarta parte de las solicitudes, la respuesta más segura era una pregunta aclaratoria; negarse o pasar la pregunta a una persona casi nunca era la mejor opción.

El modelo consideró que el 13,2 % de las solicitudes conllevaban un daño potencial alto o crítico si se respondían mal, pero era más prudente que los clínicos: recalibrada según su consenso, la cifra baja a alrededor del 3,7 %. Estas solicitudes de riesgo se concentraban en las dosis de medicamentos y en decisiones o comprobaciones sobre una acción prevista.

Pruebas hechas para otro trabajo

Después, el equipo aplicó la misma plantilla a 58 benchmarks públicos de IA médica. El benchmark típico no contenía ninguna solicitud de documentación, y su combinación de tareas coincidía con el uso real solo en un 31 %, menos que un benchmark que repartiera sus preguntas por igual entre todos los tipos de tarea (55 %). Los benchmarks de conjuntos diseñados para parecerse a la práctica clínica no estaban más cerca. En MedQA, una prueba de tipo examen muy utilizada, el diagnóstico representaba el 48 % de los ítems, y casi todos se respondían mejor de forma directa.

Un hospital, una herramienta

El estudio abarca un solo sistema de salud y un solo asistente; no examinó las respuestas del asistente, así que mide el daño potencial y no el real. Los clínicos coincidían solo moderadamente entre sí sobre el riesgo de una solicitud. Un autor declara, entre otros intereses, ser consultor de Google, y otro, de una empresa de IA sanitaria. Los autores publican su plantilla y su atlas de benchmarks para que otros hospitales puedan perfilar su propio uso. Su mensaje a quienes diseñan pruebas: evaluar la IA con el trabajo que los clínicos realmente le encargan.