ВРАЧИ ПРОСЯТ У ИИ БУМАЖНУЮ РАБОТУ, А НЕ ДИАГНОЗЫ

Больницы теперь предоставляют своему персоналу защищённых ИИ-ассистентов на основе больших языковых моделей. О том, готовы ли эти ассистенты к работе, судят в основном по результатам бенчмарков — вопросам в экзаменационном стиле или тщательно отобранным клиническим случаям, на которых модели уже набирают почти максимальный балл. В статье отмечается, что из 519 оценок языковых моделей в здравоохранении, опубликованных до начала 2024 года, лишь 5% использовали реальные данные о лечении пациентов.

Бенчмарк что-то говорит о реальном использовании, только если его вопросы похожи на то, что медики спрашивают на самом деле. Критхик Вишванат, Тим Рекварт, Эрик Оерманн и их коллеги, в основном из NYU Langone Health и Нью-Йоркского университета, решили это измерить.

127 833 реальных запроса

Команда проанализировала первое сообщение 127 833 диалогов медиков с защищённым ИИ-ассистентом крупной академической системы здравоохранения, объединяющей несколько больниц, с августа 2025 по апрель 2026 года. Они поступили от 6342 человек из 35 специальностей: лечащих врачей, клинических стажёров (fellows), ординаторов, практикующих медсестёр с расширенными полномочиями (nurse practitioners), ассистентов врача (physician assistants) и медсестёр. Половина запросов пришла от медсестёр и специалистов расширенной практики — групп, которые редко включают в оценки ИИ.

Чтобы разметить каждый запрос, исследователи создали таблицу из 20 полей под названием RCQ-Map (задача, намерение, недостающая информация, потенциальный вред, самый безопасный ответ…) и поручили её применение ИИ-модели — GPT-5.6 sol от OpenAI. Сначала они сверили её с семью медиками на 100 запросах: модель соглашалась с общим ответом медиков примерно так же часто, как отдельный медик, — 84,6% против 83,0%. Сами исследователи ни разу не видели текста запросов, только метки.

О чём медики спрашивают на самом деле

Документация и администрирование: 36,2% — клинические записи, планы лечения, выписные инструкции, сводки по медкартам, ответы на сообщения пациентов.
Поиск знаний: 28,9%, включая сведения о лекарствах (14,1%).
Клинические рассуждения о ситуации: 14,3%, из них на диагноз пришлось лишь 3,7%.
Четверть запросов были просто обрывками ключевых слов, а больше половины содержали клинические сокращения.
Узкие специалисты часто выходили за пределы своей области: 43,9% их клинических вопросов касались болезней, которыми занимается другое отделение.

На многие вопросы нельзя ответить в том виде, как их задали

Больше трети запросов (36,1%) в написанном виде не допускали хорошего ответа. В 22,2% случаев для хорошего ответа требовалась информация, которой в сообщении не было, — анамнез пациента, больничный перечень лекарств или протоколы. Примерно для четверти запросов самым безопасным ответом был уточняющий вопрос; отказ или передача вопроса человеку почти никогда не были лучшим вариантом.

Модель сочла, что 13,2% запросов несут высокий или критический потенциальный вред при неверном ответе, но она оказалась осторожнее медиков: после перекалибровки по их консенсусу доля снижается примерно до 3,7%. Эти рискованные запросы концентрировались вокруг доз лекарств, а также решений о запланированном действии или его проверки.

Тесты, созданные для другой работы

Затем команда применила ту же таблицу к 58 открытым бенчмаркам медицинского ИИ. Типичный бенчмарк вообще не содержал запросов на документацию, а его набор задач пересекался с реальным использованием лишь на 31% — меньше, чем у бенчмарка, равномерно распределяющего вопросы по всем типам задач (55%). Бенчмарки из наборов, задуманных как приближённые к клинической практике, оказались не ближе. В MedQA, широко используемом тесте экзаменационного типа, на диагноз приходилось 48% заданий, и почти на каждое задание лучше всего было отвечать напрямую.

Одна больница, один инструмент

Исследование охватывает одну систему здравоохранения и одного ассистента; ответы ассистента не анализировались, поэтому измерен потенциальный, а не фактический вред. Медики лишь умеренно соглашались друг с другом в том, насколько рискован запрос. Один из авторов среди прочих интересов указывает консультирование Google, другой — консультирование компании, работающей с ИИ в медицине. Авторы публикуют свою таблицу и атлас бенчмарков, чтобы другие больницы могли составить профиль собственного использования. Их послание создателям тестов: оценивайте ИИ по той работе, которую медики на самом деле ему приносят.