BÁC SĨ NHỜ AI LÀM GIẤY TỜ, KHÔNG PHẢI CHẨN ĐOÁN

Các bệnh viện hiện cung cấp cho nhân viên những trợ lý AI bảo mật dựa trên mô hình ngôn ngữ lớn. Việc các trợ lý này đã sẵn sàng hay chưa chủ yếu được đánh giá qua điểm benchmark — những câu hỏi kiểu đề thi hoặc các ca bệnh được chọn lọc kỹ, mà trên đó các mô hình giờ đây đạt điểm gần tối đa. Bài báo lưu ý rằng trong 519 đánh giá mô hình ngôn ngữ trong chăm sóc sức khỏe được công bố tính đến đầu năm 2024, chỉ 5% dùng dữ liệu chăm sóc bệnh nhân thực.

Một benchmark chỉ nói lên điều gì đó về sử dụng thực tế nếu câu hỏi của nó giống với những gì nhân viên lâm sàng thật sự hỏi. Krithik Vishwanath, Tim Requarth, Eric Oermann và các đồng nghiệp, phần lớn thuộc NYU Langone Health và Đại học New York, đã bắt tay đo lường điều đó.

127.833 yêu cầu thật

Nhóm phân tích tin nhắn đầu tiên của 127.833 cuộc hội thoại giữa nhân viên lâm sàng và trợ lý AI bảo mật của một hệ thống y tế học thuật lớn gồm nhiều bệnh viện, từ tháng 8 năm 2025 đến tháng 4 năm 2026. Chúng đến từ 6.342 người thuộc 35 chuyên khoa: bác sĩ điều trị chính, bác sĩ nghiên cứu sinh chuyên sâu (fellow), bác sĩ nội trú, điều dưỡng hành nghề nâng cao (nurse practitioner), trợ lý bác sĩ và y tá. Một nửa số yêu cầu đến từ y tá và những người hành nghề nâng cao (advanced practice providers), những nhóm hiếm khi được đưa vào các đánh giá AI.

Để gán nhãn cho mọi yêu cầu, các nhà nghiên cứu xây dựng một bảng phân loại 20 trường gọi là RCQ-Map (nhiệm vụ, ý định, thông tin còn thiếu, tác hại tiềm tàng, phản hồi an toàn nhất…) và để một mô hình AI, GPT-5.6 sol của OpenAI, áp dụng nó. Trước hết, họ đối chiếu nó với bảy bác sĩ trên 100 yêu cầu: mô hình đồng ý với câu trả lời chung của các bác sĩ gần như thường xuyên ngang với một bác sĩ, 84,6% so với 83,0%. Các nhà nghiên cứu không hề nhìn thấy nội dung các yêu cầu, chỉ thấy các nhãn.

Nhân viên lâm sàng thực sự hỏi gì

• Hồ sơ giấy tờ và hành chính: 36,2% — ghi chép lâm sàng, kế hoạch chăm sóc, hướng dẫn xuất viện, tóm tắt bệnh án, trả lời tin nhắn của bệnh nhân.
• Tra cứu kiến thức: 28,9%, trong đó có thông tin về thuốc (14,1%).
• Lập luận lâm sàng về một tình huống: 14,3%, trong đó chẩn đoán chỉ chiếm 3,7%.
• Một phần tư số yêu cầu chỉ là những mẩu từ khóa, và hơn một nửa dùng từ viết tắt lâm sàng.
• Các bác sĩ chuyên khoa thường đi ra ngoài lĩnh vực của mình: 43,9% câu hỏi lâm sàng của họ liên quan đến những bệnh do một khoa khác phụ trách.

Nhiều câu hỏi không thể trả lời theo đúng cách đã hỏi

Hơn một phần ba số yêu cầu (36,1%) không thể trả lời tốt nếu giữ nguyên cách viết. Trong 22,2% trường hợp, một câu trả lời tốt cần thông tin mà tin nhắn không có — tiền sử của bệnh nhân, danh mục thuốc hoặc phác đồ của bệnh viện. Với khoảng một phần tư số yêu cầu, phản hồi an toàn nhất là một câu hỏi làm rõ; từ chối hoặc chuyển câu hỏi cho con người hầu như không bao giờ là lựa chọn tốt nhất.

Mô hình đánh giá 13,2% yêu cầu có tác hại tiềm tàng cao hoặc nghiêm trọng nếu trả lời sai, nhưng nó thận trọng hơn các bác sĩ: khi hiệu chỉnh lại theo sự đồng thuận của họ, con số giảm xuống khoảng 3,7%. Những yêu cầu rủi ro này tập trung quanh liều thuốc và quanh các quyết định hoặc việc kiểm tra một hành động đã lên kế hoạch.

Những bài kiểm tra được xây cho việc khác

Sau đó nhóm áp dụng cùng bảng phân loại cho 58 benchmark AI y khoa công khai. Benchmark điển hình hoàn toàn không có yêu cầu nào về hồ sơ giấy tờ, và tổ hợp nhiệm vụ của nó chỉ trùng với sử dụng thực tế 31% — thấp hơn mức mà một benchmark rải đều câu hỏi cho mọi loại nhiệm vụ đạt được (55%). Những benchmark thuộc các bộ được thiết kế để giống thực hành lâm sàng cũng không gần thực tế hơn. Trong MedQA, một bài kiểm tra kiểu đề thi được dùng rộng rãi, chẩn đoán chiếm 48% số câu, và gần như mọi câu đều nên được trả lời trực tiếp.

Một bệnh viện, một công cụ

Nghiên cứu chỉ bao gồm một hệ thống y tế và một trợ lý; nó không xem xét các câu trả lời của trợ lý, nên nó đo tác hại tiềm tàng chứ không phải tác hại thực tế. Các bác sĩ chỉ đồng ý với nhau ở mức khiêm tốn về độ rủi ro của một yêu cầu. Một tác giả khai báo có làm tư vấn cho Google cùng các lợi ích khác, và một tác giả khác làm tư vấn cho một công ty AI y tế. Các tác giả công bố bảng phân loại và tập bản đồ benchmark của mình, để các bệnh viện khác có thể phân tích cách sử dụng của chính họ. Thông điệp của họ gửi những người xây dựng bài kiểm tra: hãy đánh giá AI trên chính công việc mà nhân viên lâm sàng thực sự mang đến cho nó.