The Knowledge Frontier

Tiba na afyaChapisho la awaliUchambuzi wa dataDakika 3 za kusoma

MADAKTARI HUOMBA AI KAZI ZA MAKARATASI, SI UCHUNGUZI WA MAGONJWA

Hospitali sasa zinawapa wafanyakazi wao wasaidizi salama wa AI wanaotegemea modeli kubwa za lugha. Iwapo wasaidizi hao wako tayari hupimwa hasa kwa alama za vipimo rejea (benchmarks) — maswali ya mtindo wa mitihani au visa vilivyochaguliwa kwa uangalifu, ambavyo modeli sasa zinapata karibu alama kamili. Makala inabainisha kwamba kati ya tathmini 519 za modeli za lugha katika huduma za afya zilizochapishwa hadi mwanzoni mwa 2024, ni 5% tu zilizotumia data halisi za huduma kwa wagonjwa.

Kipimo rejea kinasema jambo kuhusu matumizi halisi pale tu maswali yake yanapofanana na yale ambayo wahudumu wa afya huuliza kweli. Krithik Vishwanath, Tim Requarth, Eric Oermann na wenzao, wengi wao wa NYU Langone Health na Chuo Kikuu cha New York, waliamua kupima hilo.

Maombi halisi 127,833

Timu ilichambua ujumbe wa kwanza wa mazungumzo 127,833 kati ya wahudumu wa afya na msaidizi salama wa AI wa mfumo mkubwa wa afya wa kitaaluma wenye hospitali kadhaa, kuanzia Agosti 2025 hadi Aprili 2026. Yalitoka kwa watu 6,342 katika fani 35 za utaalamu: madaktari bingwa wasimamizi, madaktari wa mafunzo ya ubingwa wa juu (fellows), madaktari walio katika mafunzo ya ubingwa (residents), wauguzi watendaji (nurse practitioners), wasaidizi wa madaktari (physician assistants) na wauguzi. Nusu ya maombi yalitoka kwa wauguzi na watoa huduma wa ngazi ya juu (advanced practice providers), makundi ambayo mara chache hujumuishwa katika tathmini za AI.

Ili kuweka lebo kwa kila ombi, watafiti walijenga jedwali la vipengele 20 linaloitwa RCQ-Map (kazi, nia, taarifa inayokosekana, madhara yanayowezekana, jibu salama zaidi…) na wakaiacha modeli ya AI, GPT-5.6 sol ya OpenAI, ilitumie. Kwanza walilikagua dhidi ya madaktari saba kwa maombi 100: modeli ilikubaliana na jibu la pamoja la madaktari karibu mara nyingi kama daktari mmoja alivyokubaliana nalo, 84.6% dhidi ya 83.0%. Watafiti hawakuwahi kuona maandishi ya maombi, waliona lebo tu.

Kile wahudumu wa afya huuliza hasa

  • Uandishi wa kumbukumbu na utawala: 36.2% — maelezo ya kitabibu, mipango ya huduma, maelekezo ya kuruhusiwa, muhtasari wa mafaili, majibu kwa ujumbe wa wagonjwa.
  • Kutafuta maarifa: 28.9%, ikiwemo taarifa za dawa (14.1%).
  • Hoja za kitabibu kuhusu hali fulani: 14.3%, ambapo utambuzi wa ugonjwa ulikuwa 3.7% tu.
  • Robo ya maombi yalikuwa vipande vya maneno muhimu tu, na zaidi ya nusu yalitumia vifupisho vya kitabibu.
  • Mabingwa mara nyingi walitoka nje ya fani zao: 43.9% ya maswali yao ya kitabibu yalihusu magonjwa yanayoshughulikiwa na idara nyingine.

Maswali mengi hayawezi kujibiwa jinsi yalivyoulizwa

Zaidi ya theluthi moja ya maombi (36.1%) hayangeweza kujibiwa vizuri jinsi yalivyoandikwa. Katika 22.2% ya visa, jibu zuri lilihitaji taarifa ambazo ujumbe haukuwa nazo — historia ya mgonjwa, orodha ya dawa za hospitali au itifaki zake. Kwa takriban robo ya maombi, jibu salama zaidi lilikuwa swali la kufafanua; kukataa au kupeleka swali kwa binadamu karibu kamwe halikuwa chaguo bora.

Modeli ilikadiria kwamba 13.2% ya maombi yalibeba madhara makubwa au mabaya sana yanayowezekana iwapo yangejibiwa vibaya, lakini ilikuwa na tahadhari zaidi kuliko madaktari: ikirekebishwa kulingana na maafikiano yao, tarakimu hiyo inashuka hadi takriban 3.7%. Maombi haya hatari yalijikusanya kuhusu vipimo vya dawa na kuhusu maamuzi au ukaguzi wa hatua iliyopangwa.

Majaribio yaliyojengwa kwa kazi nyingine

Kisha timu ilitumia jedwali hilohilo kwa vipimo rejea 58 vya umma vya AI ya kitabibu. Kipimo rejea cha kawaida hakikuwa na ombi lolote la uandishi wa kumbukumbu, na mchanganyiko wake wa kazi uliingiliana na matumizi halisi kwa 31% tu — chini ya kile ambacho kipimo rejea kinachogawa maswali yake sawasawa kwa aina zote za kazi kingefikia (55%). Vipimo rejea kutoka kwenye seti zilizobuniwa kufanana na kazi za kliniki havikuwa karibu zaidi. Katika MedQA, jaribio la mtindo wa mtihani linalotumika sana, utambuzi wa ugonjwa ulikuwa 48% ya maswali, na karibu kila swali lilifaa zaidi kujibiwa moja kwa moja.

Hospitali moja, zana moja

Utafiti huu unahusu mfumo mmoja wa afya na msaidizi mmoja; haukuangalia majibu ya msaidizi, kwa hiyo unapima madhara yanayowezekana badala ya madhara halisi. Madaktari walikubaliana kwa kiasi kidogo tu kuhusu jinsi ombi lilivyokuwa hatari. Mwandishi mmoja anatangaza kuwa mshauri wa Google miongoni mwa maslahi mengine, na mwingine kuwa mshauri wa kampuni ya AI ya afya. Waandishi wanatoa jedwali lao na atlasi yao ya vipimo rejea, ili hospitali nyingine ziweze kuchambua matumizi yao wenyewe. Ujumbe wao kwa wanaotengeneza majaribio: pimeni AI kwa kazi ambayo wahudumu wa afya huileta kwake kweli.