ChatGPT के स्वास्थ्य संबंधी हर पाँच में से एक जवाब उच्च-जोखिम वाला
लेखक बताते हैं कि ChatGPT के हर हफ़्ते 70 करोड़ से ज़्यादा उपयोगकर्ता हैं, और स्वास्थ्य संबंधी सवाल उस इस्तेमाल का एक आम हिस्सा हैं। इसका इस्तेमाल सबसे तेज़ी से निम्न और मध्यम आय वाले देशों में बढ़ रहा है, जहाँ डॉक्टर कम हैं — इसलिए वहाँ AI का जवाब पेशेवर देखभाल में जुड़ने के बजाय उसकी जगह लेने की ज़्यादा संभावना रखता है।
फिर भी AI की स्वास्थ्य-सलाह की सुरक्षा के बारे में जो कुछ भी पता है, वह लगभग सब गढ़े हुए मामलों से आता है: चिकित्सकों के लिखे काल्पनिक प्रसंग, कृत्रिम प्रॉम्प्ट, नक़ली मरीज़। और सुरक्षा इस पर निर्भर करती है कि पूछ कौन रहा है। उपवास, भारी वज़न उठाना या कोई घरेलू नुस्ख़ा ज़्यादातर स्वस्थ वयस्कों के लिए हानिरहित है, और अल्सर, हाल की सर्जरी या खान-पान विकार वाले किसी व्यक्ति के लिए ख़तरनाक।
दान की गई 2,02,590 बातचीतें
स्वतंत्र शोधकर्ता श्रेयसी रॉय चौधरी और रटगर्स यूनिवर्सिटी के किरण गरिमेला ने भारत, नाइजीरिया, ब्राज़ील और पाकिस्तान में 1,252 ChatGPT उपयोगकर्ताओं को जोड़ा। हर एक ने अपना पूरा ChatGPT इतिहास, अपनी उम्र और लिंग के साथ, निर्यात करके दान किया; अपलोड से पहले उनके अपने कंप्यूटर पर ही निजी जानकारी हटा दी गई। इससे दिसंबर 2022 से फ़रवरी 2026 तक की 2,02,590 बातचीतें मिलीं, जिनमें से 15,555 स्वास्थ्य के बारे में थीं।
उन्हें आँकने के लिए टीम ने एक प्रकाशित सुरक्षा मूल्यांकन-पैमाना और जज के रूप में दूसरी कंपनी का एक AI — Gemini 3.1 Pro — इस्तेमाल किया, ताकि ChatGPT के जवाबों को उसी कंपनी का मॉडल अंक न दे। हर जवाब को 1 (ख़तरनाक) से 7 (सुरक्षित) तक अंक मिले; 3 या उससे कम को उच्च-जोखिम गिना गया। जज ने हर जवाब को दो बार अंक दिए:
- बिना संदर्भ के, सिर्फ़ बातचीत को देखकर, जैसा मानक सुरक्षा परीक्षण करते हैं;
- संदर्भ के साथ, यह जानते हुए कि उपयोगकर्ता ने पिछली बातचीतों में अपनी सेहत के बारे में कौन-सी स्थायी जानकारी दी थी — और यह पूछते हुए कि क्या जवाब उस व्यक्ति के लिए सुरक्षित था।
पाँच में से एक, और ज़्यादातर उपयोगकर्ता
बिना संदर्भ के आँकने पर ज़्यादातर जवाब सुरक्षित थे: माध्यिका अंक 6 था। लेकिन स्वास्थ्य पर लगभग हर पाँच में से एक बातचीत उच्च-जोखिम वाली थी — नाइजीरिया में 20.6% से लेकर पाकिस्तान में 26.3% तक। और चूँकि लोग बार-बार लौटते हैं, 51.6% से 61.7% उपयोगकर्ताओं को कम से कम एक उच्च-जोखिम वाला जवाब मिला।
जोखिम सबसे ज़्यादा क्लिनिकल सवालों में केंद्रित था: बीमारियों और इलाज पर 40 से 48% बातचीतें, और लक्षणों पर 33 से 40%, उच्च-जोखिम वाली थीं, जबकि सामान्य स्वास्थ्य जानकारी पर लगभग 8 से 12%।
128 जोखिम भरी बातचीतें पढ़कर लेखकों ने बार-बार होने वाली चूकें पाईं: किसी पेशेवर के पास भेजने की सलाह का न होना, ग़लत या हानिकारक सलाह, असुरक्षित स्व-उपचार या खुराक, चैटबॉट पर निर्भरता को बढ़ावा, और जोखिम भरा स्व-निदान। उनके उदाहरणों में शामिल हैं:
- बीमारी के संपर्क में आए एक शिशु की तपेदिक (टीबी) जाँच से हतोत्साहित करना, दिशानिर्देशों के विपरीत;
- एक गर्भवती उपयोगकर्ता को दवा की खुराक देना, किसी स्वास्थ्यकर्मी से सलाह लेने की बात कहे बिना;
- व्यायाम के दौरान सीने में दर्द के लिए सिर्फ़ हानिरहित कारण गिनाना;
- गंभीर एनीमिया (हीमोग्लोबिन 6.6) के लिए तुरंत इलाज के बजाय आहार और व्यायाम की सलाह देना;
- गंभीर, लंबे मानसिक संकट से गुज़र रहे किसी व्यक्ति के लिए ख़ुद को मुख्य सहारे के रूप में पेश करना।
पूछ कौन रहा है, इससे सब बदल जाता है
उपयोगकर्ता का इतिहास सामने होने पर वही जवाब कहीं ज़्यादा बुरे दिखे। हर देश में उच्च-जोखिम हिस्सा 13 से 17 प्रतिशत अंक बढ़ गया — भारत में, इस तरह विश्लेषित बातचीतों में 29% से 44%। देशों में आश्चर्यजनक रूप से एक जैसा: अलग से देखने पर सुरक्षित आँके गए हर चार में से लगभग एक जवाब उस व्यक्ति के लिए असुरक्षित था जिसने असल में पूछा था।
फ़िटनेस कोचिंग सबसे सुरक्षित विषयों में से एक से पलटकर सबसे जोखिम भरे विषयों में से एक बन गई। आँत की सर्जरी करा चुके किसी व्यक्ति के लिए पेट के भारी व्यायाम; पेट के अल्सर वाले किसी व्यक्ति के लिए कच्चा लहसुन, नींबू पानी और अदरक। लेखक लिखते हैं कि इनमें से ज़्यादातर मामलों में नुक़सान से बचने के लिए ज़रूरी जानकारी उपयोगकर्ता के चैट इतिहास में पहले से मौजूद थी। मॉडल ने उसका इस्तेमाल लहजे और सामग्री को व्यक्तिगत बनाने के लिए किया — पर अपनी सावधानी के लिए नहीं।
नया होना ज़्यादा सुरक्षित होना नहीं था
हर बातचीत में दर्ज है कि किस मॉडल ने जवाब दिया। बिना संदर्भ के आँकने पर, GPT-3.5 से GPT-4o और GPT-5 होते हुए GPT-5.1 तक, चारों देशों में उच्च-जोखिम दर हर अपग्रेड के साथ बढ़ी — ब्राज़ील में 6.2% से 34.6%। “mini” संस्करण प्रमुख मॉडलों से ज़्यादा जोखिम भरे थे; सबसे नया, GPT-5.2, भारत और नाइजीरिया में फिर नीचे आया। यह रुझान एक के बाद एक मॉडलों पर उन्हीं उपयोगकर्ताओं के लिए भी बना रहा, हालाँकि लेखक मॉडल को उस समय से पूरी तरह अलग नहीं कर सकते जब उसका इस्तेमाल हुआ।
जज, डॉक्टर नहीं
लेखक इस बारे में सावधान हैं कि इससे क्या साबित होता है। प्रतिभागी ऑनलाइन गिग-कामगारों का एक सुविधाजनक नमूना हैं, भारत और पाकिस्तान में युवा और ज़्यादातर पुरुष, इसलिए ये दरें राष्ट्रीय आँकड़े नहीं हैं। जज एक AI है, चिकित्सक नहीं, और वह जोखिम मापता है, किसी को हुआ असल नुक़सान नहीं। जोखिम भरी बातचीतों का कोडिंग एक ही लेखक ने किया।
वे फ़ार्माकोविजिलेंस से तुलना करते हैं, यानी मंज़ूरी के बाद दवाओं की अनिवार्य निगरानी: AI की स्वास्थ्य-सलाह के लिए अभी ऐसी कोई व्यवस्था नहीं है। उनके जैसा सहमति-आधारित डेटा-दान एक पहला प्रोटोटाइप हो सकता है — बशर्ते उपयोगकर्ताओं की प्रोफ़ाइल पढ़ने वाले सुरक्षा उपकरण निगरानी में न बदल जाएँ।