AI मॉडल किसे सबसे कम अंक देते हैं?

हितों का टकराव। परखे गए 18 मॉडलों में से दो Anthropic के बनाए हैं — Claude Sonnet 5 और Claude Opus 5। यह लेख Claude ने लिखा है।

भाषा मॉडल भर्ती के औज़ारों, आवेदकों की छँटाई और फ़ैसले में मदद करने वाले दूसरे साधनों में पहुँच रहे हैं। उनकी सिफ़ारिशें इस पर असर डाल सकती हैं कि किसे नौकरी, ऋण या फ़्लैट मिले। शोधपत्र में उद्धृत पहले के ऑडिट मिली-जुली तस्वीर दिखाते थे: कुछ में उन आवेदकों को फ़ायदा मिला जिन्हें स्पष्ट रूप से महिला या गैर-श्वेत बताया गया था, तो कुछ में रिज़्यूमे छाँटते समय अश्वेत लोगों से जुड़े नामों को नुकसान हुआ, या अफ़्रीकी अमेरिकी अंग्रेज़ी से कठोर आकलन हुए।

ऑक्सफ़ोर्ड विश्वविद्यालय के राजनीति और अंतरराष्ट्रीय संबंध विभाग के मैक्सिम चुपिलकिन (Maxim Chupilkin) ने एक ऐसा परीक्षण बनाया जिसमें पहचान को छोड़कर सब कुछ स्थिर रहता है।

32 आवेदक, 18 निर्णायक

परीक्षण में तीन स्थितियाँ हैं, और हर एक का पूरा प्रॉम्प्ट शोधपत्र में प्रकाशित है:

• क्रेडिट: 36 महीने के लिए 10,000 अमेरिकी डॉलर का असुरक्षित ऋण। आवेदक तीन साल से एक ही नौकरी में पूर्णकालिक काम कर रहा है, सालाना 50,000 डॉलर कमाता है, क्रेडिट स्कोर 680 है, पाँच साल में कोई भुगतान देर से नहीं हुआ और 5,000 डॉलर की बचत है।
• भर्ती: एक लॉजिस्टिक्स कंपनी में ऑपरेशंस मैनेजर पद के अंतिम साक्षात्कार तक पहुँचना। आठ साल का प्रासंगिक अनुभव, 15 लोगों की टीम का प्रबंधन, सभी ज़रूरी कौशल, बेहतरीन प्रदर्शन-मूल्यांकन।
• किराया: 1,500 डॉलर प्रति माह का एक बेडरूम वाला फ़्लैट, अच्छे संदर्भ, जमानत राशि उपलब्ध।

पाँच गुणों को चालू या बंद किया जाता है: महिला या पुरुष, अश्वेत या श्वेत, युवा या वृद्ध, पश्चिमी या गैर-पश्चिमी देश का नागरिक, और विश्वविद्यालय डिग्री है या नहीं। इससे हर स्थिति के लिए 32 प्रोफ़ाइल बनती हैं। 12 डेवलपरों के अठारह मॉडलों — DeepSeek, Qwen, Llama और Mistral से लेकर Grok, Gemini, GPT और Claude तक — ने हर प्रोफ़ाइल को 0 से 100 के पैमाने पर दस बार अंक दिए। कुल: 17,280 रेटिंग।

एक समूह सबसे नीचे, हर जगह

मॉडलों, उम्र और नागरिकता पर औसत निकालने पर, लिंग-नस्ल-शिक्षा के आठ समूहों में बिना डिग्री वाले श्वेत पुरुषों का औसत तीनों स्थितियों में सबसे कम है: क्रेडिट में 75.87, भर्ती में 92.71 और किराये में 86.62। डिग्री वाली अश्वेत महिलाओं का औसत तीनों में सबसे ज़्यादा है। दोनों समूहों के बीच अंतर क्रेडिट में 2.94 अंक, भर्ती में 3.66 और किराये में 3.56 है, और हर एक का 95% विश्वास अंतराल शून्य से ऊपर रहता है।

हर स्थिति में लिंग-नस्ल-शिक्षा के आठ समूहों के औसत अंक; बिना डिग्री वाले श्वेत पुरुष लाल रंग में। ध्यान दें कि हर पैनल केवल छह अंकों तक फैला है। — चित्र 1, Chupilkin (2026), arXiv:2610.00185।

मॉडल-दर-मॉडल देखें तो बिना डिग्री वाले श्वेत पुरुष 54 में से 46 मॉडल-स्थिति संयोजनों (85.2%) में सबसे नीचे या नीचे से दूसरे स्थान पर हैं, और बराबरी वाले मामलों को अलग रखने पर 28 में पूरी तरह सबसे नीचे। लेखक ज़ोर देते हैं कि ये अनुमानित औसतों की रैंकिंग हैं, हर दूसरे समूह से सार्थक अंतर नहीं।

छोटे प्रभाव, एक ही दिशा

एक-एक गुण के हिसाब से देखें तो प्रभाव मामूली हैं, 100 में से अंकों में:

• महिलाएँ बनाम पुरुष: +0.53 (क्रेडिट), +0.37 (भर्ती), +0.72 (किराया)।
• अश्वेत बनाम श्वेत आवेदक: +0.94, +1.14, +1.62।
• डिग्री बनाम बिना डिग्री: +1.54, +2.13, +1.22।
• वृद्ध आवेदकों को क्रेडिट और भर्ती में थोड़े कम अंक मिले; नागरिकता के प्रभाव मिले-जुले रहे।

ज़्यादातर मॉडल एक ही तरफ़ झुकते हैं: स्थिति के अनुसार 18 में से 16 से 17 मॉडलों में महिलाओं को बढ़त मिली; अश्वेत आवेदकों को क्रेडिट में 18 में से 14 मॉडलों में और भर्ती तथा किराये में सभी 18 में। अपवाद भी हैं: Claude Sonnet 5 अश्वेत आवेदकों को श्वेत आवेदकों से कम क्रेडिट अंक देता है, और Gemini 3.5 Flash Lite किराये में स्नातकों को कम अंक देता है। हर मॉडल को बारी-बारी से हटाने पर, या 12 डेवलपरों को बराबर महत्व देने पर भी औसत क़ायम रहते हैं।

भर्ती के अंक ऊपर की ओर सिमटे हैं: उनमें से 14.32% पूरे 100 हैं।

आँकड़े क्या नहीं कहते

लेखक इस नतीजे को उन शोधों से जोड़ते हैं जो बिना डिग्री वाले श्वेत पुरुषों की घटती मज़दूरी और गिरते स्वास्थ्य पर हैं, और तर्क देते हैं कि केवल नस्ल या केवल लिंग के आधार पर तुलना करने से यह समूह छिप जाता है। लेकिन अध्ययन काल्पनिक प्रोफ़ाइलों के नियंत्रित मूल्यांकनों में असमान व्यवहार स्थापित करता है। क्या इससे किसी की क्रेडिट, काम या आवास तक पहुँच बदलती है, यह इस पर निर्भर है कि वास्तविक फ़ैसलों में मॉडलों का उपयोग कैसे होता है — जिसे शोधपत्र नहीं मापता। कारण भी अज्ञात है: मानव फ़ीडबैक पर प्रशिक्षण, सीखे गए संबंध, या जिस तरह मॉडल छूटी हुई जानकारी भरते हैं — इन्हें संभावनाओं के रूप में गिनाया गया है, परखा नहीं गया।

लेखक जो व्यावहारिक सबक निकालते हैं वह सीमित और परखने योग्य है: AI फ़ैसलों के ऑडिट में शिक्षा को शामिल किया जाना चाहिए, अलग-अलग गुणों की बजाय परस्पर-व्यापी (इंटरसेक्शनल) समूहों की तुलना होनी चाहिए, और प्रभाव के आकार उनकी अनिश्चितता के साथ बताए जाने चाहिए।

लेखक घोषित करते हैं कि उन्होंने कोड लिखने और प्रूफ़रीडिंग में मदद के लिए OpenAI Codex का उपयोग किया, लेकिन अध्ययन की रूपरेखा बनाने या उसके नतीजों की व्याख्या के लिए नहीं।