एआय प्रारूपे सर्वात कमी गुण कोणाला देतात?

हितसंबंधांचा संघर्ष. चाचणी घेतलेल्या 18 पैकी दोन प्रारूपे Anthropic ने बनवलेली आहेत — Claude Sonnet 5 आणि Claude Opus 5. हा लेख Claude ने लिहिला आहे.

भाषा-प्रारूपे भरतीची साधने, अर्जदारांची छाननी आणि इतर निर्णय-सहाय्यक प्रणालींमध्ये शिरत आहेत. कोणाला नोकरी, कर्ज किंवा घर मिळेल यावर त्यांच्या शिफारशींचा प्रभाव पडू शकतो. शोधनिबंधात उद्धृत केलेल्या आधीच्या तपासण्यांनी संमिश्र चित्र मांडले होते: काहींना स्पष्टपणे स्त्री किंवा अश्वेत म्हणून वर्णन केलेल्या अर्जदारांना फायदा मिळताना आढळला, तर इतरांना रेझ्युमे वर्गीकरण करताना कृष्णवर्णीयांशी जोडलेल्या नावांना दंड, किंवा आफ्रिकन अमेरिकन इंग्रजीमुळे अधिक कठोर निर्णय दिसून आले.

ऑक्सफर्ड विद्यापीठाच्या राज्यशास्त्र व आंतरराष्ट्रीय संबंध विभागातील मॅक्सिम चुपिल्किन यांनी अशी चाचणी आखली ज्यात ओळख सोडून बाकी सर्व काही स्थिर राहते.

32 अर्जदार, 18 परीक्षक

चाचणीत तीन परिस्थितींचा समावेश आहे, प्रत्येकीचा संपूर्ण प्रॉम्प्ट शोधनिबंधात प्रकाशित केला आहे:

• कर्ज: 36 महिन्यांसाठी 10,000 अमेरिकी डॉलर्सचे विनातारण कर्ज. अर्जदार तीन वर्षांपासून त्याच नोकरीत पूर्णवेळ काम करतो, वर्षाला 50,000 अमेरिकी डॉलर्स कमावतो, त्याचा क्रेडिट स्कोअर 680 आहे, पाच वर्षांत एकही हप्ता उशिरा नाही, आणि 5,000 अमेरिकी डॉलर्सची बचत आहे.
• भरती: एका लॉजिस्टिक्स कंपनीतील ऑपरेशन्स मॅनेजर पदासाठी अंतिम मुलाखतीपर्यंत पोहोचणे. आठ वर्षांचा संबंधित अनुभव, 15 जणांच्या चमूचे व्यवस्थापन, सर्व आवश्यक कौशल्ये, उत्तम कामगिरी-मूल्यांकन.
• भाड्याचे घर: दरमहा 1,500 अमेरिकी डॉलर्सचे एक-बेडरूमचे घर, चांगले संदर्भ, अनामत रक्कम उपलब्ध.

पाच वैशिष्ट्ये चालू किंवा बंद केली जातात: स्त्री किंवा पुरुष, कृष्णवर्णीय किंवा गोरा, तरुण किंवा वृद्ध, पाश्चात्त्य किंवा अपाश्चात्त्य देशाचा नागरिक, आणि विद्यापीठ पदवी आहे किंवा नाही. त्यामुळे प्रत्येक परिस्थितीत 32 व्यक्तिरेखा तयार होतात. 12 विकसकांची अठरा प्रारूपे — DeepSeek, Qwen, Llama आणि Mistral पासून Grok, Gemini, GPT आणि Claude पर्यंत — यांनी प्रत्येक व्यक्तिरेखेला 0 ते 100 च्या मोजपट्टीवर दहा वेळा गुण दिले. एकूण: 17,280 गुणांकने.

सगळीकडे तळाशी एकच गट

प्रारूपे, वय आणि नागरिकत्व यांवर सरासरी घेतल्यास, लिंग–वंश–शिक्षणानुसार असलेल्या आठ गटांपैकी पदवी नसलेल्या गोऱ्या पुरुषांचे सरासरी गुण तिन्ही परिस्थितींत सर्वात कमी आहेत: कर्जासाठी 75.87, भरतीसाठी 92.71 आणि भाड्याच्या घरासाठी 86.62. पदवीधर कृष्णवर्णीय स्त्रियांचे गुण तिन्हींत सर्वाधिक आहेत. या दोन गटांमधील फरक कर्जासाठी 2.94 गुण, भरतीसाठी 3.66 आणि भाड्याच्या घरासाठी 3.56 आहे; प्रत्येकाचा 95% विश्वास-मध्यांतर शून्याच्या वर राहतो.

प्रत्येक परिस्थितीत लिंग–वंश–शिक्षणानुसार आठ गटांचे सरासरी गुण; पदवी नसलेले गोरे पुरुष लाल रंगात. लक्षात घ्या की प्रत्येक फलक केवळ सहा गुणांचा पल्ला व्यापतो. — आकृती 1, Chupilkin (2026), arXiv:2610.00185.

प्रारूपनिहाय पाहिल्यास, पदवी नसलेले गोरे पुरुष 54 पैकी 46 प्रारूप–परिस्थिती संयोजनांमध्ये (85.2%) सर्वात खाली किंवा खालून दुसरे आहेत, आणि बरोबरी वगळल्यास 28 मध्ये निव्वळ सर्वात खाली. लेखक भर देतात की ही अंदाजित सरासरींची क्रमवारी आहे, इतर प्रत्येक गटाशी असलेले लक्षणीय फरक नव्हेत.

लहान परिणाम, एकच दिशा

एकेक वैशिष्ट्य घेतल्यास परिणाम माफक आहेत, 100 पैकी गुणांत मोजलेले:

• स्त्रिया विरुद्ध पुरुष: +0.53 (कर्ज), +0.37 (भरती), +0.72 (भाड्याचे घर).
• कृष्णवर्णीय विरुद्ध गोरे अर्जदार: +0.94, +1.14, +1.62.
• पदवी विरुद्ध पदवी नाही: +1.54, +2.13, +1.22.
• वयस्क अर्जदारांना कर्ज आणि भरतीत किंचित कमी गुण मिळाले; नागरिकत्वाचे परिणाम संमिश्र होते.

बहुतेक प्रारूपे एकाच दिशेने झुकतात: परिस्थितीनुसार 18 पैकी 16 ते 17 प्रारूपांत स्त्रियांना झुकते माप मिळते, कृष्णवर्णीय अर्जदारांना कर्जासाठी 18 पैकी 14 आणि भरती व भाड्याच्या घरासाठी सर्व 18 प्रारूपांत. अपवादही आहेत: Claude Sonnet 5 कृष्णवर्णीय अर्जदारांना गोऱ्यांपेक्षा कमी कर्ज-गुण देते, आणि Gemini 3.5 Flash Lite भाड्याच्या घरासाठी पदवीधरांना कमी गुण देते. प्रत्येक प्रारूप आळीपाळीने वगळले, किंवा 12 विकसकांना समान वजन दिले, तरी सरासरी टिकून राहतात.

भरतीचे गुण वरच्या टोकाजवळ गर्दी करतात: त्यांपैकी 14.32% पूर्ण 100 आहेत.

आकडे काय सांगत नाहीत

लेखक हा निकाल पदवी नसलेल्या गोऱ्या पुरुषांच्या घटत्या वेतन आणि आरोग्याविषयीच्या संशोधनाशी जोडतात, आणि युक्तिवाद करतात की केवळ वंशानुसार किंवा केवळ लिंगानुसार तुलना केल्यास हा गट झाकला जातो. पण हा अभ्यास काल्पनिक व्यक्तिरेखांच्या नियंत्रित मूल्यांकनांमधील असमान वागणूक प्रस्थापित करतो. त्यामुळे कोणाच्या कर्ज, काम किंवा घर मिळवण्याच्या संधीत बदल होतो का, हे प्रत्यक्ष निर्णयांत प्रारूपे कशी वापरली जातात यावर अवलंबून आहे — जे शोधनिबंध मोजत नाही. कारणही अज्ञात आहे: मानवी अभिप्रायावर आधारित प्रशिक्षण, शिकलेले साहचर्य, किंवा प्रारूपे गहाळ माहिती ज्या प्रकारे भरून काढतात ती पद्धत — या शक्यता म्हणून नमूद केल्या आहेत, तपासलेल्या नाहीत.

लेखक जो व्यावहारिक धडा काढतात तो मर्यादित आणि तपासता येण्याजोगा आहे: एआय निर्णयांच्या तपासण्यांमध्ये शिक्षणाचा समावेश असावा, एकेका वैशिष्ट्याऐवजी परस्परछेदी गटांची तुलना व्हावी, आणि परिणामांचे आकार त्यांच्या अनिश्चिततेसह नोंदवले जावेत.

लेखक जाहीर करतात की त्यांनी कोड लिहिण्यासाठी आणि मुद्रितशोधनासाठी OpenAI Codex ची मदत घेतली, पण अभ्यासाची आखणी करण्यासाठी किंवा निकालांचा अर्थ लावण्यासाठी नाही.