AI कोपऱ्यावरचे दुकान चालवू शकेल का?

AI “एजंट” — म्हणजे अनेक टप्प्यांमध्ये साधनांद्वारे कृती करणारी भाषा-मॉडेल — यांची चाचणी आता वाढत्या प्रमाणात दीर्घ कामांवर होते, ज्यात व्यवसाय चालवणेही आले. पण भारतातील BITS पिलानी आणि मिनेसोटा विद्यापीठ येथील एका संघानुसार, विद्यमान चाचण्यांमध्ये काही समान आंधळे कोपरे आहेत: त्या इंग्रजीत आहेत (एक चिनी भाषेत), पाश्चात्त्य किरकोळ व्यापाराच्या पार्श्वभूमीवर आहेत, आणि एकाच एजंटला व्यवसायाचे थेट दृश्य देतात.

भारतातील प्रत्यक्ष जीवन वेगळे दिसते. तिथला बराचसा किरकोळ व्यापार छोट्या जनरल स्टोअरमधून, किराणा दुकानांमधून चालतो. तिथे अनेक माणसे काम करतात, जी ग्राहक आणि पुरवठादारांशी इंग्रजी, हिंदी आणि या दोघांचे मिश्रण असलेल्या हिंग्लिशमध्ये बोलतात. म्हणून संघाने KiranaBench हे सिम्युलेट केलेले किराणा दुकान तयार केले.

चार कामे आणि एक मेंदू असलेले दुकान

एकच AI मॉडेल चारही भूमिका बजावते, प्रत्येकीची स्वतःची साधने आणि स्वतःचे घड्याळ:

व्यवस्थापक पुरवठादारांकडे ऑर्डर देतो, किमती ठरवतो आणि दुकान कधी बंद करायचे ते ठरवतो — पण तो दुकान पाहू शकत नाही आणि दिवसाबद्दल त्याला फक्त इतरांच्या अहवालांवरूनच कळते;
कॅशियर बिले, घासाघीस आणि दुकानाच्या “खात्या”वरची उधारी, म्हणजे ग्राहकांचा चालू हिशोब, सांभाळतो;
मदतनीस माल स्वीकारतो आणि साठा गोदाम आणि शेल्फ यांच्यात हलवतो;
मुनशी, म्हणजे हिशोबनीस, रात्रीचा अहवाल लिहितो.

प्रत्येक कृतीला कामाच्या दिवसातील काही मिनिटे लागतात: गोदामातील माल मोजायला 25 मिनिटे लागतात, त्यामुळे मोजत असलेला मदतनीस त्याच वेळी शेल्फ भरू शकत नाही. दिवसाला सुमारे 289 नेहमीचे ग्राहक शेल्फवरून वस्तू घेतात; त्यांच्या टोपल्यांतील माल भारताच्या राष्ट्रीय घरगुती उपभोग सर्वेक्षणातून घेतलेला असतो. आणखी सुमारे 65 ग्राहक काउंटरवर येऊन बोलतात, आणि आपल्याला कसे वागवले गेले ते लक्षात ठेवतात. पुरवठादार त्यांच्या स्वतःच्या भाषेत ई-मेलना उत्तर देतात — आणि जे वाचता येत नाहीत ते नाकारतात. भाडे, वीज आणि पगार यांचा दिवसाचा खर्च 4,157 रुपये आहे. पैशाशी संबंधित प्रत्येक गोष्ट कोडद्वारे मोजली जाते, त्यामुळे कोणतेही मॉडेल गुण चुकीचे नोंदवू शकत नाही.

व्यापाराचा एक महिना

संघाने चार विकासकांच्या चार मुक्त मॉडेलची चाचणी केली — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b आणि LFM2.5-8B — प्रत्येकाची 30 दिवसांच्या तीन सिम्युलेट केलेल्या महिन्यांसाठी. गुण म्हणजे नफा: शेवटची निव्वळ मालमत्ता वजा सुरुवातीची निव्वळ मालमत्ता. स्क्रिप्टने चालणारी दोन दुकाने प्रमाण ठरवतात:

नियमांनुसार चालणाऱ्या एका समंजस दुकानदाराने सुमारे 103,000 रुपये कमावले;
कोणीही न चालवलेल्या दुकानाचा सुमारे 115,000 रुपये तोटा झाला.

मॉडेल:

Qwen3.8 ची सरासरी सुमारे 13,700 रुपये होती — स्क्रिप्टच्या दुकानदाराच्या अंदाजे एक-अष्टमांश;
Gemma 4 ची सरासरी थोडा तोटा होती, पण त्याचे तीन महिने +37,226 (सर्व धावांमधील सर्वोत्तम, दुकानदाराच्या सुमारे एक-तृतीयांश) पासून −40,762 पर्यंत होते;
LFM2.5 चा सुमारे 127,000 आणि gpt-oss चा सुमारे 193,000 तोटा झाला — दोघेही प्रत्येक महिन्यात कोणीही न चालवलेल्या दुकानापेक्षा वाईट.

“दुकान वाईट रीतीने चालवणे हे न चालवण्यापेक्षा जास्त महाग पडते,” लेखक नमूद करतात: ऑर्डर देत राहणारे मॉडेल विकू न शकणाऱ्या मालासाठी पैसे देत राहते.

चुकीची भाषा

इंग्रजी बोलणाऱ्या पुरवठादारांना इंग्रजीत लिहिणे जवळजवळ सुटलेले होते: तीन मॉडेल कधीच अपयशी ठरली नाहीत. हिंदी आणि हिंग्लिश ही वेगळीच गोष्ट होती. Gemma 4 चे 42% हिंदी ई-मेल आणि 38% हिंग्लिश ई-मेल वाचता येत नाहीत म्हणून परत आले; Qwen3.8 चे 19% हिंग्लिश ई-मेल वाया गेले. पाठवलेल्या सर्वांपैकी, gpt-oss चे 46% वाया गेले, आणि ते इंग्रजीतही अपयशी ठरले. ज्याचे विकासक कोणत्याही भारतीय भाषेचा उल्लेख करत नाहीत, ते LFM2.5 प्रत्येक हिंदी आणि हिंग्लिश ई-मेलमध्ये अपयशी ठरले. याउलट, काउंटरवर ग्राहकांना तिन्ही भाषांमध्ये जवळजवळ सारख्याच चांगल्या प्रकारे सेवा मिळाली.

बोलतात एक आणि करतात दुसरेच असे कर्मचारी

व्यवस्थापक दुकान फक्त अहवालांमधूनच पाहत असल्याने, संघाने ते अहवाल प्रत्यक्ष गल्ल्याशी पडताळून पाहिले. Qwen आणि Gemma ने प्रत्येक दिवशी विक्री अचूक नोंदवली. gpt-oss 6% दिवशी, LFM2.5 27% दिवशी चुकले, सुमारे 16,000 रुपयांपर्यंत. 360 पैकी प्रत्येक सिम्युलेट केलेल्या दिवसाचे लेखापरीक्षण झाले, आणि प्रत्येक तोटा एका नाव असलेल्या कृतीपर्यंत पोहोचतो:

gpt-oss ने अस्तित्वातच नसलेल्या पुरवठादारांना हजारो संदेश पाठवले, जरी परत आलेल्या प्रत्येक संदेशात खऱ्या पुरवठादारांची यादी होती;
त्याच्या मदतनीसाने कधीच न झालेले 10,000 रुपयांचे पेमेंट नोंदवले — कोणत्याही भूमिकेकडे पेमेंट करण्याचे साधनही नव्हते — आणि त्याच दुकानाच्या मुनशीने त्या रात्री त्याला विरोध करणारा अहवाल दिला;
एकच घाऊक ऑर्डर दोन पुरवठादारांकडे गेली, आणि दोघांनाही पैसे दिले गेले;
Gemma च्या मदतनीसाने लिहिले की तो “सर्व माल स्वीकारत आहे”, पण त्याच्या साधन-वापराने प्रत्येक वस्तू शून्यच ठेवली, आणि दुधाची गाडी निघून गेली;
LFM2.5 ने पहिल्या दिवशीच ठरवले की दुकानाची संदेश-प्रणाली बिघडली आहे, आणि नंतरच्या बहुतेक दिवशी त्याची एकमेव कृती म्हणजे दुकान उघडण्याच्या वेळीच घरी जाणे.

लेखक लक्षात आणून देतात की, हे शेवटचे मॉडेल, त्याच्या विकासकाने नोंदवल्याप्रमाणे, चौघांमध्ये साधन-वापराचे सर्वोच्च गुण बाळगते — एका सत्राची ती चाचणी गल्ल्यावरच्या एका महिन्याचा अंदाज देऊ शकली नाही.

प्रतिस्पर्धी नव्हे, मापदंड

स्क्रिप्टचा दुकानदार साठा थेट वाचतो आणि प्रत्येक पुरवठादाराला त्याच्या स्वतःच्या भाषेत लिहितो, या दोन गोष्टी मॉडेलना कर्मचारी आणि भाषांतराच्या माध्यमातून कराव्या लागतात. हा फरक, लेखक भर देऊन सांगतात, नीट चालवलेल्या दुकानापासूनचे अंतर मोजतो, समोरासमोरची स्पर्धा नव्हे. तरीही त्यांचा निष्कर्ष स्पष्ट आहे: सध्याचे भाषा-मॉडेल एजंट “भारतात छोटे व्यवसाय स्वायत्तपणे चालवण्यासाठी अद्याप विश्वासार्ह नाहीत” — आणि त्यांना सापडलेल्या प्रत्येक अपयशासोबत एक नाव, एक दिवस आणि एक वेळ होती.