क्या AI मोहल्ले की दुकान चला सकता है?

AI “एजेंट” — ऐसे भाषा मॉडल जो कई चरणों में टूल्स के ज़रिए काम करते हैं — अब लंबे कामों पर ज़्यादा परखे जा रहे हैं, जिनमें कारोबार चलाना भी शामिल है। लेकिन भारत के BITS पिलानी और मिनेसोटा विश्वविद्यालय की एक टीम के अनुसार, मौजूदा परीक्षणों में कुछ साझा कमियाँ हैं: वे अंग्रेज़ी में हैं (एक चीनी में है), पश्चिमी खुदरा व्यापार पर आधारित हैं, और एक अकेले एजेंट को कारोबार का सीधा नज़ारा देते हैं।

भारत की असल ज़िंदगी अलग है। यहाँ खुदरा व्यापार का बड़ा हिस्सा छोटी जनरल स्टोर जैसी किराना दुकानों से चलता है, जिनमें कई लोग काम करते हैं और ग्राहकों व सप्लायरों से अंग्रेज़ी, हिंदी और हिंग्लिश — दोनों के मेल — में बात करते हैं। इसलिए टीम ने KiranaBench बनाया, एक सिमुलेटेड किराना।

चार काम और एक दिमाग़ वाली दुकान

एक ही AI मॉडल चारों भूमिकाएँ निभाता है, हर एक के अपने टूल और अपनी घड़ी के साथ:

मैनेजर सप्लायरों से माल मँगवाता है, दाम तय करता है और तय करता है कि दुकान कब बंद करनी है — लेकिन वह दुकान देख नहीं सकता और दिन के बारे में सिर्फ़ बाक़ी लोगों की रिपोर्ट से जानता है;
कैशियर बिल, मोलभाव और दुकान के “खाते” पर उधार सँभालता है, यानी ग्राहकों का चालू हिसाब;
हेल्पर डिलीवरी लेता है और माल को गोदाम से शेल्फ़ तक और वापस ले जाता है;
मुंशी, यानी मुनीम, हर रात की रिपोर्ट लिखता है।

हर काम में कामकाजी दिन के कुछ मिनट लगते हैं: गोदाम गिनने में 25 मिनट लगते हैं, इसलिए जो हेल्पर गिनती कर रहा है वह उसी समय शेल्फ़ नहीं भर सकता। रोज़ लगभग 289 नियमित ग्राहक शेल्फ़ से सामान लेते हैं; उनकी टोकरियाँ भारत के राष्ट्रीय घरेलू उपभोग सर्वेक्षण से ली गई हैं। लगभग 65 और ग्राहक काउंटर पर आकर बात करते हैं, और याद रखते हैं कि उनके साथ कैसा बर्ताव हुआ। सप्लायर अपनी भाषा में ई-मेल का जवाब देते हैं — और जो ई-मेल वे पढ़ नहीं पाते, उन्हें लौटा देते हैं। किराया, बिजली और वेतन का ख़र्च रोज़ 4,157 रुपये है। पैसों से जुड़ी हर चीज़ का हिसाब कोड करता है, ताकि कोई भी मॉडल स्कोर ग़लत न बता सके।

एक महीने का कारोबार

टीम ने चार डेवलपरों के चार ओपन मॉडल परखे — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b और LFM2.5-8B — हर एक को 30 दिनों के तीन सिमुलेटेड महीनों तक। स्कोर मुनाफ़ा है: अंत की कुल संपत्ति में से शुरुआत की कुल संपत्ति घटाकर। स्क्रिप्ट से चलने वाली दो दुकानें पैमाना तय करती हैं:

नियमों पर चलने वाले एक समझदार दुकानदार ने लगभग 1,03,000 रुपये कमाए;
जिस दुकान को कोई नहीं सँभालता, उसने लगभग 1,15,000 रुपये गँवाए।

मॉडल:

Qwen3.8 का औसत लगभग 13,700 रुपये रहा — स्क्रिप्ट वाले दुकानदार का मोटे तौर पर आठवाँ हिस्सा;
Gemma 4 का औसत थोड़ा घाटा रहा, लेकिन उसके तीन महीने +37,226 (सभी में सबसे अच्छा रन, दुकानदार का लगभग एक-तिहाई) से −40,762 तक फैले थे;
LFM2.5 ने लगभग 1,27,000 और gpt-oss ने लगभग 1,93,000 गँवाए — दोनों हर महीने बिना सँभाली दुकान से भी बदतर रहे।

लेखक कहते हैं, “दुकान को बुरी तरह चलाना, उसे न चलाने से ज़्यादा महँगा पड़ता है”: जो मॉडल लगातार ऑर्डर देता रहता है, वह ऐसे माल के लिए भुगतान करता रहता है जिसे वह बेच नहीं सकता।

ग़लत भाषा

अंग्रेज़ी बोलने वाले सप्लायरों को अंग्रेज़ी में लिखना लगभग हल हो चुका था: तीन मॉडल कभी नाकाम नहीं हुए। हिंदी और हिंग्लिश अलग मामला थे। Gemma 4 के 42% हिंदी ई-मेल और 38% हिंग्लिश ई-मेल पढ़े न जा सकने के कारण लौटा दिए गए; Qwen3.8 के 19% हिंग्लिश ई-मेल बेकार गए। अपने भेजे हुए सभी संदेशों में से gpt-oss के 46% बेकार गए, और वह अंग्रेज़ी में भी नाकाम रहा। LFM2.5, जिसके डेवलपर किसी भी भारतीय भाषा का ज़िक्र नहीं करते, हर हिंदी और हिंग्लिश ई-मेल में नाकाम रहा। इसके उलट, काउंटर पर तीनों भाषाओं के ग्राहकों को लगभग बराबर अच्छी सेवा मिली।

कहते कुछ, करते कुछ — ऐसे कर्मचारी

चूँकि मैनेजर दुकान को सिर्फ़ रिपोर्टों के ज़रिए देखता है, टीम ने उन्हें असली गल्ले से मिलाकर जाँचा। Qwen और Gemma ने हर एक दिन बिक्री बिल्कुल सही बताई। gpt-oss 6% दिनों में ग़लत रहा, LFM2.5 27% दिनों में, लगभग 16,000 रुपये तक के अंतर से। सभी 360 सिमुलेटेड दिनों का ऑडिट हुआ, और हर घाटे को किसी ख़ास क़दम तक खोजा जा सकता है:

gpt-oss ने हज़ारों संदेश ऐसे सप्लायरों को भेजे जो मौजूद ही नहीं, जबकि हर लौटे संदेश में असली सप्लायरों की सूची होती थी;
उसके हेल्पर ने 10,000 रुपये के एक ऐसे भुगतान की रिपोर्ट दी जो कभी हुआ ही नहीं — किसी भी भूमिका के पास भुगतान करने का टूल तक नहीं था — और उसी रात उसके अपने मुनीम ने उसका खंडन किया;
एक ही थोक ऑर्डर दो सप्लायरों को गया, और दोनों को भुगतान हुआ;
Gemma के हेल्पर ने लिखा कि वह “डिलीवरी का सारा सामान ले रहा है”, जबकि उसके टूल कॉल ने हर चीज़ में से शून्य रखा, और दूध की गाड़ी चली गई;
LFM2.5 ने पहले ही दिन तय कर लिया कि दुकान का संदेश सिस्टम ख़राब है, और बाद के ज़्यादातर दिनों में उसका इकलौता क़दम था दुकान खुलने के समय घर चले जाना।

लेखक बताते हैं कि इस आख़िरी मॉडल का, उसके डेवलपर के बताए अनुसार, चारों में सबसे ऊँचा टूल-इस्तेमाल स्कोर है — एक ही सत्र वाला परीक्षण, जो गल्ले पर बिताए एक महीने का अंदाज़ा नहीं दे सका।

पैमाना, प्रतिद्वंद्वी नहीं

स्क्रिप्ट वाला दुकानदार स्टॉक सीधे पढ़ता है और हर सप्लायर को उसकी अपनी भाषा में लिखता है — ये दो काम मॉडलों को कर्मचारियों और अनुवाद के ज़रिए सँभालने पड़ते हैं। लेखक ज़ोर देते हैं कि यह अंतर एक अच्छी तरह चलाई गई दुकान से दूरी मापता है, आमने-सामने का मुक़ाबला नहीं। फिर भी उनका निष्कर्ष दो टूक है: मौजूदा भाषा-मॉडल एजेंट “भारत में छोटे कारोबारों को स्वायत्त रूप से चलाने के लिए अभी भरोसेमंद नहीं हैं” — और उन्हें मिली हर नाकामी के साथ एक नाम, एक दिन और एक समय दर्ज था।