AI వీధి మలుపులోని దుకాణాన్ని నడపగలదా?

AI “ఏజెంట్లు” — అంటే అనేక దశల్లో సాధనాల ద్వారా పనిచేసే భాషా మోడళ్లు — వ్యాపారం నడపడంతో సహా సుదీర్ఘమైన పనులపై ఎక్కువగా పరీక్షించబడుతున్నాయి. కానీ భారతదేశంలోని BITS పిలానీ, మిన్నెసోటా విశ్వవిద్యాలయాలకు చెందిన ఒక బృందం ప్రకారం, ప్రస్తుత పరీక్షల్లో ఉమ్మడి లోపాలు ఉన్నాయి: అవి ఇంగ్లీష్‌లో ఉన్నాయి (ఒకటి చైనీస్‌లో), పాశ్చాత్య రిటైల్ నేపథ్యంలో ఉన్నాయి, ఒకే ఏజెంట్‌కు వ్యాపారపు ప్రత్యక్ష దృశ్యాన్ని ఇస్తాయి.

భారతదేశంలో నిజ జీవితం వేరుగా కనిపిస్తుంది. అక్కడి రిటైల్‌లో చాలా భాగం చిన్న జనరల్ స్టోర్ల ద్వారా, కిరాణా దుకాణాల ద్వారా నడుస్తుంది; వాటిలో కొందరు సిబ్బంది కస్టమర్లు, సరఫరాదారులతో ఇంగ్లీష్, హిందీ, ఈ రెండింటి మిశ్రమమైన హింగ్లిష్‌లో మాట్లాడతారు. కాబట్టి బృందం KiranaBench అనే అనుకరించిన కిరాణా దుకాణాన్ని నిర్మించింది.

నాలుగు పనులు, ఒకే మెదడు ఉన్న దుకాణం

ఒకే AI మోడల్ నాలుగు పాత్రలనూ పోషిస్తుంది, ప్రతి పాత్రకూ సొంత సాధనాలు, సొంత గడియారం:

• మేనేజర్ సరఫరాదారులకు ఆర్డర్లు ఇస్తాడు, ధరలు నిర్ణయిస్తాడు, ఎప్పుడు మూసేయాలో నిర్ణయిస్తాడు — కానీ దుకాణాన్ని చూడలేడు, ఆ రోజు గురించి ఇతరుల నివేదికల నుంచి మాత్రమే తెలుసుకుంటాడు;
• క్యాషియర్ బిల్లులు, బేరసారాలు, దుకాణపు “ఖాతా” పై అప్పు, అంటే కస్టమర్ల నడుస్తున్న లెక్క, చూసుకుంటాడు;
• సహాయకుడు డెలివరీలను స్వీకరిస్తాడు, స్టాక్‌ను గోదాము, అల్మారాల మధ్య తరలిస్తాడు;
• మునీం, అంటే లెక్కలు రాసే వ్యక్తి, రాత్రి నివేదిక రాస్తాడు.

ప్రతి చర్యకూ పని దినంలో కొన్ని నిమిషాలు ఖర్చవుతాయి: గోదామును లెక్కించడానికి 25 నిమిషాలు పడుతుంది, కాబట్టి లెక్కిస్తున్న సహాయకుడు అదే సమయంలో అల్మారాలు నింపలేడు. రోజుకు దాదాపు 289 మంది సాధారణ కస్టమర్లు అల్మారాల నుంచి సరుకులు తీసుకుంటారు, వారి బుట్టల్లోని సరుకులు భారతదేశపు జాతీయ గృహ వినియోగ సర్వే నుంచి తీసుకున్నవి. మరో దాదాపు 65 మంది కౌంటర్‌కు వచ్చి మాట్లాడతారు, తమతో ఎలా వ్యవహరించారో గుర్తుంచుకుంటారు. సరఫరాదారులు తమ సొంత భాషలో ఈమెయిళ్లకు సమాధానం ఇస్తారు — చదవలేనివాటిని తిరస్కరిస్తారు. అద్దె, విద్యుత్, జీతాలకు రోజుకు 4,157 రూపాయలు ఖర్చవుతాయి. డబ్బుతో ముడిపడిన ప్రతిదాన్నీ కోడ్ లెక్కిస్తుంది, కాబట్టి ఏ మోడల్ కూడా స్కోరును తప్పుగా నివేదించలేదు.

ఒక నెల వ్యాపారం

బృందం నలుగురు డెవలపర్లకు చెందిన నాలుగు ఓపెన్ మోడళ్లను పరీక్షించింది — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b, LFM2.5-8B — ఒక్కోదాన్ని 30 రోజుల చొప్పున మూడు అనుకరించిన నెలల పాటు. స్కోరు అంటే లాభం: చివర నికర ఆస్తి మైనస్ ప్రారంభంలో నికర ఆస్తి. స్క్రిప్ట్‌తో నడిచే రెండు దుకాణాలు కొలమానాన్ని నిర్ణయిస్తాయి:

• నియమాలను పాటించే ఒక వివేకవంతుడైన దుకాణదారుడు దాదాపు 103,000 రూపాయలు సంపాదించాడు;
• ఎవరూ నిర్వహించని దుకాణం దాదాపు 115,000 రూపాయలు నష్టపోయింది.

మోడళ్లు:

• Qwen3.8 సగటు దాదాపు 13,700 రూపాయలు — స్క్రిప్ట్ దుకాణదారునిలో సుమారు ఎనిమిదో వంతు;
• Gemma 4 సగటున చిన్న నష్టం, కానీ దాని మూడు నెలలు +37,226 (అన్ని రన్‌లలో అత్యుత్తమం, దుకాణదారునిలో దాదాపు మూడో వంతు) నుంచి −40,762 వరకు ఉన్నాయి;
• LFM2.5 దాదాపు 127,000, gpt-oss దాదాపు 193,000 నష్టపోయాయి — రెండూ ప్రతి నెలా ఎవరూ నిర్వహించని దుకాణం కంటే అధ్వానం.

“దుకాణాన్ని చెడ్డగా నడపడం, నడపకపోవడం కంటే ఎక్కువ ఖర్చవుతుంది,” అని రచయితలు గుర్తుచేస్తారు: ఆర్డర్లు ఇస్తూనే ఉండే మోడల్ అమ్మలేని సరుకులకు చెల్లిస్తూనే ఉంటుంది.

తప్పుడు భాష

ఇంగ్లీష్ మాట్లాడే సరఫరాదారులకు ఇంగ్లీష్‌లో రాయడం దాదాపు పరిష్కారమైంది: మూడు మోడళ్లు ఎప్పుడూ విఫలం కాలేదు. హిందీ, హింగ్లిష్ వేరే విషయం. Gemma 4 యొక్క 42% హిందీ ఈమెయిళ్లు, 38% హింగ్లిష్ ఈమెయిళ్లు చదవలేనివిగా తిరిగి వచ్చాయి; Qwen3.8 తన హింగ్లిష్ ఈమెయిళ్లలో 19% కోల్పోయింది. తాను పంపిన మొత్తంలో gpt-oss 46% కోల్పోయింది, ఇంగ్లీష్‌లో కూడా విఫలమైంది. డెవలపర్లు ఏ భారతీయ భాషనూ పేర్కొనని LFM2.5, ప్రతి హిందీ, హింగ్లిష్ ఈమెయిల్‌లోనూ విఫలమైంది. దీనికి భిన్నంగా, కౌంటర్ వద్ద కస్టమర్లకు మూడు భాషల్లోనూ దాదాపు సమానంగా బాగా సేవలు అందాయి.

ఒకటి చెప్పి మరొకటి చేసే సిబ్బంది

మేనేజర్ దుకాణాన్ని నివేదికల ద్వారా మాత్రమే చూస్తాడు కాబట్టి, బృందం వాటిని నిజమైన గల్లాపెట్టెతో సరిపోల్చింది. Qwen, Gemma ప్రతి ఒక్క రోజూ అమ్మకాలను ఖచ్చితంగా నివేదించాయి. gpt-oss 6% రోజుల్లో, LFM2.5 27% రోజుల్లో తప్పు చేశాయి, దాదాపు 16,000 రూపాయల వరకు. 360 అనుకరించిన రోజుల్లో ప్రతి ఒక్కదాన్నీ ఆడిట్ చేశారు, ప్రతి నష్టమూ పేరున్న ఒక చర్యకు దారితీస్తుంది:

• gpt-oss ఉనికిలో లేని సరఫరాదారులకు వేలాది సందేశాలను పంపింది, తిరిగి వచ్చిన ప్రతి సందేశమూ నిజమైనవారి జాబితాను ఇచ్చినప్పటికీ;
• దాని సహాయకుడు ఎప్పుడూ జరగని 10,000 రూపాయల చెల్లింపును నివేదించాడు — చెల్లింపు చేసే సాధనం ఏ పాత్రకూ లేదు — ఆ రాత్రే దాని సొంత మునీం దానికి విరుద్ధంగా నివేదించాడు;
• ఒకే బల్క్ ఆర్డర్ ఇద్దరు సరఫరాదారులకు వెళ్లింది, ఇద్దరికీ చెల్లించారు;
• Gemma సహాయకుడు తాను “అన్ని డెలివరీ వస్తువులను తీసుకుంటున్నానని” రాశాడు, కానీ దాని సాధన పిలుపు ప్రతి వస్తువునూ సున్నాగానే ఉంచింది, పాల వ్యాను వెళ్లిపోయింది;
• LFM2.5 మొదటి రోజునే దుకాణపు సందేశ వ్యవస్థ పాడైపోయిందని నిర్ణయించుకుంది, ఆ తర్వాత చాలా రోజుల్లో దాని ఏకైక చర్య దుకాణం తెరిచే సమయానికే ఇంటికి వెళ్లిపోవడం.

ఆ చివరి మోడల్, దాని డెవలపర్ నివేదించిన ప్రకారం, నాలుగింటిలో అత్యధిక సాధన-వినియోగ స్కోరును కలిగి ఉందని రచయితలు ఎత్తిచూపుతారు — ఒకే సెషన్ పరీక్ష, అది గల్లాపెట్టె వద్ద ఒక నెలను ఊహించలేకపోయింది.

ప్రత్యర్థి కాదు, కొలబద్ద

స్క్రిప్ట్ దుకాణదారుడు స్టాక్‌ను నేరుగా చదువుతాడు, ప్రతి సరఫరాదారునికీ వారి సొంత భాషలో రాస్తాడు, ఈ రెండు పనులనూ మోడళ్లు సిబ్బంది, అనువాదం ద్వారా నిర్వహించాలి. ఈ అంతరం బాగా నడిచే దుకాణం నుంచి దూరాన్ని కొలుస్తుంది, ముఖాముఖి పోటీని కాదని రచయితలు నొక్కి చెబుతారు. అయినా వారి నిర్ధారణ సూటిగా ఉంది: ప్రస్తుత భాషా-మోడల్ ఏజెంట్లు “భారతదేశంలో చిన్న వ్యాపారాలను స్వయంప్రతిపత్తితో నడపడానికి ఇంకా నమ్మదగినవి కావు” — వారు కనుగొన్న ప్రతి వైఫల్యమూ ఒక పేరు, ఒక రోజు, ఒక సమయంతో వచ్చింది.