ஒரு AI தெருமுனைக் கடையை நடத்த முடியுமா?

AI “முகவர்கள்” (agents) — கருவிகள் மூலம் பல படிகளில் செயல்படும் மொழி மாதிரிகள் — ஒரு வணிகத்தை நடத்துவது உட்பட நீண்ட பணிகளில் மேலும் மேலும் சோதிக்கப்படுகின்றன. ஆனால் இந்தியாவின் BITS பிலானி மற்றும் மினசோட்டா பல்கலைக்கழகத்தைச் சேர்ந்த ஒரு குழுவின் கூற்றுப்படி, தற்போதைய சோதனைகளுக்குப் பொதுவான குருட்டுப் புள்ளிகள் உள்ளன: அவை ஆங்கிலத்தில் உள்ளன (ஒன்று சீனத்தில்), மேற்கத்திய சில்லறை வணிகச் சூழலில் அமைந்துள்ளன, ஒரே முகவருக்கு வணிகத்தை நேரடியாகப் பார்க்கும் வாய்ப்பைத் தருகின்றன.

இந்தியாவின் உண்மையான வாழ்க்கை வேறு மாதிரி இருக்கிறது. அதன் சில்லறை வணிகத்தில் பெரும்பகுதி சிறிய பொதுக் கடைகளான கிரானா கடைகள் வழியாக நடக்கிறது; அவற்றில் பலர் வேலை செய்கிறார்கள், வாடிக்கையாளர்களுடனும் சப்ளையர்களுடனும் ஆங்கிலம், இந்தி, இரண்டின் கலவையான ஹிங்கிலிஷ் ஆகியவற்றில் பேசுகிறார்கள். எனவே குழு உருவகப்படுத்தப்பட்ட கிரானாவான KiranaBench-ஐ உருவாக்கியது.

நான்கு வேலைகளும் ஒரு மூளையும் கொண்ட கடை

ஒரே AI மாதிரி நான்கு பாத்திரங்களிலும் நடிக்கிறது; ஒவ்வொன்றுக்கும் தனிக் கருவிகளும் தனிக் கடிகாரமும் உண்டு:

• மேலாளர் சப்ளையர்களிடம் ஆர்டர் செய்கிறார், விலைகளை நிர்ணயிக்கிறார், எப்போது மூடுவது என்று முடிவு செய்கிறார் — ஆனால் கடையைப் பார்க்க முடியாது, அன்றைய நாளைப் பற்றி மற்றவர்களின் அறிக்கைகளிலிருந்து மட்டுமே அறிகிறார்;
• காசாளர் பில்கள், பேரம், கடையின் “காத்தா”வில் — வாடிக்கையாளர்களின் கடன் கணக்கில் — கடன் ஆகியவற்றைக் கையாள்கிறார்;
• உதவியாளர் வரும் சரக்குகளைப் பெற்றுக்கொண்டு, பொருட்களைக் கிடங்குக்கும் அலமாரிகளுக்கும் இடையே நகர்த்துகிறார்;
• முன்ஷி, அதாவது கணக்காளர், இரவு அறிக்கையை எழுதுகிறார்.

ஒவ்வொரு செயலும் வேலை நாளின் நிமிடங்களைச் செலவழிக்கிறது: கிடங்கை எண்ண 25 நிமிடம் ஆகிறது, எனவே எண்ணிக்கொண்டிருக்கும் உதவியாளர் அதே நேரத்தில் அலமாரிகளை நிரப்ப முடியாது. நாளொன்றுக்குச் சுமார் 289 வழக்கமான வாடிக்கையாளர்கள் அலமாரிகளிலிருந்து பொருட்களை எடுக்கிறார்கள்; அவர்களின் கூடைகள் இந்தியாவின் தேசிய வீட்டு நுகர்வுக் கணக்கெடுப்பிலிருந்து எடுக்கப்பட்டவை. மேலும் சுமார் 65 பேர் கவுண்டருக்கு வந்து பேசுகிறார்கள், தாங்கள் எப்படி நடத்தப்பட்டோம் என்பதை நினைவில் வைத்துக்கொள்கிறார்கள். சப்ளையர்கள் தங்கள் சொந்த மொழியில் மின்னஞ்சல்களுக்குப் பதில் அளிக்கிறார்கள் — படிக்க முடியாதவற்றை நிராகரிக்கிறார்கள். வாடகை, மின்சாரம், சம்பளம் நாளொன்றுக்கு 4,157 ரூபாய் ஆகிறது. பணம் தொடர்பான எல்லாமே நிரலால் கணக்கிடப்படுகிறது, எனவே எந்த மாதிரியும் மதிப்பெண்ணைத் தவறாகத் தெரிவிக்க முடியாது.

ஒரு மாத வியாபாரம்

குழு நான்கு உருவாக்குநர்களின் நான்கு திறந்த மாதிரிகளை — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b, LFM2.5-8B — ஒவ்வொன்றையும் 30 நாட்கள் கொண்ட மூன்று உருவகப்படுத்தப்பட்ட மாதங்களுக்குச் சோதித்தது. மதிப்பெண் என்பது இலாபம்: முடிவில் உள்ள நிகர மதிப்பிலிருந்து தொடக்கத்தில் உள்ள நிகர மதிப்பைக் கழித்தது. முன்கூட்டியே நிரலிடப்பட்ட இரண்டு கடைகள் அளவுகோலை அமைக்கின்றன:

• விதிகளைப் பின்பற்றும் விவேகமான கடைக்காரர் சுமார் 103,000 ரூபாய் ஈட்டினார்;
• யாரும் நிர்வகிக்காத கடை சுமார் 115,000 ரூபாய் இழந்தது.

மாதிரிகள்:

• Qwen3.8 சராசரியாகச் சுமார் 13,700 ரூபாய் ஈட்டியது — நிரலிடப்பட்ட கடைக்காரரில் ஏறக்குறைய எட்டில் ஒரு பங்கு;
• Gemma 4 சராசரியாகச் சிறிய இழப்பைச் சந்தித்தது, ஆனால் அதன் மூன்று மாதங்கள் +37,226 (எல்லாவற்றிலும் சிறந்த ஓட்டம், கடைக்காரரில் சுமார் மூன்றில் ஒரு பங்கு) முதல் −40,762 வரை மாறின;
• LFM2.5 சுமார் 127,000, gpt-oss சுமார் 193,000 இழந்தன — இரண்டுமே ஒவ்வொரு மாதமும் நிர்வகிக்கப்படாத கடையை விட மோசம்.

“கடையை மோசமாக நடத்துவது, நடத்தாமல் இருப்பதை விட அதிகம் செலவாகிறது” என்று ஆசிரியர்கள் குறிப்பிடுகிறார்கள்: தொடர்ந்து ஆர்டர் செய்யும் மாதிரி, விற்க முடியாத பொருட்களுக்குத் தொடர்ந்து பணம் செலுத்துகிறது.

தவறான மொழி

ஆங்கிலம் பேசும் சப்ளையர்களுக்கு ஆங்கிலத்தில் எழுதுவது ஏறக்குறையத் தீர்க்கப்பட்டிருந்தது: மூன்று மாதிரிகள் ஒருபோதும் தோற்கவில்லை. இந்தியும் ஹிங்கிலிஷும் வேறு கதை. Gemma 4-இன் இந்தி மின்னஞ்சல்களில் 42%, ஹிங்கிலிஷ் மின்னஞ்சல்களில் 38% படிக்க முடியாதவை எனத் திருப்பி அனுப்பப்பட்டன; Qwen3.8 தன் ஹிங்கிலிஷ் மின்னஞ்சல்களில் 19%-ஐ இழந்தது. தான் அனுப்பிய அனைத்திலும் gpt-oss 46%-ஐ இழந்தது, ஆங்கிலத்திலும் தோற்றது. எந்த இந்திய மொழியையும் தன் உருவாக்குநர்கள் பட்டியலிடாத LFM2.5, ஒவ்வொரு இந்தி, ஹிங்கிலிஷ் மின்னஞ்சலிலும் தோற்றது. மாறாக, கவுண்டரில் மூன்று மொழிகளிலும் வாடிக்கையாளர்களுக்கு ஏறக்குறைய சமமாக நன்கு சேவை செய்யப்பட்டது.

ஒன்று சொல்லி வேறொன்று செய்யும் பணியாளர்கள்

மேலாளர் கடையை அறிக்கைகள் மூலம் மட்டுமே பார்ப்பதால், குழு அவற்றை உண்மையான கல்லாப்பெட்டியுடன் ஒப்பிட்டது. Qwen-உம் Gemma-வும் ஒவ்வொரு நாளும் விற்பனையைத் துல்லியமாகத் தெரிவித்தன. gpt-oss 6% நாட்களிலும், LFM2.5 27% நாட்களிலும் தவறின — சுமார் 16,000 ரூபாய் வரை வித்தியாசத்துடன். உருவகப்படுத்தப்பட்ட 360 நாட்களில் ஒவ்வொன்றும் தணிக்கை செய்யப்பட்டது; ஒவ்வொரு இழப்பும் பெயரிடப்பட்ட ஒரு செயலுக்குத் தடம் காட்டுகிறது:

• gpt-oss ஆயிரக்கணக்கான செய்திகளை இல்லாத சப்ளையர்களுக்கு அனுப்பியது — ஒவ்வொரு திரும்பி வந்த செய்தியும் உண்மையான சப்ளையர்களைப் பட்டியலிட்டபோதும்;
• அதன் உதவியாளர் ஒருபோதும் நடக்காத 10,000 ரூபாய் பணம் செலுத்துதலைத் தெரிவித்தார் — அதைச் செய்யும் கருவி எந்தப் பாத்திரத்திடமும் இல்லை — அன்றிரவே அதன் சொந்தக் கணக்காளர் அதை மறுத்தார்;
• ஒரே மொத்த ஆர்டர் இரண்டு சப்ளையர்களுக்குச் சென்றது, இருவருக்கும் பணம் செலுத்தப்பட்டது;
• Gemma-வின் உதவியாளர் “எல்லாச் சரக்குப் பொருட்களையும் எடுத்துக்கொள்கிறேன்” என்று எழுதினார், ஆனால் அதன் கருவி அழைப்பு ஒவ்வொன்றிலும் பூஜ்ஜியத்தையே வைத்துக்கொண்டது, பால் வண்டி போய்விட்டது;
• LFM2.5 முதல் நாளிலேயே கடையின் செய்தி அமைப்பு பழுதடைந்துவிட்டது என்று முடிவு செய்தது; அதற்குப் பிந்தைய பெரும்பாலான நாட்களில் கடை திறக்கும் நேரத்தில் வீட்டுக்குப் போவதே அதன் ஒரே செயல்.

அந்தக் கடைசி மாதிரி, அதன் உருவாக்குநர் தெரிவித்தபடி, நான்கிலும் மிக உயர்ந்த கருவிப் பயன்பாட்டு மதிப்பெண்ணைக் கொண்டது என்று ஆசிரியர்கள் சுட்டிக்காட்டுகிறார்கள் — கல்லாவில் ஒரு மாதத்தை முன்னறிவிக்காத ஒற்றை அமர்வுச் சோதனை.

அளவுகோல், போட்டியாளர் அல்ல

நிரலிடப்பட்ட கடைக்காரர் இருப்பை நேரடியாகப் படிக்கிறார், ஒவ்வொரு சப்ளையருக்கும் அவரவர் மொழியில் எழுதுகிறார் — மாதிரிகள் பணியாளர்கள், மொழிபெயர்ப்பு மூலம் கையாள வேண்டிய இரண்டு விஷயங்கள். இந்த இடைவெளி நன்கு நடத்தப்படும் கடையிலிருந்து உள்ள தூரத்தை அளக்கிறது, நேருக்கு நேர் போட்டியை அல்ல என்று ஆசிரியர்கள் வலியுறுத்துகிறார்கள். இருந்தாலும் அவர்களின் முடிவு நேரடியானது: தற்போதைய மொழி மாதிரி முகவர்கள் “இந்தியாவில் சிறு வணிகங்களைத் தன்னாட்சியாக நடத்துவதற்கு இன்னும் நம்பகமானவை அல்ல” — அவர்கள் கண்ட ஒவ்வொரு தோல்விக்கும் ஒரு பெயர், ஒரு நாள், ஒரு நேரம் இருந்தது.