AI কি পাড়ার দোকান চালাতে পারে?

AI “এজেন্ট” — এমন ভাষা মডেল যারা অনেক ধাপ ধরে টুলের মাধ্যমে কাজ করে — ক্রমশ দীর্ঘ কাজে পরীক্ষিত হচ্ছে, ব্যবসা চালানোসহ। কিন্তু ভারতের BITS পিলানি ও মিনেসোটা বিশ্ববিদ্যালয়ের একটি দলের মতে, বিদ্যমান পরীক্ষাগুলোর কিছু অভিন্ন অন্ধ দিক আছে: এগুলো ইংরেজিতে (একটি চীনা ভাষায়), পশ্চিমা খুচরা বাণিজ্যের প্রেক্ষাপটে, এবং একটিমাত্র এজেন্টকে ব্যবসার সরাসরি দৃশ্য দেয়।

ভারতের বাস্তব জীবন আলাদা। এর খুচরা বাণিজ্যের বড় অংশ চলে ছোট মুদি-মনিহারি দোকান, কিরানা, দিয়ে, যেখানে কয়েকজন লোক কাজ করেন এবং ক্রেতা ও সরবরাহকারীদের সঙ্গে ইংরেজি, হিন্দি আর হিংলিশে — দুটোর মিশ্রণে — কথা বলেন। তাই দলটি তৈরি করেছে KiranaBench, একটি সিমুলেটেড কিরানা।

চারটি কাজ আর একটি মস্তিষ্কের দোকান

একটিমাত্র AI মডেল চারটি ভূমিকাই পালন করে, প্রতিটির নিজস্ব টুল আর নিজস্ব ঘড়ি সহ:

ম্যানেজার সরবরাহকারীদের কাছে অর্ডার দেয়, দাম ঠিক করে এবং কখন দোকান বন্ধ হবে তা স্থির করে — কিন্তু দোকান দেখতে পায় না, দিনের খবর পায় শুধু অন্যদের রিপোর্ট থেকে;
ক্যাশিয়ার বিল, দরদাম আর দোকানের “খাতা”-য় বাকি সামলায়, অর্থাৎ ক্রেতাদের চলতি হিসাব;
সহকারী ডেলিভারি গ্রহণ করে এবং গুদাম আর তাকের মধ্যে মাল সরায়;
মুনশি, অর্থাৎ হিসাবরক্ষক, প্রতি রাতের রিপোর্ট লেখে।

প্রতিটি কাজে কর্মদিবসের কিছু মিনিট খরচ হয়: গুদাম গুনতে লাগে 25 মিনিট, তাই যে সহকারী গুনছে সে একই সময়ে তাক ভরতে পারে না। দিনে প্রায় 289 জন নিয়মিত ক্রেতা তাক থেকে জিনিস নেয়; তাদের ঝুড়ি তৈরি হয় ভারতের জাতীয় পারিবারিক ভোগ সমীক্ষা থেকে। আরও প্রায় 65 জন কাউন্টারে এসে কথা বলে, এবং মনে রাখে তাদের সঙ্গে কেমন আচরণ করা হয়েছিল। সরবরাহকারীরা নিজেদের ভাষায় ই-মেইলের উত্তর দেয় — আর যেগুলো পড়তে পারে না, সেগুলো ফিরিয়ে দেয়। ভাড়া, বিদ্যুৎ আর বেতনে দিনে খরচ 4,157 রুপি। টাকার সঙ্গে জড়িত সবকিছু হিসাব করে কোড, তাই কোনো মডেল স্কোর ভুল বলতে পারে না।

এক মাসের বেচাকেনা

দলটি চারটি ডেভেলপারের চারটি ওপেন মডেল পরীক্ষা করেছে — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b ও LFM2.5-8B — প্রতিটিকে 30 দিনের তিনটি সিমুলেটেড মাস ধরে। স্কোর হলো মুনাফা: শেষে নিট সম্পদ থেকে শুরুর নিট সম্পদ বাদ দিয়ে। স্ক্রিপ্টে চলা দুটি দোকান মাপকাঠি ঠিক করে:

নিয়ম মেনে চলা একজন বিবেচক দোকানদার আয় করেছে প্রায় 1,03,000 রুপি;
যে দোকান কেউ চালায় না, সেটি হারিয়েছে প্রায় 1,15,000 রুপি।

মডেলগুলো:

Qwen3.8-এর গড় প্রায় 13,700 রুপি — স্ক্রিপ্টে চলা দোকানদারের মোটামুটি আট ভাগের এক ভাগ;
Gemma 4-এর গড় সামান্য লোকসান, কিন্তু এর তিন মাস ছিল +37,226 (সবগুলোর মধ্যে সেরা রান, দোকানদারের প্রায় এক-তৃতীয়াংশ) থেকে −40,762 পর্যন্ত;
LFM2.5 হারিয়েছে প্রায় 1,27,000 আর gpt-oss প্রায় 1,93,000 — দুটোই প্রতি মাসে অপরিচালিত দোকানের চেয়েও খারাপ।

লেখকেরা উল্লেখ করেন, “দোকান খারাপভাবে চালানোর খরচ না চালানোর চেয়েও বেশি”: যে মডেল অর্ডার দিয়েই যায়, সে এমন মালের দাম দিয়েই যায় যা সে বিক্রি করতে পারে না।

ভুল ভাষা

ইংরেজিভাষী সরবরাহকারীদের ইংরেজিতে লেখা প্রায় সমাধান হয়ে গিয়েছিল: তিনটি মডেল কখনো ব্যর্থ হয়নি। হিন্দি আর হিংলিশ অন্য ব্যাপার। Gemma 4-এর 42% হিন্দি ই-মেইল আর 38% হিংলিশ ই-মেইল পড়া যায় না বলে ফেরত এসেছে; Qwen3.8-এর 19% হিংলিশ ই-মেইল নষ্ট হয়েছে। পাঠানো সবকিছুর মধ্যে gpt-oss-এর 46% নষ্ট হয়েছে, ইংরেজিতেও ব্যর্থ হয়ে। LFM2.5, যার ডেভেলপাররা কোনো ভারতীয় ভাষার উল্লেখ করেন না, প্রতিটি হিন্দি ও হিংলিশ ই-মেইলে ব্যর্থ হয়েছে। এর বিপরীতে, কাউন্টারে তিন ভাষার ক্রেতারাই মোটামুটি সমান ভালো সেবা পেয়েছে।

যে কর্মীরা বলে এক, করে আরেক

যেহেতু ম্যানেজার দোকানটি দেখে শুধু রিপোর্টের মাধ্যমে, দলটি সেগুলো আসল ক্যাশবাক্সের সঙ্গে মিলিয়ে দেখেছে। Qwen আর Gemma প্রতিটি দিন বিক্রির হিসাব একদম ঠিক জানিয়েছে। gpt-oss ভুল করেছে 6% দিনে, LFM2.5 27% দিনে, প্রায় 16,000 রুপি পর্যন্ত ব্যবধানে। 360টি সিমুলেটেড দিনের প্রতিটি নিরীক্ষা করা হয়েছে, এবং প্রতিটি লোকসানের উৎস একটি নির্দিষ্ট কাজ:

gpt-oss হাজার হাজার বার্তা পাঠিয়েছে এমন সরবরাহকারীদের, যাদের অস্তিত্বই নেই, যদিও প্রতিটি ফেরত আসা বার্তায় আসলদের তালিকা থাকত;
এর সহকারী 10,000 রুপির এমন একটি পেমেন্টের কথা জানিয়েছে যা কখনো হয়নি — কোনো ভূমিকারই পেমেন্ট করার টুল পর্যন্ত ছিল না — আর সেই রাতেই এর নিজের হিসাবরক্ষক তা খণ্ডন করেছে;
একই পাইকারি অর্ডার গেছে দুজন সরবরাহকারীর কাছে, এবং দুজনকেই দাম দেওয়া হয়েছে;
Gemma-র সহকারী লিখেছে যে সে “ডেলিভারির সব জিনিস নিচ্ছে”, অথচ তার টুল কলে প্রতিটি জিনিসের একটিও রাখা হয়নি, আর দুধের গাড়ি চলে গেছে;
LFM2.5 প্রথম দিনেই ঠিক করে ফেলে যে দোকানের বার্তা-ব্যবস্থা নষ্ট, এবং পরের বেশির ভাগ দিনে তার একমাত্র কাজ ছিল দোকান খোলার সময় বাড়ি চলে যাওয়া।

লেখকেরা দেখান, ডেভেলপারের দেওয়া তথ্য অনুযায়ী এই শেষ মডেলটির টুল-ব্যবহারের স্কোরই চারটির মধ্যে সবচেয়ে বেশি — একটিমাত্র সেশনের পরীক্ষা, যা ক্যাশবাক্সের পেছনে এক মাসের আভাস দিতে পারেনি।

মাপকাঠি, প্রতিদ্বন্দ্বী নয়

স্ক্রিপ্টে চলা দোকানদার সরাসরি মজুত পড়ে এবং প্রত্যেক সরবরাহকারীকে তার নিজের ভাষায় লেখে — এই দুটো কাজ মডেলগুলোকে কর্মী আর অনুবাদের মাধ্যমে সামলাতে হয়। লেখকেরা জোর দিয়ে বলেন, এই ব্যবধান একটি ভালোভাবে চালানো দোকান থেকে দূরত্ব মাপে, মুখোমুখি প্রতিযোগিতা নয়। তবু তাঁদের সিদ্ধান্ত স্পষ্ট: বর্তমান ভাষা-মডেল এজেন্টরা “ভারতে ছোট ব্যবসা স্বয়ংক্রিয়ভাবে চালানোর জন্য এখনো নির্ভরযোগ্য নয়” — আর তাঁরা যে প্রতিটি ব্যর্থতা খুঁজে পেয়েছেন, তার সঙ্গে ছিল একটি নাম, একটি দিন আর একটি সময়।