آیا هوش مصنوعی می‌تواند بقالی سر کوچه را بچرخاند؟
«عامل‌های» هوش مصنوعی (agents) — مدل‌های زبانی که در گام‌های بسیار و از طریق ابزارها عمل می‌کنند — هر روز بیشتر روی کارهای طولانی، از جمله اداره کردن یک کسب‌وکار، آزموده می‌شوند. اما به گفتهٔ گروهی از BITS Pilani در هند و دانشگاه مینه‌سوتا، آزمون‌های موجود نقاط کور مشترکی دارند: به زبان انگلیسی‌اند (یکی به چینی)، در فضای خرده‌فروشی غربی می‌گذرند و به یک عامل واحد دید مستقیم به کسب‌وکار می‌دهند.
زندگی واقعی در هند شکل دیگری دارد. بخش بزرگی از خرده‌فروشی آن از مغازه‌های کوچک عمومی، یعنی مغازه‌های کیرانا، می‌گذرد که چند نفر در آن‌ها کار می‌کنند و با مشتریان و تأمین‌کنندگان به انگلیسی، هندی و هینگلیش — آمیزه‌ای از این دو — حرف می‌زنند. پس گروه KiranaBench را ساخت، یک کیرانای شبیه‌سازی‌شده.
مغازه‌ای با چهار شغل و یک مغز
یک مدل هوش مصنوعی هر چهار نقش را بازی می‌کند و هر نقش ابزارها و ساعت خودش را دارد:
- مدیر از تأمین‌کنندگان سفارش می‌دهد، قیمت‌ها را تعیین می‌کند و تصمیم می‌گیرد کی ببندد — اما مغازه را نمی‌بیند و از روزش فقط از طریق گزارش‌های دیگران خبردار می‌شود؛
- صندوق‌دار به صورت‌حساب‌ها، چانه‌زنی و نسیه در «کاتا» (khata)ی مغازه، یعنی دفتر حساب جاری مشتریان، رسیدگی می‌کند؛
- کمک‌کار بارهای رسیده را تحویل می‌گیرد و جنس‌ها را میان انبار و قفسه‌ها جابه‌جا می‌کند؛
- مُنشی، حسابدار، گزارش شبانه را می‌نویسد.
هر کاری دقیقه‌هایی از روز کاری را می‌گیرد: شمردن انبار 25 دقیقه طول می‌کشد، پس کمک‌کاری که مشغول شمردن است نمی‌تواند هم‌زمان قفسه‌ها را پر کند. روزانه حدود 289 مشتری عادی کالاها را از قفسه‌ها برمی‌دارند و سبدهایشان از پیمایش ملی مصرف خانوار هند برگرفته شده است. حدود 65 مشتری دیگر به پیشخوان می‌آیند و حرف می‌زنند، و به یاد می‌آورند با آن‌ها چه رفتاری شد. تأمین‌کنندگان به زبان خودشان به ایمیل‌ها پاسخ می‌دهند — و آن‌هایی را که نمی‌توانند بخوانند رد می‌کنند. اجاره، برق و دستمزد روزانه 4,157 روپیه هزینه دارند. هر چیزی که با پول سروکار دارد با کد محاسبه می‌شود، پس هیچ مدلی نمی‌تواند امتیاز را نادرست گزارش کند.
یک ماه داد و ستد
گروه چهار مدل باز از چهار توسعه‌دهنده را — Qwen3.8-27B، Gemma 4 31B، gpt-oss-20b و LFM2.5-8B — هر کدام در سه ماه شبیه‌سازی‌شدهٔ 30 روزه آزمود. امتیاز، سود است: دارایی خالص در پایان منهای دارایی خالص در آغاز. دو مغازهٔ برنامه‌ریزی‌شده مقیاس را تعیین می‌کنند:
- یک مغازه‌دار معقولِ پیرو قواعد حدود 103,000 روپیه درآمد داشت؛
- مغازه‌ای که هیچ‌کس اداره‌اش نمی‌کند حدود 115,000 روپیه ضرر کرد.
مدل‌ها:
- Qwen3.8 به‌طور میانگین حدود 13,700 روپیه درآمد داشت — تقریباً یک‌هشتمِ مغازه‌دار برنامه‌ریزی‌شده؛
- Gemma 4 به‌طور میانگین ضرر اندکی کرد، اما سه ماهش از +37,226 (بهترین اجرا در کل، حدود یک‌سومِ مغازه‌دار) تا −40,762 متغیر بود؛
- LFM2.5 حدود 127,000 و gpt-oss حدود 193,000 ضرر کردند — هر دو در همهٔ ماه‌ها بدتر از مغازهٔ بی‌مدیر.
نویسندگان یادآوری می‌کنند: «بد اداره کردن مغازه از اداره نکردنش گران‌تر تمام می‌شود»؛ مدلی که پیوسته سفارش می‌دهد، پیوسته پول کالاهایی را می‌پردازد که نمی‌تواند بفروشد.
زبان اشتباه
نوشتن به انگلیسی برای تأمین‌کنندگان انگلیسی‌زبان تقریباً حل‌شده بود: سه مدل هرگز شکست نخوردند. هندی و هینگلیش اما حکایت دیگری بودند. 42٪ از ایمیل‌های هندیِ Gemma 4 و 38٪ از ایمیل‌های هینگلیشش به‌عنوان ناخوانا برگشت خوردند؛ Qwen3.8 19٪ از ایمیل‌های هینگلیشش را از دست داد. gpt-oss از کل آنچه فرستاد 46٪ را از دست داد و در انگلیسی هم شکست خورد. LFM2.5، که توسعه‌دهندگانش هیچ زبان هندی‌ای را فهرست نکرده‌اند، در همهٔ ایمیل‌های هندی و هینگلیش شکست خورد. در مقابل، پشت پیشخوان، به مشتریان در هر سه زبان تقریباً به یک اندازه خوب خدمت شد.
کارکنانی که یک چیز می‌گویند و کار دیگری می‌کنند
چون مدیر مغازه را فقط از طریق گزارش‌ها می‌بیند، گروه آن‌ها را با صندوق واقعی مقایسه کرد. Qwen و Gemma فروش را هر روز دقیقاً درست گزارش کردند. gpt-oss در 6٪ از روزها و LFM2.5 در 27٪ اشتباه کردند، با اختلافی تا حدود 16,000 روپیه. تک‌تک 360 روز شبیه‌سازی‌شده ممیزی شد و هر ضرری به کاری مشخص و نام‌برده بازمی‌گردد:
- gpt-oss هزاران پیام را به تأمین‌کنندگانی فرستاد که وجود ندارند، هرچند هر پیام برگشتی تأمین‌کنندگان واقعی را فهرست می‌کرد؛
- کمک‌کارش پرداخت 10,000 روپیه‌ای را گزارش کرد که هرگز انجام نشد — هیچ نقشی حتی ابزاری برای انجام آن نداشت — و حسابدار خودش همان شب آن را نقض کرد؛
- یک سفارش عمدهٔ واحد به دو تأمین‌کننده رفت و پول هر دو پرداخت شد؛
- کمک‌کار Gemma نوشت که «همهٔ اقلام تحویلی را می‌گیرد»، در حالی که فراخوانی ابزارش از هر کدام صفر عدد نگه داشت، و وانت شیر رفت؛
- LFM2.5 در روز اول تصمیم گرفت که سامانهٔ پیام‌رسانی مغازه خراب است، و در بیشتر روزهای بعد تنها کارش این بود که سر ساعت بازگشایی به خانه برود.
به تأکید نویسندگان، همین مدل آخر بنا بر گزارش توسعه‌دهنده‌اش بالاترین امتیاز استفاده از ابزار را در میان این چهار دارد — آزمونی تک‌جلسه‌ای که یک ماه کار پشت صندوق را پیش‌بینی نکرد.
معیار سنجش، نه رقیب
مغازه‌دار برنامه‌ریزی‌شده موجودی را مستقیم می‌خواند و برای هر تأمین‌کننده به زبان خودش می‌نویسد؛ دو کاری که مدل‌ها باید از طریق کارکنان و ترجمه از پسشان برآیند. به تأکید نویسندگان، این شکاف فاصله تا یک مغازهٔ خوب‌اداره‌شده را می‌سنجد، نه یک رقابت رو در رو. با این حال نتیجه‌گیری‌شان صریح است: عامل‌های مدل زبانیِ کنونی «هنوز برای اداره کردن خودکار کسب‌وکارهای کوچک در هند قابل‌اعتماد نیستند» — و هر شکستی که یافتند یک نام، یک روز و یک ساعت داشت.