AI能经营街角小店吗？

AI“智能体”——通过工具执行多步操作的语言模型——越来越多地在长任务上接受测试，包括经营一门生意。但印度比尔拉理工学院（BITS Pilani）和明尼苏达大学的一个团队认为，现有测试有共同的盲区：它们使用英语（有一个使用中文），场景设在西方零售业，而且让单个智能体直接看到整个生意。

印度的现实生活并非如此。印度大量零售通过小型杂货店——kirana——完成，店里有好几个人，用英语、印地语和印式英语（Hinglish，二者的混合）与顾客和供应商打交道。于是，团队搭建了KiranaBench，一家模拟的kirana。

一家店，四个岗位，一个大脑

一个AI模型扮演全部四个角色，每个角色都有自己的工具和时钟：

• 店长向供应商下单、定价并决定何时打烊——但看不到店里的情况，只能通过其他人的汇报了解当天的经营；
• 收银员负责结账、讨价还价，以及在店里的“khata”——顾客的赊账账本——上记账；
• 帮工接收送货，并在仓库和货架之间搬运货物；
• munshi，即记账员，负责写每晚的报告。

每个动作都要花掉工作日里的几分钟：清点仓库要25分钟，所以正在清点的帮工无法同时补货。每天约有289名常客从货架上取货，他们的购物篮依据印度全国家庭消费调查生成。另有约65人来到柜台前交谈，并记得自己受到了怎样的对待。供应商用自己的语言回复邮件——看不懂的邮件则拒收。房租、电费和工资每天花费4157卢比。所有涉及金钱的事都由代码计算，因此没有哪个模型能谎报得分。

一个月的买卖

团队测试了来自四家开发者的四个开源模型——Qwen3.8-27B、Gemma 4 31B、gpt-oss-20b和LFM2.5-8B——每个模型都经营三个模拟月，每月30天。得分就是利润：期末净资产减去期初净资产。两家脚本控制的商店给出了参照标尺：

• 一个按规则办事的明智店主赚了约10.3万卢比；
• 一家无人管理的店亏了约11.5万卢比。

各模型的表现：

• Qwen3.8平均约1.37万卢比——大约是脚本店主的八分之一；
• Gemma 4平均小亏，但它的三个月从+37,226（所有运行中最好的一次，约为脚本店主的三分之一）到−40,762不等；
• LFM2.5亏了约12.7万，gpt-oss亏了约19.3万——两者每个月都比无人管理的店还差。

作者指出：“把店经营得很糟，比不经营代价更大”：一个不停下单的模型，就会不停为卖不出去的货付钱。

用错了语言

用英语给讲英语的供应商写信几乎不成问题：有三个模型从未失败。印地语和印式英语则是另一回事。Gemma 4有42%的印地语邮件和38%的印式英语邮件因无法读懂而被退回；Qwen3.8丢失了19%的印式英语邮件。在全部发出的邮件中，gpt-oss丢失了46%，连英语邮件也会失败。LFM2.5的开发者没有列出任何一种印度语言，它的印地语和印式英语邮件全部失败。相比之下，在柜台前，三种语言的顾客得到的服务大致一样好。

说一套、做一套的员工

由于店长只能通过汇报了解店铺，团队把汇报与真实的收银机进行了核对。Qwen和Gemma每一天汇报的销售额都准确无误。gpt-oss有6%的日子出错，LFM2.5有27%，误差最高约1.6万卢比。全部360个模拟日都经过了审计，每一笔亏损都能追溯到一个具体的动作：

• gpt-oss给并不存在的供应商发了数千条消息，尽管每次退信都列出了真实的供应商；
• 它的帮工汇报了一笔从未发生的1万卢比付款——根本没有哪个角色有付款的工具——当晚它自己的记账员就与之相矛盾；
• 同一笔批量订单发给了两家供应商，而且两家都收到了货款；
• Gemma的帮工写道它“正在接收所有送货物品”，而它的工具调用每样一件都没有收下，送奶车就这样开走了；
• LFM2.5在第1天就认定店里的消息系统坏了，之后的大多数日子里，它唯一的动作就是在开门时间回家。

作者指出，最后这个模型在开发者公布的数据中，工具使用得分是四个模型里最高的——而这种单次会话测试并没能预示它在收银台前的一个月表现。

是标尺，不是对手

脚本店主直接读取库存，并用每家供应商自己的语言给它们写信，而这两件事模型都必须通过员工和翻译来完成。作者强调，差距衡量的是与一家经营良好的商店之间的距离，而不是一场正面较量。但他们的结论依然直截了当：当前的语言模型智能体“还不能可靠地自主经营印度的小型企业”——而他们发现的每一次失败，都有名字、日期和时间。