AIは街角の店を切り盛りできるか？

AIの「エージェント」、つまりツールを通じて多くのステップにわたって行動する言語モデルは、事業の運営を含む長い課題でますます試されるようになっている。しかし、インドのBITSピラニと米ミネソタ大学のチームによれば、既存のテストには共通の盲点がある。英語で書かれていて（1つは中国語）、欧米の小売業を舞台とし、単一のエージェントに事業を直接見渡させているのだ。

インドの現実の暮らしは違って見える。小売の多くはキラナと呼ばれる小さな雑貨店を通じて行われ、そこでは数人の店員が、客や仕入れ先と英語、ヒンディー語、そして両者が混ざったヒングリッシュで話す。そこでチームは、シミュレーション上のキラナであるKiranaBenchをつくった。

4つの仕事と1つの頭脳をもつ店

1つのAIモデルが4つの役割すべてを演じ、それぞれが独自のツールと時計をもつ。

店長は仕入れ先に発注し、価格を決め、いつ閉店するかを決める。ただし店を見ることはできず、その日のことは他の店員の報告からしか知ることができない。
レジ係は会計、値引き交渉、そして店の「カータ」（khata）、つまり客のつけ帳での掛け売りを扱う。
手伝いは配達品を受け取り、在庫を倉庫と棚の間で移動させる。
ムンシ（munshi）、つまり帳簿係は、毎晩の報告を書く。

どの行動も勤務日の時間を数分ずつ消費する。倉庫の棚卸しには25分かかるので、数えている手伝いは同時に品出しをすることができない。1日に約289人の常連客が棚から商品を取っていく。その買い物かごの中身は、インドの全国家計消費調査から抽出される。さらに約65人がカウンターに来て話をし、自分がどう扱われたかを覚えている。仕入れ先は自分の言語でメールに返信し、読めないメールは拒否する。家賃、電気代、賃金で1日4157ルピーかかる。お金が絡むものはすべてコードで計算されるので、どのモデルもスコアを偽って報告することはできない。

1か月の商い

チームは4つの開発元による4つのオープンモデル、Qwen3.8-27B、Gemma 4 31B、gpt-oss-20b、LFM2.5-8Bを、それぞれ30日間のシミュレーションで3か月分テストした。スコアは利益、つまり終了時の純資産から開始時の純資産を引いたものだ。2つのスクリプト化された店が目安を与える。

ルールに従う分別ある店主は約10万3000ルピーを稼いだ。
誰も管理しない店は約11万5000ルピーを失った。

モデルの結果は次のとおり。

Qwen3.8は平均約1万3700ルピーで、スクリプトの店主のおよそ8分の1だった。
Gemma 4は平均するとわずかな損失だったが、3か月の結果は+3万7226（全実行中の最高で、店主の約3分の1）から−4万762までばらついた。
LFM2.5は約12万7000、gpt-ossは約19万3000の損失を出し、どちらもすべての月で管理されない店より悪かった。

「店を下手に運営するのは、運営しないよりも高くつく」と著者らは指摘する。発注し続けるモデルは、売れない商品の代金を払い続けることになるのだ。

間違った言語

英語を話す仕入れ先に英語で書くことは、ほぼ解決されていた。3つのモデルは一度も失敗しなかった。ヒンディー語とヒングリッシュは話が別だった。Gemma 4は**ヒンディー語メールの42%**とヒングリッシュメールの38%を読めないとして送り返され、Qwen3.8はヒングリッシュメールの19%を失った。gpt-ossは送ったもの全体の46%を失い、英語でも失敗した。開発元がインドの言語を一つも挙げていないLFM2.5は、ヒンディー語とヒングリッシュのメールをすべて失敗した。一方カウンターでは、客は3つの言語のどれでもほぼ同じようにうまく応対された。

言うこととやることが違う店員

店長は報告を通じてしか店を見ないので、チームはその報告を実際のレジと照合した。QwenとGemmaは毎日、売上を正確に報告した。gpt-ossは6%の日で、LFM2.5は27%の日で間違っており、その差は最大で約1万6000ルピーに達した。360日のシミュレーション日すべてが監査され、どの損失も名前のついた行動にたどり着く。

gpt-ossは、存在しない仕入れ先に何千通ものメッセージを宛てて送った。不達通知のたびに実在する仕入れ先が示されていたにもかかわらず。
その手伝いは、実際には行われなかった1万ルピーの支払いを報告した。どの役割にも支払いを行うツールさえなかったのに。そしてその夜、同じモデルの帳簿係がそれと矛盾する報告をした。
同じまとめ買いの注文が2つの仕入れ先に送られ、両方に支払いがなされた。
Gemmaの手伝いは「配達品をすべて受け取る」と書いたが、そのツール呼び出しはどの品も0個しか受け取らず、牛乳の配達車は去っていった。
LFM2.5は1日目に店のメッセージシステムが壊れていると判断し、その後ほとんどの日、唯一の行動は開店時刻に帰宅することだった。

著者らが指摘するように、この最後のモデルは、開発元の報告では4つの中で最も高いツール使用スコアをもっている。それは1回のセッションでのテストであり、レジでの1か月を予測するものではなかった。

ライバルではなく物差し

スクリプトの店主は在庫を直接読み取り、各仕入れ先にその言語で書く。モデルはこの2つを、店員と翻訳を通じてこなさなければならない。この差は、よく運営された店からの距離を測るものであって、一騎打ちではない、と著者らは強調する。それでも彼らの結論は率直だ。現在の言語モデルのエージェントは「インドで小さな事業を自律的に運営するにはまだ信頼できない」。そして彼らが見つけたどの失敗にも、名前と日付と時刻がついていた。