СМОЖЕТ ЛИ ИИ ВЕСТИ МАГАЗИН У ДОМА?

ИИ-«агентов» — языковые модели, которые действуют с помощью инструментов на протяжении многих шагов, — всё чаще проверяют на длинных задачах, в том числе на управлении бизнесом. Но, по словам команды из BITS Pilani в Индии и Миннесотского университета, у существующих тестов общие слепые пятна: они на английском (один — на китайском), действие происходит в западной рознице, а единственный агент видит бизнес напрямую.

Реальная жизнь в Индии выглядит иначе. Значительная часть её розничной торговли идёт через маленькие лавки — кирана, где работают несколько человек, разговаривающих с покупателями и поставщиками на английском, хинди и хинглише — смеси двух языков. Поэтому команда построила KiranaBench — симулированную кирану.

Лавка с четырьмя должностями и одним мозгом

Одна модель ИИ играет все четыре роли, у каждой свои инструменты и свои часы:

управляющий заказывает товар у поставщиков, назначает цены и решает, когда закрываться, — но не видит лавку и узнаёт о прошедшем дне только из отчётов остальных;
кассир занимается счетами, торгом и продажей в долг по «кхате» лавки — текущему счёту покупателей;
помощник принимает поставки и перемещает товар между кладовой и полками;
мунши, счетовод, пишет вечерний отчёт.

Каждое действие отнимает минуты рабочего дня: пересчёт кладовой занимает 25, так что помощник, который считает, не может в это же время пополнять полки. Около 289 постоянных покупателей в день берут товары с полок; их корзины взяты из национального обследования потребления домохозяйств Индии. Ещё около 65 подходят к прилавку, разговаривают и запоминают, как с ними обошлись. Поставщики отвечают на письма на своём языке — и отклоняют те, которые не могут прочитать. Аренда, электричество и зарплаты обходятся в 4157 рупий в день. Всё, что связано с деньгами, вычисляется кодом, так что ни одна модель не может исказить результат.

Месяц торговли

Команда проверила четыре открытые модели от четырёх разработчиков — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b и LFM2.5-8B, — каждую в течение трёх симулированных месяцев по 30 дней. Оценка — прибыль: чистая стоимость активов в конце минус чистая стоимость в начале. Масштаб задают две лавки, работающие по сценарию:

разумный лавочник, следующий правилам, заработал около 103 000 рупий;
лавка, которой никто не управляет, потеряла около 115 000 рупий.

Модели:

Qwen3.8 в среднем заработала около 13 700 рупий — примерно восьмую часть того, что заработал сценарный лавочник;
Gemma 4 в среднем получила небольшой убыток, но её три месяца разбросаны от +37 226 (лучший прогон из всех, около трети результата лавочника) до −40 762;
LFM2.5 потеряла около 127 000, а gpt-oss — около 193 000: обе хуже, чем лавка без управления, в каждом месяце.

«Плохо управлять лавкой обходится дороже, чем не управлять ею вовсе», — замечают авторы: модель, которая продолжает заказывать, продолжает платить за товар, который не может продать.

Не тот язык

Писать по-английски англоязычным поставщикам почти научились: три модели ни разу не ошиблись. С хинди и хинглишем дело обстояло иначе. У Gemma 4 42% писем на хинди и 38% писем на хинглише вернулись как нечитаемые; Qwen3.8 потеряла 19% своих писем на хинглише. Из всего отправленного gpt-oss потеряла 46%, ошибаясь и на английском. LFM2.5, для которой разработчики не указывают ни одного индийского языка, провалила все письма на хинди и хинглише. А вот за прилавком покупателей обслуживали примерно одинаково хорошо на всех трёх языках.

Работники, которые говорят одно, а делают другое

Поскольку управляющий видит лавку только через отчёты, команда сверила их с настоящей кассой. Qwen и Gemma точно сообщали продажи каждый божий день. gpt-oss ошибалась в 6% дней, LFM2.5 — в 27%, на сумму до примерно 16 000 рупий. Каждый из 360 симулированных дней был проверен, и каждый убыток сводится к конкретному действию:

gpt-oss адресовала тысячи сообщений поставщикам, которых не существует, хотя в каждом возврате был список настоящих;
её помощник сообщил о платеже в 10 000 рупий, которого никогда не было, — ни у одной роли даже не было инструмента, чтобы его совершить, — а её же счетовод в тот же вечер это опроверг;
один и тот же оптовый заказ ушёл двум поставщикам, и оба получили оплату;
помощник Gemma написал, что «принимает все позиции поставки», тогда как его вызов инструмента оставил ноль единиц каждой, и молоковоз уехал;
LFM2.5 в первый же день решила, что система сообщений лавки сломана, и в большинство последующих дней её единственным действием было уйти домой в час открытия.

У этой последней модели, отмечают авторы, по данным её разработчика самый высокий балл за использование инструментов из всех четырёх — тест в рамках одной сессии, который не предсказал месяц за кассой.

Мерило, а не соперник

Сценарный лавочник считывает запасы напрямую и пишет каждому поставщику на его языке — две вещи, которые моделям приходится делать через персонал и перевод. Разрыв, подчёркивают авторы, измеряет расстояние до хорошо управляемой лавки, а не исход очного состязания. И всё же вывод у них жёсткий: нынешние агенты на основе языковых моделей «пока недостаточно надёжны, чтобы самостоятельно управлять малым бизнесом в Индии», — и у каждого найденного провала были имя, день и час.