¿PUEDE UNA IA LLEVAR LA TIENDA DE LA ESQUINA?

Los «agentes» de IA —modelos de lenguaje que actúan mediante herramientas a lo largo de muchos pasos— se ponen a prueba cada vez más en tareas largas, entre ellas dirigir un negocio. Pero, según un equipo del BITS Pilani, en la India, y de la Universidad de Minnesota, las pruebas existentes comparten puntos ciegos: están en inglés (una está en chino), se sitúan en el comercio occidental y dan a un único agente una visión directa del negocio.

La vida real en la India es distinta. Buena parte de su comercio minorista pasa por pequeñas tiendas de ultramarinos, las kiranas, atendidas por varias personas que hablan con clientes y proveedores en inglés, hindi y hinglish, una mezcla de ambos. Así que el equipo construyó KiranaBench, una kirana simulada.

Una tienda con cuatro puestos y un solo cerebro

Un único modelo de IA desempeña los cuatro papeles, cada uno con sus propias herramientas y su propio reloj:

• el gerente hace pedidos a los proveedores, fija los precios y decide cuándo cerrar, pero no puede ver la tienda y solo se entera de cómo ha ido el día por los informes de los demás;
• el cajero se ocupa de las cuentas, el regateo y el crédito en el «khata» de la tienda, la cuenta corriente de los clientes;
• el ayudante recibe las entregas y traslada la mercancía entre el almacén y las estanterías;
• el munshi, el contable, redacta el informe de cada noche.

Cada acción cuesta minutos de la jornada laboral: contar el almacén lleva 25, así que un ayudante que cuenta no puede reponer al mismo tiempo. Unos 289 clientes habituales al día toman productos de las estanterías; sus cestas se extraen de la encuesta nacional de consumo de los hogares de la India. Unos 65 más se acercan al mostrador, hablan y recuerdan cómo se les trató. Los proveedores responden a los correos en su propio idioma, y rechazan los que no pueden leer. El alquiler, la electricidad y los sueldos cuestan 4157 rupias al día. Todo lo que tiene que ver con dinero lo calcula el código, de modo que ningún modelo puede falsear la puntuación.

Un mes de comercio

El equipo probó cuatro modelos abiertos de cuatro desarrolladores —Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b y LFM2.5-8B—, cada uno durante tres meses simulados de 30 días. La puntuación es el beneficio: el patrimonio neto al final menos el patrimonio neto al principio. Dos tiendas programadas marcan la escala:

• un tendero sensato que sigue reglas ganó unas 103 000 rupias;
• una tienda que nadie gestiona perdió unas 115 000 rupias.

Los modelos:

• Qwen3.8 promedió unas 13 700 rupias, aproximadamente una octava parte del tendero programado;
• Gemma 4 promedió una pequeña pérdida, pero sus tres meses fueron de +37 226 (la mejor ejecución de todas, alrededor de un tercio del tendero) a −40 762;
• LFM2.5 perdió unas 127 000 y gpt-oss unas 193 000: ambos peor que la tienda sin gestión todos los meses.

«Llevar mal la tienda cuesta más que no llevarla», señalan los autores: un modelo que no deja de hacer pedidos no deja de pagar por mercancía que no puede vender.

El idioma equivocado

Escribir en inglés a proveedores anglófonos estaba casi resuelto: tres modelos no fallaron nunca. El hindi y el hinglish eran otra cosa. A Gemma 4 le devolvieron como ilegibles el 42 % de sus correos en hindi y el 38 % de los escritos en hinglish; Qwen3.8 perdió el 19 % de sus correos en hinglish. Sobre el total de lo que envió, gpt-oss perdió el 46 %, y fallaba también en inglés. LFM2.5, cuyos desarrolladores no incluyen ninguna lengua india, falló todos los correos en hindi y en hinglish. En el mostrador, en cambio, los clientes recibieron una atención más o menos igual de buena en los tres idiomas.

Empleados que dicen una cosa y hacen otra

Como el gerente solo ve la tienda a través de los informes, el equipo los contrastó con la caja real. Qwen y Gemma informaron de las ventas con exactitud todos y cada uno de los días. gpt-oss se equivocó el 6 % de los días, y LFM2.5 el 27 %, por hasta unas 16 000 rupias. Se auditaron los 360 días simulados, y cada pérdida se remonta a una acción concreta:

• gpt-oss dirigió miles de mensajes a proveedores que no existen, aunque cada rebote enumeraba los reales;
• su ayudante informó de un pago de 10 000 rupias que nunca se hizo —ningún papel tenía siquiera una herramienta para hacerlo—, y su propio contable lo contradijo esa noche;
• el mismo pedido al por mayor fue a dos proveedores, y se pagó a ambos;
• el ayudante de Gemma escribió que estaba «recogiendo todos los artículos de la entrega» mientras su llamada a la herramienta se quedaba con cero de cada uno, y la furgoneta de la leche se marchó;
• LFM2.5 decidió el día 1 que el sistema de mensajes de la tienda estaba roto, y la mayoría de los días siguientes su única acción fue irse a casa a la hora de abrir.

Este último modelo, señalan los autores, tiene la puntuación de uso de herramientas más alta de los cuatro según su desarrollador: una prueba de una sola sesión que no predijo un mes detrás del mostrador.

La vara de medir, no un rival

El tendero programado lee el inventario directamente y escribe a cada proveedor en su propio idioma, dos cosas que los modelos deben gestionar a través del personal y de la traducción. La diferencia, insisten los autores, mide la distancia respecto a una tienda bien llevada, no un enfrentamiento directo. Aun así, su conclusión es tajante: los agentes actuales basados en modelos de lenguaje «aún no son fiables para gestionar de forma autónoma pequeños negocios en la India», y cada fallo que encontraron venía con un nombre, un día y una hora.