UNE IA PEUT-ELLE TENIR L'ÉPICERIE DU COIN ?

Les « agents » d’IA — des modèles de langage qui agissent au moyen d’outils sur de nombreuses étapes — sont de plus en plus testés sur des tâches longues, dont la gestion d’un commerce. Mais selon une équipe du BITS Pilani, en Inde, et de l’université du Minnesota, les tests existants partagent des angles morts : ils sont en anglais (un seul en chinois), situés dans le commerce occidental, et donnent à un agent unique une vue directe sur l’entreprise.

En Inde, la réalité est autre. Une grande partie du commerce de détail passe par de petites épiceries générales, les kirana, tenues par plusieurs personnes qui parlent aux clients et aux fournisseurs en anglais, en hindi et en hinglish, un mélange des deux. L’équipe a donc construit KiranaBench, une kirana simulée.

Une boutique, quatre postes, un seul cerveau

Un même modèle d’IA tient les quatre rôles, chacun avec ses outils et son horloge :

• le gérant commande aux fournisseurs, fixe les prix et décide de fermer — mais ne voit pas la boutique et n’apprend la journée que par les rapports des autres ;
• le caissier gère les additions, le marchandage et le crédit inscrit au « khata », l’ardoise des clients ;
• le commis réceptionne les livraisons et déplace le stock entre la réserve et les rayons ;
• le munshi, le comptable, rédige le rapport du soir.

Chaque action coûte des minutes de la journée de travail : compter la réserve en prend 25, donc un commis qui compte ne peut pas réassortir en même temps. Environ 289 clients habituels par jour se servent en rayon, leurs paniers tirés de l’enquête nationale indienne sur la consommation des ménages. Environ 65 autres viennent au comptoir, parlent, et se souviennent de la façon dont ils ont été traités. Les fournisseurs répondent aux e-mails dans leur propre langue — et refusent ceux qu’ils ne savent pas lire. Loyer, électricité et salaires coûtent 4 157 roupies par jour. Tout ce qui touche à l’argent est calculé par le code : aucun modèle ne peut fausser le score.

Un mois de commerce

L’équipe a testé quatre modèles ouverts de quatre développeurs — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b et LFM2.5-8B — chacun sur trois mois simulés de 30 jours. Le score, c’est le bénéfice : la valeur nette à la fin moins la valeur nette au départ. Deux boutiques scriptées donnent l’échelle :

• un commerçant raisonnable qui suit des règles a gagné environ 103 000 roupies ;
• une boutique que personne ne gère a perdu environ 115 000 roupies.

Les modèles :

• Qwen3.8 a gagné en moyenne environ 13 700 roupies — à peu près un huitième du commerçant scripté ;
• Gemma 4 a perdu un peu en moyenne, mais ses trois mois vont de +37 226 (le meilleur run de tous, environ un tiers du commerçant) à −40 762 ;
• LFM2.5 a perdu environ 127 000 roupies et gpt-oss environ 193 000 — tous deux pire que la boutique sans gérant, chaque mois.

« Mal tenir la boutique coûte plus cher que de ne pas la tenir », notent les auteurs : un modèle qui continue de commander continue de payer des marchandises qu’il ne vend pas.

La mauvaise langue

Écrire en anglais à des fournisseurs anglophones était presque acquis : trois modèles n’ont jamais échoué. L’hindi et le hinglish, c’est autre chose. Gemma 4 a vu 42 % de ses e-mails en hindi et 38 % de ceux en hinglish renvoyés comme illisibles ; Qwen3.8 a perdu 19 % de ses e-mails en hinglish. Sur l’ensemble de ses envois, gpt-oss en a perdu 46 %, échouant aussi en anglais. LFM2.5, dont les développeurs ne citent aucune langue indienne, a échoué sur tous ses e-mails en hindi et en hinglish. Au comptoir, en revanche, les clients ont été servis à peu près aussi bien dans les trois langues.

Des employés qui disent une chose et en font une autre

Comme le gérant ne voit la boutique qu’à travers les rapports, l’équipe les a comparés à la vraie caisse. Qwen et Gemma ont déclaré leurs ventes exactes tous les jours sans exception. gpt-oss s’est trompé 6 % des jours, LFM2.5 27 %, jusqu’à environ 16 000 roupies d’écart. Chacune des 360 journées simulées a été auditée, et chaque perte remonte à une action identifiée :

• gpt-oss a adressé des milliers de messages à des fournisseurs qui n’existent pas, alors que chaque retour listait les vrais ;
• son commis a signalé un paiement de 10 000 roupies qui n’a jamais eu lieu — aucun rôle n’avait même l’outil pour le faire — et son propre comptable l’a contredit le soir même ;
• la même grosse commande a été passée à deux fournisseurs, et les deux ont été payés ;
• le commis de Gemma a écrit qu’il « prenait toute la livraison » alors que son appel d’outil en gardait zéro de chaque article, et la camionnette de lait est repartie ;
• LFM2.5 a décidé dès le premier jour que la messagerie de la boutique était en panne, et la plupart des jours suivants, sa seule action a été de rentrer chez lui à l’heure d’ouverture.

Ce dernier modèle, soulignent les auteurs, affiche le meilleur score d’usage d’outils des quatre selon son développeur — un test sur une seule session qui n’a rien prédit d’un mois derrière le comptoir.

Un étalon, pas un rival

Le commerçant scripté lit le stock directement et écrit à chaque fournisseur dans sa langue, deux choses que les modèles doivent gérer à travers leurs employés et la traduction. L’écart, insistent les auteurs, mesure la distance à une boutique bien tenue, pas un duel. Leur conclusion reste nette : les agents à base de modèles de langage ne sont « pas encore fiables pour faire tourner seuls de petits commerces en Inde » — et chaque échec relevé a un nom, un jour et une heure.