KANN EINE KI DEN LADEN AN DER ECKE FÜHREN?

KI-„Agenten“ – Sprachmodelle, die über viele Schritte hinweg mit Werkzeugen handeln – werden zunehmend an langen Aufgaben getestet, darunter das Führen eines Geschäfts. Doch laut einem Team des BITS Pilani in Indien und der University of Minnesota haben die bestehenden Tests gemeinsame blinde Flecken: Sie sind auf Englisch (einer auf Chinesisch), spielen im westlichen Einzelhandel und geben einem einzelnen Agenten direkten Einblick ins Geschäft.

Das wirkliche Leben in Indien sieht anders aus. Ein Großteil des Einzelhandels läuft über kleine Gemischtwarenläden, die Kirana-Läden, in denen mehrere Leute arbeiten, die mit Kunden und Lieferanten auf Englisch, Hindi und Hinglish sprechen, einer Mischung aus beidem. Also baute das Team KiranaBench, einen simulierten Kirana-Laden.

Ein Laden mit vier Aufgaben und einem Gehirn

Ein einziges KI-Modell spielt alle vier Rollen, jede mit eigenen Werkzeugen und eigener Uhr:

der Geschäftsführer bestellt bei Lieferanten, legt Preise fest und entscheidet, wann geschlossen wird – kann den Laden aber nicht sehen und erfährt vom Tag nur aus den Berichten der anderen;
der Kassierer kümmert sich um Rechnungen, Feilschen und Anschreiben im „Khata“ des Ladens, dem laufenden Kundenkonto;
der Gehilfe nimmt Lieferungen entgegen und räumt Ware zwischen Lager und Regalen hin und her;
der Munshi, der Buchhalter, schreibt den abendlichen Bericht.

Jede Handlung kostet Minuten des Arbeitstags: Das Lager zu zählen dauert 25, ein Gehilfe, der zählt, kann also nicht gleichzeitig Regale auffüllen. Rund 289 Stammkunden am Tag nehmen Waren aus den Regalen; ihre Einkaufskörbe stammen aus Indiens nationaler Erhebung zum Haushaltsverbrauch. Rund 65 weitere kommen an die Theke, reden und erinnern sich daran, wie sie behandelt wurden. Lieferanten beantworten E-Mails in ihrer eigenen Sprache – und weisen jene zurück, die sie nicht lesen können. Miete, Strom und Löhne kosten 4.157 Rupien am Tag. Alles, was mit Geld zu tun hat, wird per Code berechnet, sodass kein Modell das Ergebnis falsch melden kann.

Ein Monat Handel

Das Team testete vier offene Modelle von vier Entwicklern – Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b und LFM2.5-8B –, jedes über drei simulierte Monate zu je 30 Tagen. Gewertet wird der Gewinn: das Nettovermögen am Ende minus das Nettovermögen am Anfang. Zwei geskriptete Läden geben den Maßstab vor:

ein vernünftiger, regeltreuer Ladenbesitzer verdiente rund 103.000 Rupien;
ein Laden, den niemand führt, verlor rund 115.000 Rupien.

Die Modelle:

Qwen3.8 kam im Schnitt auf rund 13.700 Rupien – etwa ein Achtel des geskripteten Ladenbesitzers;
Gemma 4 machte im Schnitt einen kleinen Verlust, doch seine drei Monate reichten von +37.226 (der beste Lauf überhaupt, etwa ein Drittel des Ladenbesitzers) bis −40.762;
LFM2.5 verlor rund 127.000 und gpt-oss rund 193.000 – beide in jedem Monat schlechter als der unbeaufsichtigte Laden.

„Den Laden schlecht zu führen kostet mehr, als ihn gar nicht zu führen“, bemerken die Autoren: Ein Modell, das immer weiter bestellt, bezahlt immer weiter für Waren, die es nicht verkaufen kann.

Die falsche Sprache

Englisch an englischsprachige Lieferanten zu schreiben, war nahezu gelöst: Drei Modelle scheiterten nie. Hindi und Hinglish waren eine andere Sache. Bei Gemma 4 kamen 42 % der Hindi-E-Mails und 38 % der Hinglish-E-Mails als unlesbar zurück; Qwen3.8 verlor 19 % seiner Hinglish-E-Mails. Über alles, was es verschickte, verlor gpt-oss 46 % und scheiterte auch auf Englisch. LFM2.5, für das die Entwickler keine indische Sprache angeben, scheiterte an jeder Hindi- und Hinglish-E-Mail. An der Theke dagegen wurden die Kunden in allen drei Sprachen etwa gleich gut bedient.

Angestellte, die das eine sagen und das andere tun

Weil der Geschäftsführer den Laden nur über Berichte sieht, glich das Team diese mit der echten Kasse ab. Qwen und Gemma meldeten die Umsätze an jedem einzelnen Tag exakt. gpt-oss lag an 6 % der Tage falsch, LFM2.5 an 27 %, um bis zu rund 16.000 Rupien. Jeder der 360 simulierten Tage wurde geprüft, und jeder Verlust lässt sich auf eine benannte Handlung zurückführen:

gpt-oss adressierte Tausende Nachrichten an Lieferanten, die es nicht gibt, obwohl jede Rückmeldung die echten auflistete;
sein Gehilfe meldete eine Zahlung von 10.000 Rupien, die nie stattfand – keine Rolle hatte überhaupt ein Werkzeug, um eine zu leisten –, und sein eigener Buchhalter widersprach ihm noch am selben Abend;
dieselbe Großbestellung ging an zwei Lieferanten, und beide wurden bezahlt;
Gemmas Gehilfe schrieb, er „nehme alle Lieferartikel an“, während sein Werkzeugaufruf von jedem null behielt, und der Milchwagen fuhr wieder ab;
LFM2.5 kam an Tag 1 zu dem Schluss, das Nachrichtensystem des Ladens sei kaputt, und an den meisten folgenden Tagen bestand seine einzige Handlung darin, zur Öffnungszeit nach Hause zu gehen.

Gerade dieses letzte Modell, betonen die Autoren, hat laut seinem Entwickler den höchsten Werkzeugnutzungs-Wert der vier – ein Test über eine einzige Sitzung, der einen Monat an der Kasse nicht vorhersagte.

Der Maßstab, kein Rivale

Der geskriptete Ladenbesitzer liest den Bestand direkt ab und schreibt jedem Lieferanten in dessen eigener Sprache – zwei Dinge, die die Modelle über Angestellte und Übersetzung bewältigen müssen. Der Abstand, unterstreichen die Autoren, misst die Entfernung zu einem gut geführten Laden, keinen direkten Wettkampf. Ihr Fazit bleibt dennoch deutlich: Heutige Sprachmodell-Agenten seien „noch nicht zuverlässig genug, um kleine Geschäfte in Indien eigenständig zu führen“ – und jeder Fehler, den sie fanden, kam mit einem Namen, einem Tag und einer Uhrzeit.