BİR YAPAY ZEKÂ MAHALLE BAKKALINI İŞLETEBİLİR Mİ?

Yapay zekâ “ajanları” — araçlar aracılığıyla birçok adım boyunca eylemde bulunan dil modelleri — giderek daha sık uzun görevlerde, bir işletmeyi yönetmek de dahil, test ediliyor. Ama Hindistan’daki BITS Pilani’den ve Minnesota Üniversitesi’nden bir ekibe göre mevcut testlerin ortak kör noktaları var: İngilizceler (biri Çince), Batı perakendeciliğinde geçiyorlar ve tek bir ajana işletmeyi doğrudan görme imkânı veriyorlar.

Hindistan’da gerçek hayat farklı görünüyor. Perakendenin büyük kısmı, birkaç kişinin çalıştığı küçük bakkallardan, kirana dükkânlarından geçiyor; bu kişiler müşterilerle ve tedarikçilerle İngilizce, Hintçe ve ikisinin karışımı olan Hinglish ile konuşuyor. Bu yüzden ekip, simüle edilmiş bir kirana olan KiranaBench’i kurdu.

Dört işi ve tek beyni olan bir dükkân

Tek bir yapay zekâ modeli, her birinin kendi araçları ve saati olan dört rolün hepsini oynuyor:

müdür tedarikçilerden sipariş veriyor, fiyatları belirliyor ve ne zaman kapatılacağına karar veriyor — ama dükkânı göremiyor ve günü yalnızca diğerlerinin raporlarından öğreniyor;
kasiyer fişlerle, pazarlıkla ve dükkânın “khata”sındaki, yani müşterilerin veresiye defterindeki krediyle ilgileniyor;
yardımcı teslimatları teslim alıyor ve stoku depo ile raflar arasında taşıyor;
munshi, yani muhasebeci, gece raporunu yazıyor.

Her eylem iş gününden dakikalar yiyor: depoyu saymak 25 dakika sürüyor, dolayısıyla sayım yapan bir yardımcı aynı anda raflara mal dizemiyor. Günde yaklaşık 289 rutin müşteri raflardan ürün alıyor; sepetleri Hindistan’ın ulusal hane tüketim anketinden çekiliyor. Yaklaşık 65 müşteri daha tezgâha gelip konuşuyor ve nasıl davranıldığını hatırlıyor. Tedarikçiler e-postaları kendi dillerinde yanıtlıyor — ve okuyamadıklarını reddediyor. Kira, elektrik ve maaşlar günde 4.157 rupiye mal oluyor. Parayla ilgili her şey kodla hesaplanıyor, böylece hiçbir model skoru yanlış bildiremiyor.

Bir aylık ticaret

Ekip, dört geliştiriciden dört açık modeli — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b ve LFM2.5-8B — her birini 30 günlük üç simüle edilmiş ay boyunca test etti. Skor kârdır: sondaki net değer eksi baştaki net değer. İki senaryolu dükkân ölçeği belirliyor:

kurallara uyan makul bir bakkal yaklaşık 103.000 rupi kazandı;
kimsenin yönetmediği bir dükkân yaklaşık 115.000 rupi kaybetti.

Modeller:

Qwen3.8 ortalama yaklaşık 13.700 rupi kazandı — senaryolu bakkalın kabaca sekizde biri;
Gemma 4 ortalamada küçük bir zarar etti, ama üç ayı +37.226 (tüm denemelerin en iyisi, bakkalın yaklaşık üçte biri) ile −40.762 arasında değişti;
LFM2.5 yaklaşık 127.000, gpt-oss ise yaklaşık 193.000 kaybetti — ikisi de her ay yönetilmeyen dükkândan daha kötü.

Yazarlar “Dükkânı kötü işletmek, hiç işletmemekten daha pahalıya patlıyor” diye not ediyor: sipariş vermeyi sürdüren bir model, satamadığı mallar için ödeme yapmayı da sürdürüyor.

Yanlış dil

İngilizce konuşan tedarikçilere İngilizce yazmak neredeyse çözülmüş durumdaydı: üç model hiç başarısız olmadı. Hintçe ve Hinglish ise başka bir konuydu. Gemma 4’ün Hintçe e-postalarının %42’si ve Hinglish e-postalarının %38’i okunamaz diye geri gönderildi; Qwen3.8, Hinglish e-postalarının %19’unu kaybetti. gpt-oss, gönderdiği her şeyin %46’sını kaybetti; İngilizcede de başarısız oldu. Geliştiricileri hiçbir Hint dilini listelemeyen LFM2.5, bütün Hintçe ve Hinglish e-postalarda başarısız oldu. Buna karşılık tezgâhta müşterilere üç dilde de aşağı yukarı eşit derecede iyi hizmet verildi.

Bir şey söyleyip başka bir şey yapan çalışanlar

Müdür dükkânı yalnızca raporlar aracılığıyla gördüğü için ekip bu raporları gerçek kasayla karşılaştırdı. Qwen ve Gemma satışları her gün tam olarak doğru bildirdi. gpt-oss günlerin %6’sında, LFM2.5 ise %27’sinde yanıldı; fark yaklaşık 16.000 rupiye kadar çıkıyordu. Simüle edilen 360 günün her biri denetlendi ve her kayıp adı konmuş bir eyleme dayanıyor:

gpt-oss binlerce mesajı var olmayan tedarikçilere gönderdi; oysa her geri dönen mesaj gerçek tedarikçileri listeliyordu;
yardımcısı hiç gerçekleşmemiş 10.000 rupilik bir ödeme bildirdi — hiçbir rolün böyle bir ödeme yapacak aracı bile yoktu — ve aynı gece kendi muhasebecisi bunu yalanladı;
aynı toplu sipariş iki tedarikçiye gitti ve ikisine de ödeme yapıldı;
Gemma’nın yardımcısı “tüm teslimat ürünlerini aldığını” yazarken araç çağrısı her birinden sıfır tane tuttu ve süt kamyoneti gitti;
LFM2.5 1. gün dükkânın mesaj sisteminin bozuk olduğuna karar verdi ve sonraki günlerin çoğunda tek eylemi açılış saatinde eve gitmek oldu.

Yazarların vurguladığına göre bu son model, geliştiricisinin bildirdiğine göre dördü arasında en yüksek araç kullanım skoruna sahip — kasada geçen bir ayı öngöremeyen, tek oturumluk bir test.

Rakip değil, ölçüt

Senaryolu bakkal stoku doğrudan okuyor ve her tedarikçiye kendi dilinde yazıyor; modellerin bu iki şeyi çalışanlar ve çeviri aracılığıyla yönetmesi gerekiyor. Yazarların vurguladığı gibi fark, iyi işletilen bir dükkâna olan uzaklığı ölçüyor, birebir bir yarışmayı değil. Yine de vardıkları sonuç açık sözlü: mevcut dil modeli ajanları “Hindistan’da küçük işletmeleri özerk biçimde işletmek için henüz güvenilir değil” — ve buldukları her başarısızlığın bir adı, bir günü ve bir saati vardı.