BISAKAH AI MENGELOLA TOKO KELONTONG? — The Knowledge Frontier

“Agen” AI — model bahasa yang bertindak melalui alat-alat dalam banyak langkah — makin sering diuji pada tugas-tugas panjang, termasuk menjalankan usaha. Namun menurut sebuah tim di BITS Pilani, India, dan University of Minnesota, uji-uji yang ada punya titik buta yang sama: semuanya berbahasa Inggris (satu berbahasa Tionghoa), berlatar ritel Barat, dan memberi satu agen tunggal pandangan langsung atas usaha tersebut.

Kehidupan nyata di India berbeda. Sebagian besar ritelnya berjalan lewat toko kelontong kecil, toko kirana, yang dijaga beberapa orang yang berbicara dengan pelanggan dan pemasok dalam bahasa Inggris, Hindi, dan Hinglish, campuran keduanya. Maka tim itu membangun KiranaBench, sebuah kirana simulasi.

Toko dengan empat pekerjaan dan satu otak

Satu model AI memerankan keempat peran, masing-masing dengan alat dan jamnya sendiri:

manajer memesan dari pemasok, menetapkan harga, dan memutuskan kapan tutup — tetapi tidak bisa melihat toko dan hanya mengetahui jalannya hari dari laporan yang lain;
kasir menangani tagihan, tawar-menawar, dan utang di “khata” toko, catatan bon pelanggan;
pembantu menerima kiriman dan memindahkan barang antara gudang dan rak;
munshi, si pemegang buku, menulis laporan malam.

Setiap tindakan memakan menit dari hari kerja: menghitung gudang butuh 25 menit, sehingga pembantu yang sedang menghitung tidak bisa sekaligus mengisi rak. Sekitar 289 pelanggan rutin per hari mengambil barang dari rak, dengan keranjang belanja yang diambil dari survei konsumsi rumah tangga nasional India. Sekitar 65 lainnya datang ke meja kasir dan berbicara, dan mengingat bagaimana mereka diperlakukan. Pemasok membalas e-mail dalam bahasa mereka sendiri — dan menolak e-mail yang tidak bisa mereka baca. Sewa, listrik, dan upah menghabiskan 4.157 rupee per hari. Semua yang melibatkan uang dihitung oleh kode, sehingga tidak ada model yang bisa melaporkan skor secara keliru.

Sebulan berdagang

Tim menguji empat model terbuka dari empat pengembang — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b, dan LFM2.5-8B — masing-masing selama tiga bulan simulasi berisi 30 hari. Skornya adalah laba: kekayaan bersih di akhir dikurangi kekayaan bersih di awal. Dua toko berskrip menjadi patokan:

seorang pemilik toko yang masuk akal dan mengikuti aturan meraih sekitar 103.000 rupee;
toko yang tidak dikelola siapa pun merugi sekitar 115.000 rupee.

Model-modelnya:

Qwen3.8 rata-rata meraih sekitar 13.700 rupee — kira-kira seperdelapan dari pemilik toko berskrip;
Gemma 4 rata-rata merugi sedikit, tetapi tiga bulannya berkisar dari +37.226 (putaran terbaik dari semuanya, sekitar sepertiga dari pemilik toko) hingga −40.762;
LFM2.5 merugi sekitar 127.000 dan gpt-oss sekitar 193.000 — keduanya lebih buruk daripada toko tanpa pengelola di setiap bulan.

“Mengelola toko dengan buruk lebih mahal daripada tidak mengelolanya,” catat para penulis: model yang terus memesan terus membayar barang yang tidak bisa dijualnya.

Bahasa yang keliru

Menulis dalam bahasa Inggris kepada pemasok berbahasa Inggris hampir sudah teratasi: tiga model tidak pernah gagal. Hindi dan Hinglish lain ceritanya. Gemma 4 mendapati 42% e-mail berbahasa Hindinya dan 38% e-mail berbahasa Hinglishnya dikembalikan karena tak terbaca; Qwen3.8 kehilangan 19% e-mail Hinglishnya. Dari semua yang dikirimnya, gpt-oss kehilangan 46%, gagal juga dalam bahasa Inggris. LFM2.5, yang pengembangnya tidak mencantumkan satu pun bahasa India, gagal pada setiap e-mail berbahasa Hindi dan Hinglish. Sebaliknya, di meja kasir pelanggan dilayani kira-kira sama baiknya dalam ketiga bahasa.

Pegawai yang berkata satu hal dan berbuat lain

Karena manajer hanya melihat toko lewat laporan, tim mencocokkan laporan-laporan itu dengan laci kas yang sebenarnya. Qwen dan Gemma melaporkan penjualan dengan tepat setiap hari. gpt-oss keliru pada 6% hari, LFM2.5 pada 27%, dengan selisih hingga sekitar 16.000 rupee. Setiap dari 360 hari simulasi diaudit, dan setiap kerugian dapat ditelusuri ke tindakan yang jelas:

gpt-oss mengalamatkan ribuan pesan ke pemasok yang tidak ada, padahal setiap pesan pentalan mencantumkan pemasok yang asli;
pembantunya melaporkan pembayaran 10.000 rupee yang tidak pernah terjadi — tidak ada satu peran pun yang bahkan punya alat untuk melakukannya — dan pemegang bukunya sendiri membantahnya malam itu juga;
pesanan grosir yang sama dikirim ke dua pemasok, dan keduanya dibayar;
pembantu Gemma menulis bahwa ia “menerima semua barang kiriman” sementara pemanggilan alatnya menyimpan nol dari setiap barang, dan mobil susu pun pergi;
LFM2.5 memutuskan pada hari ke-1 bahwa sistem pesan toko rusak, dan pada sebagian besar hari berikutnya satu-satunya tindakannya adalah pulang saat jam buka.

Model terakhir itu, tunjuk para penulis, memiliki skor penggunaan alat tertinggi di antara keempatnya menurut pengembangnya — uji satu sesi yang tidak meramalkan sebulan di balik meja kasir.

Tolok ukur, bukan pesaing

Pemilik toko berskrip membaca stok secara langsung dan menulis kepada setiap pemasok dalam bahasanya sendiri, dua hal yang harus dikelola model lewat pegawai dan terjemahan. Selisihnya, tegas para penulis, mengukur jarak dari toko yang dikelola dengan baik, bukan adu langsung. Kesimpulan mereka tetap lugas: agen model bahasa saat ini “belum andal untuk mengoperasikan usaha kecil di India secara mandiri” — dan setiap kegagalan yang mereka temukan datang dengan nama, hari, dan jam.