AI CÓ THỂ ĐIỀU HÀNH CỬA HÀNG TẠP HÓA ĐẦU NGÕ KHÔNG?

Các “tác tử” AI (agent) — những mô hình ngôn ngữ hành động thông qua công cụ qua nhiều bước — ngày càng được thử nghiệm trên các nhiệm vụ dài, kể cả điều hành một doanh nghiệp. Nhưng theo một nhóm ở BITS Pilani tại Ấn Độ và Đại học Minnesota, các bài kiểm tra hiện có cùng chung những điểm mù: chúng dùng tiếng Anh (một bài dùng tiếng Trung), lấy bối cảnh bán lẻ phương Tây, và cho một tác tử duy nhất nhìn thẳng vào doanh nghiệp.

Đời thực ở Ấn Độ thì khác. Phần lớn ngành bán lẻ ở đây vận hành qua những cửa hàng tạp hóa nhỏ, cửa hàng kirana, với vài người làm, nói chuyện với khách hàng và nhà cung cấp bằng tiếng Anh, tiếng Hindi và Hinglish, một thứ tiếng trộn lẫn hai ngôn ngữ. Vì thế nhóm đã xây dựng KiranaBench, một cửa hàng kirana mô phỏng.

Một cửa hàng với bốn công việc và một bộ não

Một mô hình AI đóng cả bốn vai, mỗi vai có công cụ và đồng hồ riêng:

người quản lý đặt hàng từ nhà cung cấp, định giá và quyết định khi nào đóng cửa — nhưng không thể nhìn thấy cửa hàng và chỉ biết về ngày hôm đó qua báo cáo của những người khác;
thu ngân lo hóa đơn, mặc cả và bán chịu trên “khata” của cửa hàng, sổ ghi nợ thường xuyên của khách;
người phụ việc nhận hàng giao và chuyển hàng giữa kho và kệ;
munshi, người kế toán, viết báo cáo mỗi tối.

Mỗi hành động tốn vài phút của ngày làm việc: kiểm kho mất 25 phút, nên người phụ việc đang kiểm kho không thể bày hàng lên kệ cùng lúc. Khoảng 289 khách quen mỗi ngày tự lấy hàng trên kệ, giỏ hàng của họ được rút từ khảo sát tiêu dùng hộ gia đình quốc gia của Ấn Độ. Khoảng 65 người khác đến quầy và trò chuyện, và nhớ mình đã được đối xử ra sao. Nhà cung cấp trả lời thư bằng ngôn ngữ của họ — và từ chối những thư họ không đọc được. Tiền thuê, tiền điện và lương tốn 4.157 rupee mỗi ngày. Mọi thứ liên quan đến tiền đều do mã máy tính tính toán, nên không mô hình nào có thể báo cáo sai điểm số.

Một tháng buôn bán

Nhóm đã thử nghiệm bốn mô hình mở từ bốn nhà phát triển — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b và LFM2.5-8B — mỗi mô hình trong ba tháng mô phỏng, mỗi tháng 30 ngày. Điểm số là lợi nhuận: giá trị tài sản ròng cuối kỳ trừ giá trị tài sản ròng đầu kỳ. Hai cửa hàng chạy theo kịch bản làm thước đo:

một người chủ tiệm hợp lý làm theo quy tắc kiếm được khoảng 103.000 rupee;
một cửa hàng không ai quản lý lỗ khoảng 115.000 rupee.

Các mô hình:

Qwen3.8 trung bình được khoảng 13.700 rupee — khoảng một phần tám so với người chủ tiệm theo kịch bản;
Gemma 4 trung bình lỗ nhẹ, nhưng ba tháng của nó dao động từ +37.226 (lần chạy tốt nhất trong tất cả, khoảng một phần ba so với người chủ tiệm) đến −40.762;
LFM2.5 lỗ khoảng 127.000 và gpt-oss khoảng 193.000 — cả hai đều tệ hơn cửa hàng không ai quản lý trong mọi tháng.

“Điều hành cửa hàng tồi tốn kém hơn không điều hành gì cả,” các tác giả nhận xét: một mô hình cứ đặt hàng mãi thì cứ phải trả tiền cho hàng hóa nó không bán được.

Sai ngôn ngữ

Viết tiếng Anh cho nhà cung cấp nói tiếng Anh gần như đã được giải quyết: ba mô hình không bao giờ thất bại. Tiếng Hindi và Hinglish lại là chuyện khác. Gemma 4 có 42% thư tiếng Hindi và 38% thư tiếng Hinglish bị trả lại vì không đọc được; Qwen3.8 mất 19% thư tiếng Hinglish. Tính trên mọi thứ đã gửi, gpt-oss mất 46%, thất bại cả với tiếng Anh. LFM2.5, mà nhà phát triển không liệt kê ngôn ngữ Ấn Độ nào, thất bại với mọi thư tiếng Hindi và Hinglish. Ngược lại, ở quầy, khách hàng được phục vụ tốt gần như nhau ở cả ba ngôn ngữ.

Nhân viên nói một đằng làm một nẻo

Vì người quản lý chỉ thấy cửa hàng qua báo cáo, nhóm đã đối chiếu chúng với két tiền thực. Qwen và Gemma báo cáo doanh số chính xác mọi ngày. gpt-oss sai ở 6% số ngày, LFM2.5 ở 27%, chênh đến khoảng 16.000 rupee. Cả 360 ngày mô phỏng đều được kiểm toán, và mỗi khoản lỗ đều truy được về một hành động cụ thể:

gpt-oss gửi hàng nghìn tin nhắn tới những nhà cung cấp không tồn tại, dù mỗi thư bị trả lại đều liệt kê những nhà cung cấp thật;
người phụ việc của nó báo cáo một khoản thanh toán 10.000 rupee chưa từng xảy ra — thậm chí không vai nào có công cụ để thực hiện việc đó — và chính người kế toán của nó đã phản bác vào tối hôm ấy;
cùng một đơn hàng lớn được gửi đến hai nhà cung cấp, và cả hai đều được trả tiền;
người phụ việc của Gemma viết rằng nó đang “nhận toàn bộ hàng giao”, trong khi lệnh gọi công cụ của nó giữ lại không món nào, và xe sữa đã bỏ đi;
LFM2.5 kết luận ngay ngày đầu tiên rằng hệ thống tin nhắn của cửa hàng bị hỏng, và trong hầu hết những ngày sau, hành động duy nhất của nó là về nhà ngay giờ mở cửa.

Mô hình cuối cùng này, các tác giả chỉ ra, có điểm sử dụng công cụ cao nhất trong bốn mô hình theo báo cáo của nhà phát triển — một bài kiểm tra chỉ trong một phiên, vốn không dự đoán được một tháng đứng quầy.

Thước đo, không phải đối thủ

Người chủ tiệm theo kịch bản đọc tồn kho trực tiếp và viết cho từng nhà cung cấp bằng ngôn ngữ của họ, hai việc mà các mô hình phải xoay xở thông qua nhân viên và dịch thuật. Các tác giả nhấn mạnh rằng khoảng cách này đo khoảng cách so với một cửa hàng được điều hành tốt, chứ không phải một cuộc đối đầu trực tiếp. Dù vậy, kết luận của họ vẫn thẳng thắn: các tác tử mô hình ngôn ngữ hiện nay “chưa đủ tin cậy để tự vận hành các doanh nghiệp nhỏ ở Ấn Độ” — và mọi thất bại họ tìm thấy đều đi kèm một cái tên, một ngày và một giờ.