UMA IA CONSEGUE TOCAR A VENDINHA DA ESQUINA?

“Agentes” de IA — modelos de linguagem que agem por meio de ferramentas ao longo de muitas etapas — são cada vez mais testados em tarefas longas, incluindo administrar um negócio. Mas, segundo uma equipe do BITS Pilani, na Índia, e da Universidade de Minnesota, os testes existentes têm pontos cegos em comum: são em inglês (um é em chinês), ambientados no varejo ocidental, e dão a um único agente uma visão direta do negócio.

A vida real na Índia é diferente. Boa parte do varejo do país passa por pequenos armazéns, as lojas kirana, com vários funcionários que falam com clientes e fornecedores em inglês, hindi e hinglish, uma mistura dos dois. Então a equipe construiu o KiranaBench, uma kirana simulada.

Uma loja com quatro funções e um só cérebro

Um único modelo de IA faz os quatro papéis, cada um com as suas próprias ferramentas e o seu próprio relógio:

o gerente faz pedidos aos fornecedores, define preços e decide quando fechar — mas não consegue ver a loja e só fica sabendo do dia pelos relatórios dos outros;
o caixa cuida das contas, da pechincha e do fiado no “khata” da loja, a caderneta dos clientes;
o ajudante recebe as entregas e leva a mercadoria entre o depósito e as prateleiras;
o munshi, o contador, escreve o relatório da noite.

Cada ação custa minutos do dia de trabalho: contar o depósito leva 25, de modo que um ajudante que está contando não pode repor as prateleiras ao mesmo tempo. Cerca de 289 clientes habituais por dia pegam produtos nas prateleiras, com cestas tiradas da pesquisa nacional de consumo das famílias da Índia. Outros cerca de 65 vêm ao balcão e conversam, e se lembram de como foram tratados. Os fornecedores respondem aos e-mails na sua própria língua — e recusam os que não conseguem ler. Aluguel, eletricidade e salários custam 4.157 rúpias por dia. Tudo o que envolve dinheiro é calculado por código, de modo que nenhum modelo pode informar o placar de forma errada.

Um mês de comércio

A equipe testou quatro modelos abertos de quatro desenvolvedores — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b e LFM2.5-8B —, cada um por três meses simulados de 30 dias. A pontuação é o lucro: o patrimônio líquido no fim menos o patrimônio líquido no início. Duas lojas roteirizadas dão a escala:

um lojista sensato, que segue regras, ganhou cerca de 103.000 rúpias;
uma loja que ninguém administra perdeu cerca de 115.000 rúpias.

Os modelos:

o Qwen3.8 teve média de cerca de 13.700 rúpias — mais ou menos um oitavo do lojista roteirizado;
o Gemma 4 teve em média um pequeno prejuízo, mas os seus três meses foram de +37.226 (a melhor rodada de todas, cerca de um terço do lojista) a −40.762;
o LFM2.5 perdeu cerca de 127.000 e o gpt-oss cerca de 193.000 — ambos piores do que a loja sem gestão em todos os meses.

“Administrar mal a loja custa mais do que não administrá-la”, observam os autores: um modelo que continua fazendo pedidos continua pagando por mercadorias que não consegue vender.

A língua errada

Escrever em inglês para fornecedores anglófonos estava quase resolvido: três modelos nunca falharam. Hindi e hinglish eram outra história. O Gemma 4 teve 42% dos seus e-mails em hindi e 38% dos em hinglish devolvidos como ilegíveis; o Qwen3.8 perdeu 19% dos seus e-mails em hinglish. Somando tudo o que enviou, o gpt-oss perdeu 46%, falhando também em inglês. O LFM2.5, para o qual os desenvolvedores não indicam nenhuma língua indiana, falhou em todos os e-mails em hindi e em hinglish. No balcão, ao contrário, os clientes foram atendidos mais ou menos igualmente bem nas três línguas.

Funcionários que dizem uma coisa e fazem outra

Como o gerente só vê a loja pelos relatórios, a equipe os comparou com o caixa real. Qwen e Gemma informaram as vendas exatamente, todos os dias. O gpt-oss errou em 6% dos dias, o LFM2.5 em 27%, por até cerca de 16.000 rúpias. Cada um dos 360 dias simulados foi auditado, e cada prejuízo remonta a uma ação identificada:

o gpt-oss endereçou milhares de mensagens a fornecedores que não existem, embora cada devolução listasse os verdadeiros;
o seu ajudante relatou um pagamento de 10.000 rúpias que nunca aconteceu — nenhum papel sequer tinha uma ferramenta para fazê-lo —, e o seu próprio contador o contradisse naquela mesma noite;
o mesmo pedido em grande quantidade foi para dois fornecedores, e os dois foram pagos;
o ajudante do Gemma escreveu que estava “recebendo todos os itens da entrega” enquanto a sua chamada de ferramenta ficava com zero de cada um, e o caminhão do leite foi embora;
o LFM2.5 concluiu no dia 1 que o sistema de mensagens da loja estava quebrado e, na maioria dos dias seguintes, a sua única ação foi ir para casa na hora de abrir.

Esse último modelo, ressaltam os autores, tem a maior pontuação de uso de ferramentas dos quatro, segundo o seu desenvolvedor — um teste de uma única sessão que não previu um mês no caixa.

A régua, não um rival

O lojista roteirizado lê o estoque diretamente e escreve a cada fornecedor na língua dele, duas coisas que os modelos precisam fazer por meio da equipe e da tradução. A diferença, insistem os autores, mede a distância até uma loja bem administrada, não um confronto direto. Mesmo assim, a conclusão é contundente: os agentes atuais baseados em modelos de linguagem “ainda não são confiáveis para operar sozinhos pequenos negócios na Índia” — e cada falha que encontraram veio com nome, dia e hora.