Como avaliar se a IA do seu supermercado está funcionando de verdade

Toda rede tem um comprador que sabe de cabeça quanto pedir para cada loja, e uma encarregada de FLV que olha a banca de manhã e acerta o que vai faltar antes do almoço. Esse conhecimento não está em sistema nenhum. Mora na cabeça de poucas pessoas, e sai pela porta com elas. IA serve, antes de tudo, para guardar esse conhecimento na empresa. E ela só compensa se houver um jeito simples de responder a uma pergunta: aprendeu direito?

O conhecimento que vai embora no aviso prévio

O varejo alimentar convive com rotatividade alta e com processos que cada loja executa de um jeito. O pedido da loja boa é bom porque o encarregado é bom, não porque o processo é bom. Quando ele tira férias, o número piora. Quando pede demissão, leva junto vinte anos de erro e acerto que a empresa pagou para ele acumular.

É esse o problema que um agente de IA ataca de verdade na operação: transformar o jeito certo de decidir, que hoje é de uma pessoa, num processo que é da empresa e roda igual nas trinta lojas. Agente, aqui, é um sistema que decide e executa uma tarefa, não um chat que responde perguntas. A diferença importa na hora de contratar.

Só que existe o outro lado. IA mal ensinada não elimina o improviso: padroniza o erro e o distribui para a rede inteira com eficiência. Por isso avaliar não é detalhe técnico. É a diferença entre multiplicar o seu melhor comprador e multiplicar um estagiário confiante.

Ensinar IA é treinar um funcionário novo

Nenhum gerente deixa o contratado de segunda-feira fazer sozinho o pedido da Páscoa. Primeiro ele acompanha quem sabe. Depois recebe tarefa pequena, e alguém confere. Só assume quando acerta com constância o que o veterano acertaria.

Com IA o caminho é o mesmo, e tem nome simples: prova prática. Separam-se vinte ou trinta situações reais da sua operação, com a decisão que o seu melhor profissional tomaria em cada uma, e o sistema é conferido contra essa régua antes de assumir qualquer coisa. Três cuidados fazem a prova valer:

• Casos reais, com a sujeira real: cadastro incompleto, unidade de medida trocada, produto que mudou de embalagem. Caso de demonstração todo mundo acerta.
• A resposta certa descrita como faixa aceitável, não como número exato. Pedido entre 80 e 100 caixas está certo; 300 está errado. É assim que se avalia gente, e é assim que se avalia IA.
• A prova roda de novo a cada mudança. O fornecedor atualiza a tecnologia por trás do sistema o tempo todo, e uma atualização pode piorar justamente o seu caso. Se conferir depender de alguém lembrar, ninguém vai lembrar.

Um indicador por agente, e que seja o seu

Todo agente deveria existir para mexer em um número que você já acompanha no fechamento. Reposição se mede por ruptura da categoria. Precificação de perecível se mede por quebra. Conferência de nota fiscal se mede por divergência encontrada e por hora de retrabalho devolvida à equipe.

Quando a apresentação do fornecedor disser "95% de precisão", a pergunta que desarma o slide é: qual indicador meu esse número melhora, e em quanto? Precisão é métrica do sistema. Quebra, ruptura e hora extra são métricas do seu negócio, e é nelas que o projeto vai ser julgado.

O jeito de julgar com justiça é registrar a linha de base antes de ligar qualquer coisa: a quebra atual da categoria, a ruptura atual, as horas gastas hoje no processo. Sem esse antes, nem o sucesso convence. E é essa contrapartida que dá sentido à conta de quanto custa rodar IA na rede.

As perguntas que pegam qualquer demonstração

Demonstração é feita dos casos que dão certo. A sua operação é feita dos outros. Cinco perguntas separam as duas:

• O que a IA faz na véspera de feriado, quando o movimento dobra?
• E quando o produto entra em promoção e o histórico de venda deixa de valer?
• E com o produto novo, que não tem histórico nenhum?
• E quando o cadastro chega errado do ERP?
• E na loja de perfil diferente, que nunca segue a média da rede?

Em vários desses casos, a resposta certa da IA é reconhecer que não sabe e chamar alguém. Desconfie do sistema que nunca pede ajuda: ele não está acertando sempre, está errando sem avisar.

O sinal de alerta que não aparece em relatório

Existe um jeito silencioso de um projeto de IA morrer: a equipe corrige o sistema na mão e não conta. O repositor ajusta o pedido que veio estranho, o comprador refaz a sugestão, e o painel do projeto segue verde. A empresa paga pela IA e continua operando no braço.

Por isso a medição que mais revela é a mais simples: quantas vezes alguém precisou intervir, e por quê. Se as intervenções caem, o sistema está amadurecendo. Se sobem, algo mudou e ninguém viu. E a régua do que é certo pertence a quem sofre o custo do erro, o comprador da categoria, o comercial, a operação da loja, nunca só a quem construiu o sistema.

Duas perguntas antes de assinar

Se a sua rede está avaliando IA, leve duas perguntas para a reunião: qual número do meu fechamento esse agente melhora, e como vamos provar, com os meus casos e a minha régua, que ele aprendeu antes de assumir?

Fornecedor sério responde com indicador, linha de base e prova prática, que é exatamente o que separa o piloto bonito do sistema que entra em produção. Resposta vaga na reunião vira quebra no fechamento. E, enquanto a decisão não sai, o conhecimento do seu melhor comprador continua saindo pela porta.