Por que pilotos de IA não chegam à produção
A distância entre uma demo que impressiona e um sistema que sustenta operação não é de modelo — é de engenharia. O que falta quase sempre é a mesma coisa.
O piloto funcionou. A diretoria viu a demo, aprovou o orçamento, e seis meses depois o sistema continua em piloto. Esse padrão se repete com uma regularidade que já não é coincidência.
O piloto otimiza a variável errada
Um piloto é avaliado por uma pergunta: o modelo consegue? É a pergunta certa para decidir se vale continuar, e a pergunta errada para decidir se está pronto.
Produção pergunta outra coisa:
- O que acontece quando a entrada vem malformada?
- Qual o custo por execução quando o volume multiplica por mil?
- Como alguém descobre que a qualidade caiu antes do cliente descobrir?
- Quem é responsável quando a resposta está errada?
Nenhuma dessas perguntas aparece numa demo. Todas aparecem na primeira semana de operação real.
Três lacunas que se repetem
Observabilidade tratada como log
Registrar a entrada e a saída não é observabilidade. Sem rastrear a decisão intermediária — qual ferramenta o agente escolheu, com que contexto, por quê — a investigação de um erro vira arqueologia.
Custo descoberto tarde demais
O custo por execução no piloto é irrelevante porque o volume é irrelevante. Em produção ele vira a métrica que decide se o projeto sobrevive. Medir isso desde o primeiro dia muda decisões de arquitetura — a conta e onde ela costuma escapar merecem um artigo próprio.
Avaliação que não existe
Quase todo piloto é avaliado por inspeção humana de alguns exemplos. Isso não escala e não detecta regressão. Sem um conjunto de avaliação versionado, qualquer mudança de prompt ou de modelo é uma aposta.
O que muda quando se projeta para produção
A ordem se inverte. Em vez de provar que o modelo consegue e depois industrializar, define-se primeiro o contrato: qual entrada, qual saída, qual limite de custo, qual critério de qualidade, qual comportamento na falha. O modelo passa a ser um detalhe substituível dentro de um sistema que já sabe se está funcionando.
Piloto prova viabilidade. Produção exige contrato.
É mais lento nas primeiras semanas e substancialmente mais rápido do terceiro mês em diante — que é exatamente quando o piloto tradicional trava.