O C-Level e Tech, People & Game Strategist, Murilo Alencar, examina que muitas empresas decidem lançar uma solução de inteligência artificial depois de testá-la com meia dúzia de perguntas e gostar das respostas. A impressão positiva de uma demonstração, porém, diz pouco sobre o comportamento do sistema diante de milhares de usuários reais.
O risco não é teórico. Em 2024, um tribunal do Canadá condenou a Air Canada a indenizar um passageiro que recebeu de um chatbot da empresa uma informação errada sobre a política de reembolso. A companhia alegou que o assistente era responsável pelas próprias respostas, argumento que o tribunal rejeitou. O caso mostra por que avaliar com método, e não por impressão, deixou de ser opcional. A seguir, um caminho em etapas.
Defina o que significa acertar
O primeiro passo é escrever, de forma concreta, o que se espera do sistema. Responder corretamente sobre prazos de entrega? Classificar chamados na categoria certa? Recusar perguntas fora do escopo? Sem essa definição, cada pessoa avalia o resultado com um critério diferente, e a discussão vira questão de gosto.
Também vale listar o que o sistema nunca pode fazer, como inventar condições comerciais, prometer descontos ou expor dados de clientes. Murilo Moura Alencar assinala que esses limites costumam ser mais importantes do que a qualidade média das respostas, porque um único erro grave pode custar mais do que centenas de acertos rendem. Por isso, eles devem ser registrados por escrito e revisados pelas áreas jurídica e de atendimento.
Monte um conjunto de testes com casos reais
Murilo Moura Alencar ressalta que os melhores testes vêm do próprio histórico da empresa. E-mails de clientes, chamados de suporte e dúvidas frequentes mostram como as pessoas realmente perguntam, com erros de digitação, informações incompletas e pedidos ambíguos que dificilmente aparecem em testes inventados pela equipe.
Nesse ínterim, entende-se que o conjunto deve incluir os casos comuns, que representam a maior parte do uso, e também os difíceis: perguntas capciosas, tentativas de fazer o sistema sair do papel e situações em que a resposta certa é admitir que não sabe. Cada caso precisa ter uma resposta esperada ou um critério claro de aprovação.
Combine avaliação automática e humana
Com o conjunto pronto, a equipe pode rodar todos os testes sempre que mudar o modelo, as instruções ou os documentos consultados. Parte da verificação pode ser automática, como checar se a resposta contém a informação correta ou se respeita um formato. Outra parte exige olhar humano, especialmente quando o que importa é tom, clareza ou adequação ao contexto.
Esse processo transforma mudanças em decisões mensuráveis. Em vez de discutir se uma nova versão parece melhor, a equipe compara resultados e enxerga o que melhorou e o que piorou. Ajustes que resolvem um problema e criam outro aparecem antes de chegar ao cliente. Com o tempo, o conjunto de testes se torna um dos ativos mais valiosos do projeto, porque permite trocar de fornecedor ou de modelo com segurança.
Continue medindo depois do lançamento
A avaliação não termina na estreia. Na avaliação de Murilo Alencar, o uso real sempre revela situações que ninguém previu, e essas situações devem alimentar o conjunto de testes. Registrar conversas com falhas, coletar sinais de insatisfação dos usuários e revisar amostras periodicamente mantêm a avaliação conectada à realidade.
Por fim, também é importante definir com antecedência quem responde pelo sistema e o que acontece quando ele erra. Ter um caminho fácil para o usuário chegar a uma pessoa e um processo para corrigir respostas problemáticas reduz o impacto dos erros que inevitavelmente vão acontecer. Avaliar bem não elimina o risco, mas permite que a empresa saiba onde ele está antes que um cliente ou um tribunal mostre isso por ela.