Jornal Jurídico
  • Home
  • Notícias
  • Política
  • Tecnologia
  • Sobre Nós
Reading: Como avaliar uma solução de IA antes de colocá-la no ar
Compartilhe
Jornal JurídicoJornal Jurídico
Font ResizerAa
Search
  • Home
  • Notícias
  • Política
  • Tecnologia
  • Sobre Nós
Follow US
© Foxiz News Network. Ruby Design Company. All Rights Reserved.
Murilo Moura Alencar
Jornal Jurídico > Blog > Notícias > Como avaliar uma solução de IA antes de colocá-la no ar
Notícias

Como avaliar uma solução de IA antes de colocá-la no ar

Henrik Valdsen
Henrik Valdsen outubro 15, 2026
Compartilhe
5 Min de leitura
Murilo Moura Alencar

O C-Level e Tech, People & Game Strategist, Murilo Alencar, examina que muitas empresas decidem lançar uma solução de inteligência artificial depois de testá-la com meia dúzia de perguntas e gostar das respostas. A impressão positiva de uma demonstração, porém, diz pouco sobre o comportamento do sistema diante de milhares de usuários reais.

Contents
Defina o que significa acertarMonte um conjunto de testes com casos reaisCombine avaliação automática e humanaContinue medindo depois do lançamento

O risco não é teórico. Em 2024, um tribunal do Canadá condenou a Air Canada a indenizar um passageiro que recebeu de um chatbot da empresa uma informação errada sobre a política de reembolso. A companhia alegou que o assistente era responsável pelas próprias respostas, argumento que o tribunal rejeitou. O caso mostra por que avaliar com método, e não por impressão, deixou de ser opcional. A seguir, um caminho em etapas.

Defina o que significa acertar

O primeiro passo é escrever, de forma concreta, o que se espera do sistema. Responder corretamente sobre prazos de entrega? Classificar chamados na categoria certa? Recusar perguntas fora do escopo? Sem essa definição, cada pessoa avalia o resultado com um critério diferente, e a discussão vira questão de gosto.

Também vale listar o que o sistema nunca pode fazer, como inventar condições comerciais, prometer descontos ou expor dados de clientes. Murilo Moura Alencar assinala que  esses limites costumam ser mais importantes do que a qualidade média das respostas, porque um único erro grave pode custar mais do que centenas de acertos rendem. Por isso, eles devem ser registrados por escrito e revisados pelas áreas jurídica e de atendimento.

Monte um conjunto de testes com casos reais

Murilo Moura Alencar ressalta que os melhores testes vêm do próprio histórico da empresa. E-mails de clientes, chamados de suporte e dúvidas frequentes mostram como as pessoas realmente perguntam, com erros de digitação, informações incompletas e pedidos ambíguos que dificilmente aparecem em testes inventados pela equipe.

Nesse ínterim, entende-se que o conjunto deve incluir os casos comuns, que representam a maior parte do uso, e também os difíceis: perguntas capciosas, tentativas de fazer o sistema sair do papel e situações em que a resposta certa é admitir que não sabe. Cada caso precisa ter uma resposta esperada ou um critério claro de aprovação.

Combine avaliação automática e humana

Com o conjunto pronto, a equipe pode rodar todos os testes sempre que mudar o modelo, as instruções ou os documentos consultados. Parte da verificação pode ser automática, como checar se a resposta contém a informação correta ou se respeita um formato. Outra parte exige olhar humano, especialmente quando o que importa é tom, clareza ou adequação ao contexto.

Esse processo transforma mudanças em decisões mensuráveis. Em vez de discutir se uma nova versão parece melhor, a equipe compara resultados e enxerga o que melhorou e o que piorou. Ajustes que resolvem um problema e criam outro aparecem antes de chegar ao cliente. Com o tempo, o conjunto de testes se torna um dos ativos mais valiosos do projeto, porque permite trocar de fornecedor ou de modelo com segurança.

Continue medindo depois do lançamento

A avaliação não termina na estreia. Na avaliação de Murilo Alencar, o uso real sempre revela situações que ninguém previu, e essas situações devem alimentar o conjunto de testes. Registrar conversas com falhas, coletar sinais de insatisfação dos usuários e revisar amostras periodicamente mantêm a avaliação conectada à realidade.

Por fim, também é importante definir com antecedência quem responde pelo sistema e o que acontece quando ele erra. Ter um caminho fácil para o usuário chegar a uma pessoa e um processo para corrigir respostas problemáticas reduz o impacto dos erros que inevitavelmente vão acontecer. Avaliar bem não elimina o risco, mas permite que a empresa saiba onde ele está antes que um cliente ou um tribunal mostre isso por ela.

Tag:Board Member Murilo Moura AlencarC-Level Murilo Moura AlencarMurilo AlencarMurilo Moura AlencarO que aconteceu com Murilo Moura AlencarQuem é Murilo Moura AlencarTech People & Game StrategistTudo sobre Murilo Moura Alencar
Compartilhe este artigo
Facebook Twitter Email Copie o lnk Print

Categorias

  • Notícias295
  • Política51
  • Tecnologia54
Solino e Oliveira Advogados Associados
Uso indevido de dados pessoais nas relações de consumo exige atenção dos consumidores e das empresas, destaca Solino e Oliveira Advogados Associados
novembro 10, 2026
Menina usando fones de ouvido e um laptop em ambiente interno, envolvida em uma atividade criativa digital.
Resolução do CNJ cria banco nacional para alvarás artísticos de menores
novembro 5, 2026

Jornal Jurídico: Sua fonte completa para as últimas notícias sobre política, tecnologia e os principais acontecimentos locais e mundiais. Acompanhe análises aprofundadas, reportagens exclusivas e opiniões de especialistas para se manter informado sobre tudo o que impacta o seu dia a dia.

Mulher analisando e organizando documentos em uma mesa de trabalho, em um escritório doméstico.
Análise incompleta não encerra pedido previdenciário, aponta STJ
novembro 16, 2026
STF realiza audiência pública sobre Lei Antifacção nesta terça-feira (25); entenda o que está em discussão
agosto 25, 2026

Jornal Jurídico – [email protected] – tel.(11)91754-6532

  • Home
  • Sobre Nós
  • Notícias
  • Contato
Welcome Back!

Sign in to your account

Lost your password?