Avaliação e Controle de Qualidade em IA:

Em 2024, uma consultoria do porte da Deloitte, considerada uma das maiores empresas neste segmento, elaborou um relatório oficial de quase meio milhão de dólares para o Departamento de Emprego e Relações de Trabalho (DEWR), do governo australiano.

E um mês depois, um bolsista de pesquisa de pós-doutorado no Centre for Health Governance Law and Ethics, da Universidade de Sydney identificou que o relatório apresentado pela consultoria tinha sinais de ter sido elaborado com o auxílio de Inteligência Artificial e apresentava fontes e referências que não existiam.

Ou seja, a IA alucinou e a Deloitte foi forçada a devolver parte do dinheiro e pedir desculpas públicas.

O que parece um erro isolado é, na verdade, um padrão que se repete sistematicamente em contextos de alto risco.

E o problema não se limita a relatórios de consultoria para governos: ele cruza setores e chega a espaços onde a precisão é obrigação, não opção.

Nos tribunais, o cenário se repetiu: advogados do escritório Sullivan & Cromwell, parte da elite de Wall Street com mais de 900 advogados, apresentaram uma petição judicial em um caso de alta visibilidade com citações erradas da lei de falências dos EUA e referências a processos que não existiam, todas geradas por IA.

O escritório teve que enviar uma carta de desculpa pública ao juiz federal de Nova York que acompanha o caso e reconhecer que suas políticas de uso de IA não foram seguidas pela equipe.

Esses casos não são exceções: em 2024, um tribunal de Ontário, no Canadá, obrigou a Air Canada a honrar uma tarifa de luto inventada pelo seu chatbot de atendimento, que citava uma política de desconto que nunca existiu. O caso ganhou manchetes mundiais e expôs que alucinações de IA não são um problema só de grandes empresas de consultoria ou advocacia: elas acontecem em qualquer contexto em que a IA é usada sem supervisão.

O que parece um erro isolado é um padrão que se repete sistematicamente em contextos de alto risco, onde a pressão por velocidade faz equipes pularem etapas de validação de resultados de IA. As ferramentas são programadas para ser convincentes, não necessariamente verdadeiras: ao priorizar a fluidez do texto sobre a precisão dos fatos, elas criam mentiras perfeitamente articuladas que passam despercebidas por olhos desatentos.

Esses incidentes não são falhas de uso das ferramentas de IA, são falhas de processo. E o pior é que elas não são exclusivas de grandes empresas multinacionais. Se você usa IA no dia a dia de TI, seja para gerar relatórios, documentação ou respostas de suporte, você está exposto ao mesmo risco, a menos que aprenda a validar cada resultado antes de usá-lo.

A lição não é abandonar a IA. É parar de tratá-la como um colaborador que presta contas, porque ela não presta.

A pergunta certa não é "esse resultado parece correto?" é "eu consigo verificar cada afirmação aqui antes de assinar embaixo?"

É isso que veremos neste terceiro artigo da série As Skills de IA que o Mercado Vai Pagar Caro.

Alguns dados de mercado confirmam que esse risco é mais comum do que parece:

- O relatório Hype Cycle for Artificial Intelligence 2025, da Gartner, posicionou a IA Generativa no "Vale da Desilusão": apesar de um gasto médio de US$ 1,9 milhão em iniciativas de GenAI em 2024, menos de 30% dos líderes de IA reportam que seus CEOs estão satisfeitos com o retorno do investimento. Confira os detalhes no artigo original do Gartner.

O Índice de Transformação Digital Brasil (ITDBr) 2025, da PwC e FDC, aponta que as empresas brasileiras avançaram em infraestrutura tecnológica, que subiu de 3,6 para 4,3, e em decisões baseadas em dados, que saltou de 3,5 para 4,1. Contudo, o país enfrenta retrocessos em áreas críticas: a governança digital recuou de 3,9 para 3,2, e a adoção de tecnologias inovadoras sofreu a maior queda, despencando de 3,9 para 2,0.

O relatório destaca que o grande desafio atual é integrar a Inteligência Artificial — cuja adoção saltou de 20% para 59% em um ano — de forma responsável. Como 33% das organizações ainda não implementaram processos de mitigação de riscos digitais, superar lacunas de consistência é urgente para evitar danos reputacionais e assegurar resultados duradouros.

Segundo o Panorama Amcham 2026, apresentado pela GS1 Brasil, a IA é a prioridade nº 1 para os executivos, porém 61% dos líderes ainda não perceberam impactos financeiros relevantes e apenas 3% alcançaram vantagem competitiva real até agora.

Mapeando as falhas: o que monitorar

Para evitar que os documentos virem uma “obra de ficção”, é importante considerar estes quatro pontos críticos:

1. Alucinações: A IA completa a informação a partir do contexto e acaba fabricando detalhes (como caminhos, parâmetros, formatos).
2. Vieses: o sistema pode recomendar uma “stack” (tecnologias / conjunto de ferramentas) só porque é popular, e não porque é a melhor para o seu caso específico. Além disso, ele pode dar suporte de forma diferente para usuários diferentes (por exemplo, priorizar alguns, responder com qualidade diferente, ou aplicar regras sem critérios técnicos).
3. Inconsistências: Variações de tom e formato em respostas sob o mesmo contexto, o que destrói a padronização da documentação.
4. Vazamento de dados: dados sensíveis acabam sendo expostos por falhas no sistema, como credenciais, tokens, senhas, dados internos, dados que identificam pessoas, como nome, e-mail, CPF, endereço, telefone, dados de identificação, etc., mostrando ou entregando dados que deveriam ficar protegidos, por não terem barreiras de segurança adequadas.

Governança por Nível de Risco

Em muitas empresas, um erro se repete: tratar todo uso de IA com o mesmo nível de burocracia. É como exigir assinatura de diretor para comprar material de escritório...

No nível de risco baixo, voltado a atividades de apoio e uso interno, como a geração de rascunhos de e-mails ou sínteses de reuniões, a aprovação pode ser ágil e descentralizada.

Aqui, o erro é reversível. Se a IA gerar um resumo imperfeito da reunião de segunda-feira, você corrige em 30 segundos. Não crie comitês para isso.

Quando o uso migra para a execução colaborativa, configurando um risco médio, a validação precisa se tornar estrutural. Documentos como relatórios de incidentes ou a descrição de tarefas em ferramentas de gestão como o Jira, exigem revisão por pares voltada à acurácia técnica e à confiabilidade dos dados.

Neste nível, o erro contamina a equipe. Um relatório de incidente com dados equivocados pode fazer outro analista perder horas investigando o caminho errado. Aqui, revisão pelos pares não é burocracia, é respeito pelo tempo do colega.

No patamar de risco alto, o foco se desloca para interações com impacto externo ou visibilidade diretiva, abrangendo respostas de suporte, documentação pública e relatórios executivos. A validação humana torna-se mandatória e inegociável, submetendo cada saída a regras de negócio rígidas e sem exceções.
Um erro aqui vira processo, manchete ou demissão. Lembre-se do caso Air Canada: o chatbot inventou uma política de luto que não existia, e a empresa foi obrigada judicialmente a honrar aquela política. Isso aconteceu no Canadá, com uma empresa estruturada. Imagine no seu contexto, no seu dia a dia.

Manter esse rigor não é resistência à inovação. É maturidade operacional.

Implementando a Validação

Teoria de validação todo mundo ensina. Eu vou mostrar como faço nos meus projetos, nas disciplinas que ministro na FGV e nos artigos aqui da Revista Carreiras TI.

Validação em três camadas:

Camada 1: A IA precisa citar fontes

Sempre que uso IA para gerar conteúdo técnico, exijo que ela aponte de onde tirou a informação.

Se estou desenvolvendo um caso para alguma disciplina, solicito: “Baseie-se apenas em casos documentados publicamente e forneça o link da fonte primária”. Caso contrário, ensinarei ficção para meus alunos...

Quando a IA inventa uma referência — e ela vai inventar —, você pega o link citado e testa. Não existe. Pronto: alucinação detectada.

Isso mudou minha forma de trabalhar. Antes, eu lia o texto e pensava "faz sentido". Agora, eu clico no link. É rastreabilidade, não confiança cega.

Camada 2: Ensine a IA a dizer "não sei"

Aqui vai um padrão que precisei desaprender: quanto mais completo o contexto, melhor. Errado. Contexto demais pode fazer a IA completar lacunas com informações inventadas.

Hoje, uso exemplos que mostrem os limites.

Por exemplo:

"Se o usuário perguntar sobre políticas de reembolso, use apenas o documento X. Se a informação não estiver lá, responda: 'Não encontrei essa informação na base oficial. Consulte o gestor.'"

Isso parece óbvio, mas a maioria dos profissionais trata a IA como se ela fosse onisciente. Não é. Ela é uma ferramenta que precisa de fronteiras claras.

Camada 3: O checklist de 2 minutos antes de publicar Antes de qualquer entrega com IA, faço três verificações rápidas:

✓ Sintaxe e coerência: O texto tem variações bruscas de tom? (sinal de que partes foram geradas separadamente e coladas sem revisão)

✓ Dados sensíveis: Há CPFs, e-mails, senhas ou nomes de clientes expostos? (a IA pode vazar o que você colocou no contexto)

✓ Conformidade: O tom está alinhado com o padrão da organização? (IA tende a ser excessivamente formal ou informal, dependendo do modelo)

Dois minutos. Isso separa um profissional que usa IA de um profissional que é usado pela IA.

Caso prático e real - como o iFood saiu do -59 para +70 no NPS

Em 2024, a AeC, uma das maiores operações de CX (Experiência do Cliente) do Brasil enfrentava um desafio crítico no atendimento do iFood: além do NPS em -59, o custo de monitoria de qualidade era insustentável.

O padrão de mercado? Revisar manualmente apenas 3% das interações, a um custo médio de R$ 5,38 por avaliação.

Para uma operação de escala, isso significava dois problemas simultâneos:

1. Custo proibitivo para ampliar a amostragem
2. Risco cego: 97% das interações seguiam sem validação

A solução não foi "colocar mais gente". Foi implementar a plataforma MonitorIA para auditar 100% das interações — com um custo unitário de R$ 0,05 por avaliação.

A matemática que mudou o jogo:

• Houve uma redução de 99% no custo por monitoria (de R$ 5,38 para R$ 0,05)
• A cobertura saltou de 3% para 100% das interações
• O NPS subiu de -59 para +70

O que mudou na prática:

1. Bot Performance Score (BPS): Antes de o cliente falar com um atendente humano, a IA de autoatendimento passa por validação contínua. Se o bot começa a dar respostas erradas sobre prazos de entrega ou valores, o sistema detecta em tempo real.
2. Roteamento inteligente: Em vez de distribuir chamados aleatoriamente, o sistema cruza o perfil do cliente com o histórico de cada atendente. Resultado: quem tem problema complexo vai para quem resolve problemas complexos. Quem tem dúvida simples vai para quem é rápido em dúvidas simples.
3. Cobertura total: Todas as chamadas são monitoradas. Prazos, valores, processos explicados — tudo é validado contra a base de conhecimento oficial.

O que eu aprendi com esse case:

No passado, auditávamos amostras de 3% porque era humanamente impossível revisar tudo. Hoje, a tecnologia permite cobertura total, mas isso exige que desaprendamos um vício antigo: o de terceirizar o julgamento crítico para a ferramenta.

Na prática, devemos levar em conta:

• A amostragem é passado e a cobertura é presente. Se a plataforma pode ler todas as interações, não faz sentido confiar em "pontos cegos". O risco reputacional não tem amostragem segura.
• A Validação é um filtro. Não é freio. O objetivo não é travar a equipe, é garantir que o erro não saia do ambiente controlado.  Antes, o risco era um “bug no sistema”; agora, é um dado errado no relatório ou uma resposta equivocada ao cliente. Se não validamos antes, estamos pulando a etapa que protege a credibilidade da entrega.

• A correção rápida vale mais que a perfeição tardia. No ritmo do mercado brasileiro, um ajuste em minutos salva horas de retrabalho. Um “erro técnico fica restrito ao time”, mas uma falha de validação vira mancha reputacional na mesma proporção. O que não é checado antes do envio, é cobrado depois pelo mercado.

A armadilha que eu mesmo caí (e você vai cair também)

Vou ser franco: durante algum tempo, achei que validação de IA era "coisa de gente insegura". Eu gerava o conteúdo, dava uma lida rápida e publicava. Até o dia em que um colega me mandou um e-mail apontando um erro conceitual num material que eu havia produzido com auxílio de IA.

A IA havia misturado conceitos técnicos como se fossem a mesma coisa. Para quem não é da área, parecia correto. Para um professor veterano, foi constrangedor.

O que eu faço toda semana (e recomendo para meus alunos)

Não adianta ler sobre validação se você não cria o hábito. Aqui está meu ritual pessoal.

1.    A lista do "nunca compartilhe"

Tenho um documento chamado "informações proibidas" que colo em todo prompt de risco alto:

• Dados de clientes (nome, CPF, e-mail, telefone)
• Senhas e tokens de acesso
• Detalhes de projetos confidenciais
• Estratégias competitivas não públicas

Isso parece básico, mas já vi profissional sênior colar planilha inteira com dados de clientes no ChatGPT para "analisar padrões". Não seja essa pessoa.

2.    Validação humana obrigatória para risco alto

No meu fluxo de trabalho, qualquer coisa que vai para:

• Revista Carreiras TI
• Material de aula da FGV
• Relatórios para clientes
• Documentação pública

...passa por uma regra inegociável: outra pessoa precisa ler antes. Não é sobre desconfiar da IA. É sobre ter um segundo par de olhos humanos.

3.    Sempre pergunte "por quê?"

Quando a IA me dá uma resposta técnica, eu peço: "Explique o raciocínio por trás disso".

Exemplo prático: se a IA sugere uma nova abordagem tecnológica, eu pergunto: "Por que essa ferramenta e não outra?".

Se a resposta for vaga ou genérica, é sinal de que a IA está chutando, não fundamentando.

Isso já me salvou de adotar soluções inadequadas em situações reais. A IA tende a recomendar o que é popular, não o que é melhor para seu contexto específico.

Caminhos de estudo para se preparar para esta skill demandada pelo mercado

 Para equipes de TI:

• Governança em IA Generativa: Guia Completo e Prático!
• Link: https://www.udemy.com/course/governanca-em-ia-generativa-guia-completo-e-pratico/
• Radar Tecnológico: Inteligência Artificial Generativa — ANPD
• Link: https://www.gov.br/anpd/pt-br/assuntos/noticias/ia-generativa-e-tema-do-3o-volume-da-serie-radar-tecnologico-da-anpd

Para gestores e pessoal de compliance:

• Guia de Governança de IA Generativa para Empresas
• Documento oficial com regras de proteção de dados
• Link: https://www.fiesp.com.br/arquivo-download/?id=304503

Prática obrigatória (faço isso uma vez por semana)

Pegue UM resultado de IA que você usou na semana e faça uma auditoria completa:

• As fontes existem?
• Os dados estão corretos?
• Há informações sensíveis expostas?

Leva 15 minutos. Depois de 3 meses fazendo isso, você desenvolve um "radar de alucinação" automático. É como revisar código: no começo é chato, depois a gente se acostuma.

Aprender, Desaprender, Reaprender: a validação como skill de sobrevivência

 Aprender é reconhecer que validação de resultados é tão importante quanto saber escrever prompts ou orquestrar ferramentas. Nos meus 20+ anos ensinando disciplinas ligadas à Tecnologia da Informação, vi tecnologias surgirem e desaparecerem. As que ficaram foram aquelas que os profissionais aprenderam a usar com critério, não com fé cega.

Desaprender é abandonar a ideia, que eu mesmo tive, de que "se o texto está bem escrito, está correto". A IA Generativa é mestre em parecer confiante enquanto inventa dados. Isso não é defeito, é uma característica do modelo. Tratar como verdade até prova em contrário é ingenuidade profissional.

Reaprender é incorporar a validação como etapa obrigatória do fluxo de trabalho, exatamente como fazemos com um código antes de enviar para a produção.

Até aqui, falamos de validação de resultados isolados.

O que vem no próximo artigo...

No próximo texto, dando continuidade à série As Skills de IA que o Mercado Vai Pagar Caro, veremos como usar esses resultados validados para automatizar processos inteiros e não apenas tarefas pontuais para reduzir o retrabalho da equipe sem renunciar à qualidade.

Até lá!