AutoQA no atendimento: como revisar as conversas da IA sem ler uma por uma

AutoQA no atendimento é a revisão automática da qualidade das conversas: em vez de um supervisor ler uma amostra pequena no fim do mês, uma ficha de critérios é aplicada às conversas de forma automática ou semiautomática, e só as que acendem um alerta vão para leitura humana. Quando quem atende é uma IA, isso deixa de ser coisa de call center grande. A IA conversa com muita gente ao mesmo tempo, e um erro de instrução se repete em todas as conversas até alguém perceber.

Este guia mostra como montar esse controle numa empresa pequena ou média, sem time de qualidade: o que avaliar, quais conversas ler primeiro, onde uma segunda IA ajuda a revisar e como transformar cada erro encontrado numa correção que fica.

O que é AutoQA no atendimento?

QA vem de quality assurance, garantia de qualidade. Nas centrais de atendimento tradicionais, um analista escuta ligações sorteadas e preenche uma ficha: cumprimentou, entendeu o problema, resolveu, encerrou bem. O limite sempre foi a escala. Com dezenas de atendentes, a ficha cobre uma fração pequena das conversas e chega tarde demais para mudar alguma coisa.

O AutoQA inverte a ordem. Primeiro, regras e sinais separam as conversas que merecem atenção. Depois, a leitura humana se concentra nelas. Em muitas ferramentas, um modelo de linguagem também preenche a ficha e dá uma nota preliminar para cada critério, que a pessoa confirma ou corrige.

Com IA atendendo, há uma diferença importante: o "atendente" avaliado é sempre o mesmo. Se a IA erra o prazo de entrega numa conversa, vai errar em todas as outras que perguntarem a mesma coisa. Por isso cada erro achado vale mais. Corrigiu uma vez, corrigiu para todo mundo.

Que critérios entram na ficha de qualidade da IA?

Uma ficha curta funciona melhor do que uma longa. Cinco critérios cobrem o que importa para quem atende e vende por mensagem:

1. Exatidão. O preço, o prazo, o horário e a política citados batem com o que a empresa pratica hoje?
2. Entendimento. A IA respondeu ao que o cliente perguntou, inclusive quando a pergunta veio num áudio ou numa foto, ou respondeu outra coisa?
3. Limite. Ela ficou dentro do que pode fazer? Prometeu desconto, deu prazo que não existe, opinou sobre assunto que é da equipe?
4. Próximo passo. A conversa terminou com algo concreto, como link da agenda, orçamento, material enviado ou transferência? Ou parou num "qualquer coisa, estou à disposição"?
5. Passagem para a equipe. Quando o cliente pediu uma pessoa ou o assunto saiu do roteiro, a transferência aconteceu na hora certa e com o contexto?

Tom e cordialidade ficam de fora de propósito. A IA raramente é grosseira; o que derruba a venda é informação errada e conversa sem saída. Se a sua marca tem um jeito de falar muito próprio, acrescente um sexto critério depois, mas comece com os cinco.

Para cada critério, use três notas: certo, parcial, errado. Escalas de 0 a 10 geram discussão demais e diferença de menos.

Quais conversas revisar primeiro?

Ler tudo não escala, e sortear ao acaso desperdiça leitura em conversas que deram certo. O caminho é filtrar por sinais de risco. Estes seis pegam a maior parte dos problemas:

• Conversas transferidas para a equipe. Mostram onde a IA não deu conta. Algumas transferências são corretas; o que interessa é o motivo das outras.
• Cliente que pediu "atendente", "pessoa" ou "humano". Muitas vezes, é sinal de que a resposta anterior não ajudou.
• Conversas longas sem desfecho. Muita ida e volta e nenhum próximo passo costumam esconder um mal-entendido.
• Objeção que terminou em perda. "Achei caro" seguido de silêncio merece leitura.
• Assuntos sensíveis. Reembolso, cancelamento, reclamação, saúde e dinheiro.
• Tudo o que mudou na semana. Preço novo, produto novo, promoção: leia as primeiras conversas depois da mudança.

Na VEX Sales, a tela Mensagens separa as conversas que estão com o assistente das que estão com um atendente, e o dossiê de cada conversa mostra as objeções que o assistente registrou, com o que o cliente disse. São dois atalhos para chegar rápido às conversas que pedem revisão.

Dá para usar IA para revisar a IA?

Dá, e é isso que a maioria das ferramentas chama de AutoQA. Você entrega a conversa a um modelo de linguagem junto com a ficha e a base de conhecimento, e pede uma nota por critério, com a frase da conversa que justifica cada nota. O revisor automático é bom em três tarefas: comparar o que foi dito com a base, perceber que a conversa terminou sem próximo passo e encontrar promessas que não deveriam ter sido feitas.

Ele também erra. Pode marcar como errado um preço que está certo porque a base tem duas versões, ou deixar passar a ironia de um cliente irritado. Por isso, a regra prática é calibrar antes de confiar:

1. Uma pessoa avalia vinte conversas com a ficha.
2. O revisor automático avalia as mesmas vinte.
3. Compare critério por critério. Onde os dois discordam, ajuste a ficha, que geralmente está vaga.
4. Repita até que as discordâncias fiquem raras e explicáveis.

Depois disso, o revisor vira um filtro: tudo o que ele marcar como errado ou parcial vai para leitura humana. O que ele marcar como certo entra numa amostra pequena, só para conferir que ele continua calibrado.

Um cuidado com dados: conversas têm nome, telefone e, às vezes, informação sensível. Se for usar uma ferramenta externa para revisar, retire antes o que identifica o cliente e confira a política de dados do fornecedor.

O que fazer com cada erro encontrado?

Achar o erro é metade do trabalho. A outra metade é saber de onde ele veio, porque a correção muda conforme a causa. Quatro causas explicam quase tudo:

• Faltava a informação. O cliente perguntou se vocês emitem nota fiscal para pessoa física e a base não dizia nada. Correção: acrescentar o item à base de conhecimento.
• A informação estava errada ou duplicada. A base tinha o preço antigo num documento e o novo em outro. Correção: apagar a versão velha, e não só acrescentar a nova.
• A instrução estava ambígua. "Ofereça condições especiais quando necessário" deixa a IA inventar desconto. Correção: reescrever com a regra exata, por exemplo "nunca ofereça desconto; se o cliente pedir, transfira para a equipe comercial".
• O caso era da equipe. A IA tentou resolver algo que deveria ter passado adiante. Correção: incluir o assunto na lista de transferência.

Depois da correção, teste antes de dar o caso por encerrado. Repita a pergunta do cliente, com as mesmas palavras, num ambiente de teste. Na VEX Sales, o Testar IA abre um celular no painel para conversar com o agente salvo, e o Ajustar com IA muda só o trecho das instruções que você pediu, mostrando o antes e o depois. Se a resposta continuar errada, a causa era outra.

Uma rotina de 30 minutos por semana

Para uma empresa que atende algumas dezenas de conversas por dia, este ritual costuma bastar:

1. 10 minutos: abrir as conversas com sinal de risco da semana anterior e escolher até quinze.
2. 15 minutos: passar a ficha nessas quinze, anotando a causa de cada erro.
3. 5 minutos: corrigir base e instruções e testar as perguntas que falharam.

Guarde as notas numa planilha simples: data, conversa, critério, nota, causa e correção. Em um mês, a planilha mostra o padrão. Se a exatidão cai sempre que muda um preço, o problema está no processo de atualização, não na IA. Se o próximo passo é o critério mais fraco, as instruções precisam dizer o que oferecer no fim de cada tipo de conversa.

Logo depois de a IA entrar no ar, vale ler mais: todas as transferências, todo dia, durante a primeira semana. É a fase em que as lacunas da base aparecem mais rápido, como mostra o guia de como treinar a IA com os dados da empresa.

O que medir além da nota?

A ficha diz se cada conversa foi boa. Três indicadores dizem se a operação está melhorando:

• Taxa de erro por critério, semana a semana. Ela deve cair depois de cada correção.
• Motivos de transferência. Se o mesmo motivo aparece toda semana, falta um item na base ou uma regra nas instruções.
• Erros que voltam. Um erro que reaparece depois de corrigido indica que a correção não pegou, quase sempre porque havia outra versão da informação escondida.

Evite usar a quantidade de conversas resolvidas sem transferência como medida principal. Ela sobe quando a IA melhora, mas também sobe quando a IA insiste em responder o que deveria passar adiante. A ficha de qualidade é o contrapeso. Para ver onde o trabalho do agente termina e o da equipe começa, leia o que é um agente de IA para WhatsApp.

Resumo

AutoQA no atendimento com IA é uma ficha curta, aplicada primeiro às conversas com sinal de risco, com a ajuda de um revisor automático calibrado por uma pessoa. Cada erro ganha uma causa e uma correção testada. Para montar essa rotina com a IA atendendo o seu WhatsApp, crie a sua conta e comece pelas conversas da primeira semana.

Equipe VEX Sales

Escrito por quem constrói e opera a plataforma, na VEX Sales.