Você configurou seu agente no Copilot Studio, ele está rodando em produção, os usuários estão conversando com ele — mas como você sabe se ele está resolvendo o problema certo? As métricas padrão da aba Analytics te dizem quantas sessões aconteceram, qual a taxa de engajamento, onde os usuários saíram. Isso é útil, mas não é o suficiente para responder a pergunta que o negócio faz: “O agente está gerando valor?”
É exatamente aí que entra a feature Custom Metrics (preview) do Copilot Studio. Com ela, você define — em linguagem natural — o que quer medir, e a IA cria o cálculo para você. Neste artigo eu vou mostrar o que é a feature, como ela funciona na prática e como criar suas primeiras métricas customizadas passo a passo.
O que são Custom Metrics e por que elas importam
As métricas padrão do Copilot Studio medem comportamento: o usuário ficou na conversa? Acionou um tópico? Escalou para humano? São dados de processo.
Custom Metrics medem outcome: o usuário resolveu o problema? A intenção de compra aumentou? O chamado foi evitado? São dados de impacto de negócio.
A diferença parece sutil, mas muda tudo na hora de justificar o ROI de um agente para uma liderança. “Tivemos 10.000 sessões” não convence ninguém. “82% das solicitações de reset de senha foram resolvidas sem abrir chamado” convence.
Como funciona internamente: a feature usa IA para gerar um prompt de avaliação baseado na descrição que você fornece. Esse prompt é aplicado sobre amostras de conversas (transcrições de mensagens, incluindo conteúdo de Adaptive Cards) e classifica cada sessão em uma das categorias de resultado que você definiu. Os resultados aparecem como gráficos de rosca (donut charts) na aba Analytics, sob a seção “Custom metrics”.
Limites importantes a saber:
- Máximo de 3 custom metrics por agente
- Até 10 categorias de resultado por métrica
- Conversas não enquadradas em nenhuma categoria vão automaticamente para a categoria Other
- Cálculos são feitos sobre uma amostra das sessões, não todas elas
- Após criar a métrica, há um cálculo inicial cobrindo os últimos 7 dias; depois disso, cálculos diários noturnos
Onde encontrar a feature (e o que precisa estar habilitado)
Esta é uma feature em preview. Não é recomendada para ambientes de produção críticos. Funcionalidades podem mudar antes da disponibilidade geral.
Para acessar, abra seu agente no Copilot Studio e vá até a aba Analytics. Logo acima do card “Summary”, você vai ver o botão Custom metrics.
Se o botão não aparecer, verifique se a feature preview está habilitada nas configurações do ambiente no Power Platform Admin Center.
Passo a passo: criando sua primeira Custom Metric
Vou usar como exemplo prático um agente de Suporte de TI — o mesmo cenário do meu vídeo sobre Business Skills. O objetivo é medir se os usuários estão conseguindo resolver seus problemas sem precisar de atendimento humano.
Passo 1 — Abrir o wizard de criação
Na aba Analytics do seu agente, clique em Custom metrics. A modal “Create a custom metric” vai abrir.
Passo 2 — Descrever o que você quer medir
Este é o campo mais importante. Descreva em linguagem natural o outcome de negócio que você quer rastrear. Seja específico: a qualidade da métrica é diretamente proporcional à clareza da sua descrição.
Exemplo de descrição genérica (evite):
“Verificar se o usuário ficou satisfeito”
Exemplo de descrição específica (use):
“Medir se o usuário conseguiu resolver seu problema de TI sem precisar de atendimento humano. Considerar resolvido quando o agente executou uma ação concreta (abertura de chamado, troubleshooting bem-sucedido, reset de senha) e o usuário confirmou ou encerrou sem escalar.”
A IA usa essa descrição para gerar o prompt de avaliação. Quanto mais contexto você der sobre o que é um “sucesso” no seu cenário, melhor o resultado.
Passo 3 — Definir as categorias de resultado
Para cada possível resultado da sua métrica, adicione uma categoria e explique à IA como ela deve reconhecer esse resultado na conversa.
Para o exemplo de Suporte de TI, as categorias ficam assim:
| Categoria | Descrição para a IA |
|---|---|
Resolvido pelo agente | O usuário confirmou que o problema foi resolvido ou o agente completou a ação solicitada (ex.: abriu chamado, fez reset) sem escalar para humano |
Escalado para humano | A conversa foi transferida para um agente humano ou o usuário solicitou explicitamente falar com uma pessoa |
Abandonado sem resolução | O usuário encerrou a conversa sem confirmação de resolução e sem escalonamento claro |
Você pode adicionar até 10 categorias. Qualquer sessão que não se enquadrar em nenhuma vai para a categoria automática Other.
Após preencher as categorias, clique em Next.
Prevendo e iterando antes de salvar
Esta etapa é onde a feature brilha — e onde muita gente pula rápido demais.
Depois de clicar em “Next”, a IA processa sua descrição e categorias e gera um prompt de avaliação. Você tem três abas para inspecionar o resultado antes de salvar:
Aba Preview — veja o gráfico antes de publicar
Mostra como a métrica vai aparecer visualmente na aba Analytics: um gráfico de rosca com as proporções de cada categoria calculadas sobre a amostra.
Aba Results — veja o raciocínio da IA por sessão
Esta é a aba mais poderosa para validação. Ela lista cada sessão da amostra (até 20) com a classificação atribuída e a justificativa da IA para aquela classificação.
Use esta aba para verificar se a IA está entendendo corretamente seu critério. Se uma sessão foi classificada de forma errada, leia a justificativa — ela vai te dizer exatamente o que na descrição causou a confusão.
Aba Prompt — transparência total sobre o que a IA está fazendo
Exibe o prompt completo que a IA gerou internamente para calcular a métrica. Não é necessário editá-lo diretamente — mas lê-lo dá transparência sobre a lógica sendo aplicada.
Iterando até acertar
Se os resultados na aba Results não estiverem corretos, volte para a primeira página do wizard (sem fechar) e ajuste:
- A descrição do que você quer medir
- O texto de alguma categoria de resultado
Cada ajuste regenera o prompt. Repita até que a amostra reflita o que você espera. Só então clique em Save metric.
Gerenciando suas métricas: editar e deletar
Editar uma métrica existente
Na aba Analytics, localize o tile da métrica em questão e clique nos três pontos (…) ? Edit.
Você pode alterar:
- A definição do outcome (campo “What do you want to measure?”)
- O texto de qualquer categoria de resultado
- Adicionar novas categorias ou remover existentes
Após editar, clique em Next ? Save metric.
Deletar uma métrica
Nos três pontos (…) do tile ? Delete ? confirmar no diálogo. A ação é irreversível.
Casos de uso práticos: onde Custom Metrics fazem diferença
Abaixo, alguns exemplos de métricas úteis por tipo de agente — para você sair com ideias concretas:
Agente de Suporte de TI
- “Qual percentual de chamados de hardware foi evitado com troubleshooting self-service?”
- Categorias:
Resolvido sem chamado|Chamado aberto|Escalado para humano
Agente de Atendimento ao Cliente (e-commerce)
- “O usuário encontrou a informação sobre status do pedido sem precisar de intervenção humana?”
- Categorias:
Informação fornecida com sucesso|Usuário ainda confuso|Transferido para atendente
Agente de RH (onboarding)
- “O colaborador em onboarding conseguiu completar a tarefa que trouxe ao agente?”
- Categorias:
Tarefa concluída|Redirecionado para outro sistema|Necessitou de ajuda humana
Agente de Vendas (qualificação de leads)
- “A conversa indicou interesse genuíno de compra do usuário?”
- Categorias:
Alto interesse|Interesse moderado|Sem interesse identificado
O padrão é sempre o mesmo: defina o outcome de negócio que importa, não o comportamento técnico.
Boas práticas para não desperdiçar as 3 vagas
Como você tem apenas 3 custom metrics por agente, escolha bem:
- Priorize outcomes ligados a KPIs do negócio — taxa de resolução, deflexão de chamados, geração de leads qualificados. Métricas de vaidade (como “usuário ficou satisfeito” sem critério) ocupam vaga sem gerar insight acionável.
- Use categorias mutuamente exclusivas — se uma sessão pode se encaixar em duas categorias ao mesmo tempo, a classificação vai ser inconsistente. Revise os critérios até que cada categoria seja inequívoca.
- Sempre valide na aba Results antes de salvar — não pule esta etapa. Um prompt mal calibrado vai calcular métricas erradas por dias até você perceber.
- Itere após 7 dias — o cálculo inicial cobre os últimos 7 dias. Após esse período, você já tem dados suficientes para ajustar a descrição se o comportamento não estiver como esperado.
- Documente as definições das métricas — anote em algum lugar (README do agente, wiki, solução) o que cada métrica mede e quais os critérios de cada categoria. Quando alguém do time editar o agente meses depois, vai agradecer.
Conclusão
Custom Metrics é uma das features de analytics mais práticas que o Copilot Studio recebeu nos últimos ciclos. A capacidade de definir o que “sucesso” significa para o seu negócio — sem escrever uma linha de código ou configurar um data warehouse — muda como você acompanha, justifica e melhora seus agentes.
A feature ainda está em preview, então não é recomendada para cenários de monitoramento crítico em produção. Mas para quem está desenvolvendo e testando agentes agora, é a oportunidade perfeita de já ir calibrando as métricas que vão contar a história certa quando o agente for ao ar de vez.
Se você experimentar, me conta lá no LinkedIn ou nos comentários aqui: qual foi o primeiro outcome de negócio que você definiu — e se a IA acertou de primeira ou precisou de algumas iterações.
Até a próxima!
Documentação oficial: Analyze your agent with custom metrics (preview)