Olá, é um prazer inenarrável estar mais uma vez escrevendo este post.
Tempo de leitura: 7 minutos
A NVIDIA publicou, em 21 de setembro de 2026, uma análise sobre como avaliar agentes de IA em cenários nos quais eles precisam usar ferramentas, lidar com erros e concluir tarefas em ambientes reais. A ideia central é simples, mas muda bastante a forma de medir desempenho: uma chamada de função correta não significa necessariamente que o trabalho terminou.
Um agente pode escolher a API certa, preencher os argumentos corretamente e ainda assim deixar o chamado “mundo” em um estado incorreto. Por isso, a avaliação de agentes de IA precisa acompanhar não apenas o que o modelo disse ou qual ferramenta acionou, mas também o resultado final da execução.
Por que a avaliação de agentes de IA não pode medir apenas uma chamada
Benchmarks tradicionais de modelos de linguagem geralmente analisam uma resposta, uma classificação ou uma chamada de função isolada. Esse tipo de teste continua sendo útil, mas não representa todo o trabalho de um agente. Em uma aplicação real, o sistema pode precisar consultar dados, escolher uma ferramenta, interpretar o retorno, corrigir um erro e executar novas ações em sequência.
A NVIDIA cita o Berkeley Function-Calling Leaderboard como exemplo de avaliação voltada à seleção de ferramentas e à precisão dos argumentos. Porém, uma chamada válida para emitir um reembolso não garante que as verificações necessárias foram feitas ou que a atualização realmente foi registrada. A chamada pode estar correta enquanto a tarefa permanece incompleta.
É como avaliar um funcionário apenas pela primeira tela que ele abriu, sem conferir se o pedido foi resolvido. A avaliação de agentes de IA precisa enxergar a cadeia inteira.
Como funciona a avaliação de agentes de IA em um ambiente executável
Para medir uma tarefa completa, o benchmark precisa oferecer um ambiente que execute as chamadas, mantenha o estado entre as etapas e verifique o resultado ao final. Assim, o teste deixa de observar somente uma sequência de textos e passa a acompanhar uma execução concreta.
Dois níveis de pontuação
A NVIDIA separa esse processo em duas camadas. A pontuação em nível de etapa verifica se cada chamada foi válida, relevante e útil diante do estado atual do ambiente. Ela ajuda a descobrir onde a cadeia se rompeu, quais ações foram redundantes e em que ponto o agente precisou se recuperar.
Já a pontuação de resultado final, chamada de E2E, ignora o caminho percorrido e confere se o ambiente terminou no estado esperado. O reembolso foi registrado? O chamado foi encaminhado corretamente? Os testes do código passaram? Para quem usa o sistema, esse resultado costuma ser mais importante do que a elegância do caminho utilizado.
As duas perspectivas são complementares. A avaliação E2E funciona como uma espécie de portão de lançamento, enquanto o rastreamento por etapas ajuda a depurar o agente e orientar ajustes posteriores.
Quais métricas entram na avaliação de agentes de IA
Segundo a estrutura apresentada pela NVIDIA, os resultados devem ser organizados em uma hierarquia: benchmark, trial, task, turn e step. Um trial é uma execução independente do conjunto de tarefas; uma task é um problema avaliável; um turn representa uma troca entre usuário e agente; e um step é uma ação atômica, como uma chamada de ferramenta ou uma resposta final.
As métricas principais se distribuem por três eixos: precisão, verbosidade e custo. A taxa de sucesso mostra quantas tarefas chegaram ao estado esperado. A consistência indica quanto esse resultado varia entre diferentes execuções. Já a precisão das chamadas e dos argumentos ajuda a separar uma ferramenta escolhida incorretamente de uma ferramenta certa preenchida com dados errados.
Também é importante medir o número de etapas por tarefa bem-sucedida e o custo por sucesso. Um agente que acerta, mas precisa de quinze etapas e muito mais recursos para fazer o mesmo trabalho, pode ser menos interessante em produção do que outro que alcança resultado semelhante com uma trajetória mais eficiente.
A consistência merece atenção especial. Um agente que obtém 90% de sucesso em uma rodada e 74% em outra não deve ser descrito apenas por uma média confortável. Sistemas estocásticos precisam ser avaliados em várias tentativas para que a empresa conheça a faixa real de desempenho.
Como interpretar a avaliação de agentes de IA em benchmarks diferentes
Dois benchmarks podem usar a expressão “tool calling” e ainda medir capacidades muito diferentes. A complexidade das tarefas é um dos fatores decisivos: uma chamada única não revela se o agente consegue planejar, recuperar-se de falhas e manter o contexto após quinze etapas.
O estado do ambiente também importa. Testes nos quais cada ação altera uma base de dados, um repositório ou um sistema de chamados expõem problemas que avaliações estáticas não conseguem mostrar. Por isso, a NVIDIA considera a verificação executável — como confirmar uma alteração no banco ou a aprovação de testes — preferível a uma simples comparação com uma resposta de referência.
Quando não existe uma verificação automática, avaliadores baseados em modelos de linguagem podem ser usados, mas seus resultados devem ser tratados com cautela e comparados com avaliações humanas em uma amostra. Um número produzido por outro modelo não se torna automaticamente uma verdade só porque aparece em uma tabela.
O exemplo apresentado no material usa uma tarefa do SWE-bench Verified, na qual um agente precisa modificar um repositório real para resolver um problema e passar pelos testes. A execução mostra como uma etapa redundante pode reduzir a pontuação de processo, mesmo quando o resultado final é aprovado.
O que a avaliação de agentes de IA revela sobre modelos recentes
A NVIDIA também usa o Nemotron 3.5 Lightning para ilustrar a diferença entre medir chamadas isoladas e observar tarefas concluídas. De acordo com os dados publicados pela empresa, o modelo alcançou 86% de precisão no PinchBench e concluiu 10 mil tarefas até 30% mais rápido que o Qwen3.6 35B em uma comparação apresentada no artigo.
Esses números devem ser lidos como resultados de um benchmark específico, e não como uma garantia universal de desempenho. Um modelo pode ter bons resultados públicos e ainda apresentar dificuldades quando precisa operar com os tickets, APIs, políticas e limites de uma empresa.
É nesse ponto que a avaliação de agentes de IA deixa de ser apenas uma disputa entre modelos e passa a ser uma ferramenta de decisão. O que importa não é somente qual modelo alcança a maior pontuação em uma tabela, mas qual deles consegue concluir o trabalho que realmente será colocado em produção.
Como aplicar a avaliação de agentes de IA no ambiente da empresa
O primeiro passo é estabelecer um ponto de comparação com um benchmark público e registrar tanto a taxa de sucesso quanto a variação entre várias tentativas. Em seguida, a equipe deve criar uma avaliação própria usando tickets reais, rastros de execução e APIs do domínio em que o agente será utilizado.
O critério de aprovação precisa estar ligado ao estado do ambiente: uma linha atualizada no banco, um pull request mesclado, um chamado encerrado ou um teste aprovado. A mensagem final do agente pode ser analisada por um avaliador de linguagem, mas não deve substituir a verificação da consequência concreta.
Também vale manter os rastros de cada tentativa. Eles mostram se o problema está na escolha da ferramenta, nos argumentos, no planejamento, no excesso de etapas ou na incapacidade de recuperar-se de uma falha. Para quem acompanha a consistência de agentes de IA, essa diferença entre acertar uma vez e repetir o resultado é especialmente importante.
Na prática, a melhor avaliação combina sucesso final, consistência, quantidade de etapas e custo. É uma forma mais trabalhosa de testar, mas também muito mais próxima da experiência que o usuário terá.
Conclusão: a avaliação de agentes de IA precisa medir o trabalho terminado
A principal conclusão do material da NVIDIA é que chamadas de ferramentas são apenas partes de uma execução maior. Elas ajudam a explicar como o agente trabalha, mas não respondem sozinhas à pergunta mais importante: a tarefa foi concluída corretamente?
A avaliação de agentes de IA mais útil combina análise das etapas com verificação do estado final. A primeira mostra por que o agente falhou; a segunda confirma se o usuário recebeu o resultado esperado. Sem essa combinação, uma chamada tecnicamente correta pode esconder uma cadeia incompleta, cara ou frágil.
Para empresas, o caminho mais seguro é usar benchmarks públicos como referência e construir testes privados com tarefas reais. Afinal, a diferença entre um agente impressionante em uma demonstração e um agente confiável em produção costuma aparecer justamente depois da primeira chamada de ferramenta.
