Tempo de leitura: 6 minutos
Olá, é um prazer inenarrável estar mais uma vez escrevendo este post. Agentes de IA que usam o Model Context Protocol (MCP) podem consultar bancos de dados, registros de clientes, documentos e ferramentas diferentes antes de formular uma resposta. Isso amplia bastante o que eles conseguem fazer, mas também cria um problema menos óbvio: uma afirmação pode estar correta e, ainda assim, ser atribuída à fonte errada.
É justamente esse tipo de falha que o trabalho ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents tenta identificar. A proposta, apresentada em um artigo publicado em 29 de setembro de 2026, não verifica apenas se existe alguma evidência para uma frase. Ela também pergunta se a evidência veio da fonte que o agente mencionou ou deixou implícita.
Por que a verificação orientada à fonte importa em agentes MCP
Imagine um agente de atendimento que consulta o cadastro de uma conta e um documento de políticas da empresa. Depois, ele responde: “Segundo o cadastro da conta, este plano oferece uma janela de reembolso de 30 dias”. O prazo pode realmente existir, mas estar descrito apenas na política geral, não no cadastro individual.
Se todas as respostas das ferramentas forem reunidas em um único bloco de contexto, um verificador tradicional provavelmente encontrará o prazo de 30 dias e considerará a frase correta. O problema é que a resposta não apenas afirma um fato: ela também estabelece uma relação de procedência entre o fato e uma fonte específica.
Essa diferença é importante em áreas sensíveis. Em um agente clínico, por exemplo, um detalhe do histórico de um paciente não deve ser apresentado como se viesse de um artigo científico. O dado pode ser verdadeiro, mas a atribuição errada muda o significado e pode afetar a confiança de quem lê a resposta.
Como a verificação orientada à fonte funciona
O ProvenanceGuard atua depois que o agente gera uma resposta. A ferramenta recebe o texto produzido e o registro das chamadas MCP, preservando a identidade das fontes consultadas em vez de misturá-las em um contexto anônimo.
O fluxo descrito pelos autores passa por várias etapas. Primeiro, a resposta é dividida em afirmações menores. Em seguida, o sistema procura a fonte mais relevante para cada afirmação e verifica se essa fonte realmente oferece suporte ao conteúdo. Depois, compara a fonte encontrada com aquela que a resposta nomeia ou sugere. Por fim, produz uma decisão por afirmação e uma decisão geral, que pode permitir ou bloquear a resposta.
Nos experimentos apresentados, modelos locais foram usados para localizar fontes relevantes, verificar relações de suporte e decompor as respostas em afirmações. O sistema também confere valores literais, como números, datas e identificadores. Assim, uma frase não passa apenas porque parece plausível ou porque uma informação parecida aparece em algum ponto do conjunto de evidências.
Quando uma resposta é bloqueada, o fluxo pode tentar uma revisão baseada nas fontes ou recorrer a um texto de fallback. A versão revisada passa novamente pela verificação. Essa escolha é deliberadamente conservadora: em aplicações sensíveis, admitir que não há evidência suficiente pode ser preferível a preencher a lacuna com uma atribuição incorreta.
Resultados da verificação orientada à fonte no estudo
O estudo avaliou o método usando respostas de um agente médico que consultava registros de pacientes, artigos de pesquisa e outras ferramentas. Segundo o artigo, foram analisados 281 rastros reais. Para o teste principal, especialistas examinaram 361 afirmações distribuídas em 40 respostas reservadas para avaliação.
Os especialistas consideraram que 139 afirmações não deveriam passar. O ProvenanceGuard bloqueou 138 delas e deixou uma passar. Ao mesmo tempo, reteve 67 afirmações que os especialistas consideraram apoiadas, encaminhando-as para revisão ou reparo. O resultado mostra a preferência do sistema por reduzir falsos negativos, mesmo ao custo de solicitar uma segunda análise em alguns casos legítimos.
Nas afirmações com uma fonte identificável, o método escolheu a fonte correta em aproximadamente 86% dos casos desse teste. Em uma avaliação com várias fontes semelhantes, alcançou F1 de 0,846 para decidir quais afirmações deveriam ser bloqueadas, mas identificou exatamente a fonte correta em 50,3% das afirmações. Isso indica que distinguir documentos muito parecidos continua sendo uma dificuldade relevante.
Também houve um teste controlado em que a fonte indicada foi trocada em 50 casos, mantendo a evidência de suporte. O sistema detectou todas as 50 trocas. Esse resultado é mais específico do que uma medição geral de factualidade: ele mostra a capacidade de encontrar uma atribuição claramente incompatível, mas não elimina os desafios de cenários com muitas fontes plausíveis.
O que muda na avaliação de agentes com verificação orientada à fonte
Verificadores tradicionais de factualidade, como os comparados no estudo, podem responder se uma afirmação é apoiada pelo conjunto de evidências disponível. Isso continua sendo útil, mas não responde necessariamente a uma pergunta central em fluxos com várias ferramentas: qual saída de ferramenta sustenta esta afirmação?
A distinção aproxima a verificação de uma auditoria. Um revisor pode examinar a afirmação, a fonte associada e a decisão tomada pelo sistema, em vez de receber apenas uma pontuação geral de “resposta fundamentada”. Essa visibilidade é especialmente útil quando o agente acessa dados pessoais, informações financeiras ou documentos com níveis diferentes de autoridade.
A questão também se conecta ao debate mais amplo sobre avaliação de agentes de IA. Medir apenas a resposta final pode esconder erros nas chamadas de ferramentas, nas etapas intermediárias e na relação entre evidência e conclusão. Preservar os rastros torna possível avaliar não só se o agente chegou a uma resposta, mas como construiu a justificativa.
Limites e aplicações da verificação orientada à fonte
O método não transforma automaticamente qualquer agente em uma fonte confiável. Ele depende de que o sistema registre as saídas das ferramentas e seus identificadores de origem. Também precisa ser calibrado para o ambiente em que será usado, já que os números divulgados no artigo correspondem à configuração local avaliada pelos autores, não a uma garantia universal de desempenho.
Outro limite aparece quando diferentes documentos trazem informações parecidas. Encontrar a evidência correta entre fontes quase idênticas exige mais do que localizar termos semelhantes. Em situações assim, a revisão humana continua importante, principalmente quando uma decisão errada pode causar impacto clínico, financeiro ou operacional.
A abordagem pode ser adaptada a outros setores. O material cita uma integração opcional no NVFlow, da NVIDIA, voltada à verificação de respostas de um agente financeiro contra trechos recuperados da Comissão de Valores Mobiliários dos Estados Unidos. Nesse caso, as decisões de verificação são registradas separadamente, sem alterar o treinamento ou a implantação original do agente.
Conclusão: a verificação orientada à fonte vai além de checar fatos
Em agentes MCP, dizer que uma resposta é “fundamentada” pode significar duas coisas diferentes: que o fato aparece em algum resultado consultado ou que ele é sustentado pela fonte que a resposta cita. O trabalho do ProvenanceGuard chama atenção para essa diferença e trata a procedência como parte da própria factualidade.
A ideia central é simples, mas suas consequências são importantes: manter a identidade das fontes durante a decomposição das afirmações, a checagem de suporte e a decisão final. Isso ajuda a detectar a chamada conflagração entre fontes, quando uma informação verdadeira é apresentada como se tivesse vindo de outro lugar.
Para equipes que desenvolvem agentes com várias ferramentas, a pergunta prática passa a ser: quando o sistema diz que uma resposta está fundamentada, ele sabe apontar qual fonte sustenta cada afirmação? A verificação orientada à fonte não elimina a necessidade de supervisão, mas pode transformar uma resposta difícil de auditar em uma decisão que o revisor consegue inspecionar.
