Tempo de leitura: 5 minutos
Olá, é um prazer inenarrável estar mais uma vez escrevendo este post. Resultados de benchmarks de inteligência artificial costumam aparecer como números fáceis de comparar, mas difíceis de interpretar. Uma pontuação maior nem sempre significa que um modelo é melhor: o resultado também depende do orçamento de inferência, do protocolo, das ferramentas e de outras escolhas feitas durante o teste.
É justamente esse problema que o UK AI Security Institute (AISI) e a EvalEval Coalition estão tentando enfrentar. Em uma atualização publicada em 22 de setembro de 2026, as organizações anunciaram o uso da infraestrutura da EvalEval para compartilhar resultados de avaliações de forma mais aberta, verificável e reproduzível. A mudança parece técnica, mas pode alterar a maneira como pesquisadores, empresas e formuladores de políticas comparam modelos de IA.
Por que avaliações reproduzíveis de IA são importantes
À medida que sistemas de IA são usados em mais situações, as avaliações se tornam uma das principais fontes de evidência sobre o desempenho desses modelos. O problema é que os resultados ainda são publicados em formatos, plataformas e relatórios diferentes, muitas vezes sem informações suficientes para que outra equipe consiga repetir o experimento.
Reexecutar uma avaliação também pode ser caro. Dependendo do benchmark, do modelo e da quantidade de computação usada durante a inferência, repetir o teste pode exigir recursos significativos. Sem os detalhes do procedimento, uma pontuação acaba funcionando como uma fotografia sem data, câmera ou condições de iluminação: ela mostra algo, mas não explica completamente como aquele resultado foi produzido.
A EvalEval busca reduzir essa dificuldade com o esquema Every Eval Ever (EEE) e com as Evaluation Cards, uma plataforma que organiza resultados, metadados dos benchmarks, configurações de execução e informações sobre os modelos em uma estrutura comum.
Como AISI está compartilhando avaliações reproduzíveis de IA
Nesta nova fase da colaboração, o AISI está disponibilizando métodos e resultados de avaliações públicas por meio das Evaluation Cards, quando isso é apropriado. O lançamento inclui resultados verificados, informações de contexto e dados de configuração relacionados a cinco benchmarks usados no experimento principal do estudo How Inference Compute Shapes Frontier LLM Evaluation:
- HealthBench;
- FrontierMath;
- Humanity’s Last Exam;
- SWE-Bench Pro;
- Terminal-Bench 2.0.
Os resultados abrangem seis modelos de fronteira: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 e GPT-5.4. O material também inclui dados de duas avaliações relacionadas à cibersegurança, chamadas Cyber CTFs e The Last Ones, que usam um conjunto diferente e parcialmente sobreposto de modelos.
O foco não está apenas na pontuação final. O AISI também destaca a importância da transparência no nível dos transcripts, pois os registros podem ajudar pesquisadores a analisar como uma resposta foi produzida, identificar falhas e entender diferenças entre protocolos.
O protocolo pode mudar o resultado das avaliações reproduzíveis de IA
Um dos pontos mais importantes apresentados no material é que o desempenho de um modelo pode variar bastante conforme o modo como a avaliação é conduzida. No caso do benchmark Humanity’s Last Exam, por exemplo, os resultados foram observados sob diferentes orçamentos de inferência e com feedback de um oráculo indicando se cada tentativa estava correta.
Com esse retorno, os modelos puderam continuar tentando resolver tarefas à medida que o número de tokens aumentava. As curvas apresentadas nas Evaluation Cards mostram a taxa acumulada de sucesso em relação ao menor número observado de tokens necessário para resolver cada tarefa.
Isso não significa que uma configuração seja automaticamente mais válida do que outra. Significa que comparações precisam deixar claro o que foi medido. Uma pontuação obtida com orçamento maior, feedback de correção ou uma ferramenta específica não deve ser comparada sem cuidado com um resultado produzido em um cenário fixo e mais limitado.
O mesmo princípio aparece nos dados do Terminal-Bench 2.0, em que os resultados do AISI são apresentados ao lado de outras avaliações para os mesmos modelos. As configurações podem ser diferentes em aspectos como scaffolds, orçamento, cobertura de tarefas e protocolo de submissão. O número isolado, portanto, não conta toda a história.
O que as Evaluation Cards mudam nas avaliações reproduzíveis de IA
As Evaluation Cards funcionam como uma camada de documentação para avaliações. Em vez de apresentar apenas uma tabela com notas, elas reúnem informações que ajudam a interpretar de onde cada resultado veio e em quais condições ele pode ser comparado com outros.
Para pesquisadores, isso facilita a análise de estudos individuais e a realização de comparações mais cuidadosas entre benchmarks. Para empresas e desenvolvedores, pode ajudar a identificar quais modelos apresentam desempenho consistente em determinado cenário, sem confundir uma pontuação de laboratório com uma garantia de desempenho em produção.
O trabalho também se conecta a outras iniciativas do AISI, como o OptStop, voltado à eficiência das avaliações, e o HiBayES, que busca tornar a análise estatística de avaliações de modelos de linguagem mais rigorosa. A ideia geral é tratar a avaliação como um processo científico documentado, e não como uma competição de placares.
Essa preocupação também aparece em outras abordagens de avaliação, como a análise de agentes de IA que considera chamadas de ferramentas, etapas intermediárias, custo e conclusão real das tarefas. Em cenários mais complexos, avaliar agentes de IA exige olhar além da resposta final.
O futuro das avaliações reproduzíveis de IA
A EvalEval espera que mais organizações adotem o esquema Every Eval Ever e compartilhem resultados usando estruturas comuns. Modelos, desenvolvedores de benchmarks e pesquisadores de avaliação podem contribuir com dados verificados, registros de execução e metadados que ajudem a interpretar os resultados.
Se essa prática se espalhar, será possível construir comparações mais úteis entre modelos e estudos. Também ficará mais fácil perceber quando dois resultados aparentemente semelhantes foram obtidos sob condições significativamente diferentes.
A principal mensagem da parceria entre AISI e EvalEval é simples: um benchmark não é apenas uma nota. Ele é o resultado de um conjunto de decisões sobre tarefas, modelos, orçamento, ferramentas, feedback e critérios de sucesso. Tornar essas escolhas visíveis é o que transforma avaliações de IA reproduzíveis em evidência realmente útil.
Por isso, a iniciativa pode representar um avanço importante para a pesquisa e para a governança de IA. A pergunta deixa de ser apenas “qual modelo teve a maior pontuação?” e passa a ser “como essa pontuação foi obtida, e em que condições ela continua válida?”.
