Tempo de leitura: 5 minutos
Olá, é um prazer inenarrável estar mais uma vez escrevendo este post. A OpenAI anunciou uma colaboração com a Ironclad para treinar e avaliar agentes de IA em contratos, usando tarefas que envolvem regras de aprovação, documentos jurídicos e fluxos de compras. A proposta vai além de fazer uma ação isolada em um software: o agente precisa entender o processo completo, manter as exigências em mente e verificar se o resultado final está correto.
Esse tipo de trabalho parece simples quando descrito em uma lista. Na prática, porém, basta uma regra ser esquecida no meio do caminho para comprometer todo o processo. É justamente essa diferença entre clicar nos lugares certos e concluir uma tarefa profissional de ponta a ponta que a parceria tenta medir.
Como os agentes de IA em contratos foram avaliados
Segundo a OpenAI, pesquisadores trabalharam com funcionários da Ironclad e usuários da plataforma para identificar 11 tarefas ligadas a atividades jurídicas, comerciais e de compras. Entre os exemplos estão a criação de acordos de confidencialidade, a configuração de processos de aprovação para compras e a atualização de cláusulas reutilizáveis conforme a jurisdição escolhida pelo solicitante.
Cada tarefa foi avaliada com base em um conjunto de critérios. Dependendo da complexidade, eram considerados entre 8 e 50 requisitos diferentes. Assim, a avaliação não verificava apenas se o agente chegou a uma tela específica, mas se configurou corretamente o fluxo e preservou as regras definidas pela empresa.
Um exemplo ajuda a entender o desafio: uma compra acima de determinado valor pode exigir aprovação do departamento financeiro, enquanto termos fora do padrão precisam passar pelo jurídico. Um agente precisa configurar essas condições e depois verificar se solicitações acima e abaixo do limite seguem caminhos diferentes. É mais parecido com revisar um processo de negócios do que com preencher um formulário.
Os pesquisadores também criaram tarefas sintéticas a partir de contratos públicos disponíveis na base EDGAR da SEC, aplicando filtros para remover informações pessoais. A OpenAI afirma que não usou dados de clientes, contratos internos ou contratos não públicos da Ironclad no treinamento e na avaliação.
O desempenho dos agentes de IA em contratos
A OpenAI comparou o GPT-6 Astra ao GPT-5.6 Sol em 11 tarefas de pesquisa. De acordo com os resultados divulgados, o Astra obteve pontuação média de 55,0%, contra 41,6% do Sol. O tempo médio estimado por tentativa também caiu de 37,0 minutos para 19,2 minutos.
Esses números precisam ser lidos com cuidado. Os tempos são estimativas simuladas baseadas em velocidades presumidas de processamento e geração, e não representam economia de tempo medida em clientes. Além disso, os resultados cobrem as 11 tarefas criadas para a pesquisa, não todos os fluxos possíveis da Ironclad.
Em uma das demonstrações citadas pela empresa, o GPT-6 Astra teria atendido a cerca de 94% dos critérios em uma tarefa, com tempo estimado de 20 minutos. O GPT-5.6 Sol teria alcançado aproximadamente 85% em 32 minutos. A diferença sugere avanço tanto na capacidade de seguir requisitos quanto na eficiência, mas não elimina a necessidade de revisão humana.
Por que os agentes de IA em contratos precisam entender o processo inteiro
O ponto mais importante da colaboração está na natureza dos contratos empresariais. Uma plataforma desse tipo precisa lidar com exceções sem perder os controles definidos pela organização. Se o agente entende cada etapa isoladamente, mas deixa de conectar uma aprovação ao tipo correto de solicitação, o resultado pode parecer pronto e ainda assim estar errado.
É por isso que avaliar o estado final da tarefa importa tanto quanto acompanhar as ações executadas. Essa preocupação também aparece em pesquisas sobre agentes empresariais, como no ThinkingBox, que examina se um agente realmente deixa o banco de dados em um estado consistente depois de concluir uma operação.
Na prática, os agentes de IA em contratos funcionam menos como assistentes que apenas apertam botões e mais como profissionais que precisam interpretar regras, operar ferramentas e fazer uma conferência final. A diferença é relevante: uma tarefa profissional não termina quando o software aceita a última alteração, mas quando o processo atende ao objetivo original.
O que a parceria significa para empresas e equipes jurídicas
Para a Ironclad, a colaboração oferece uma maneira de levar dificuldades reais dos clientes diretamente para o desenvolvimento dos modelos. Para a OpenAI, o trabalho fornece tarefas específicas, critérios detalhados e ambientes controlados nos quais os agentes podem praticar e receber feedback.
Esse modelo de pesquisa pode influenciar outras áreas profissionais. Em vez de medir um agente apenas por respostas corretas em uma conversa, empresas podem avaliá-lo pelo resultado deixado em uma ferramenta, pela consistência das decisões e pela capacidade de respeitar políticas internas. O avanço dos dados sintéticos para treinar agentes empresariais segue uma lógica parecida: transformar falhas observadas em tarefas verificáveis.
Ainda assim, a própria OpenAI destaca que a supervisão humana continua importante. Contratos envolvem exceções, responsabilidades e consequências que não podem ser reduzidas a uma pontuação de benchmark. Um agente pode acelerar a configuração de um fluxo, mas a empresa ainda precisa definir quem aprova, quais limites são aceitáveis e como os resultados serão auditados.
O futuro dos agentes de IA em contratos
A parceria entre OpenAI e Ironclad mostra uma direção clara para os agentes de IA em contratos: sair das demonstrações de uso genérico do computador e entrar em processos profissionais com regras, exceções e critérios de sucesso bem definidos. O ganho mais relevante não está apenas em executar etapas mais rapidamente, mas em manter o contexto durante todo o fluxo.
O resultado divulgado é promissor, mas ainda representa uma avaliação controlada, não uma prova de que esses agentes possam operar contratos sem acompanhamento. A resposta para a questão levantada no início está justamente aí: concluir uma tarefa complexa exige mais do que executar ações individuais. É preciso compreender as regras do negócio, verificar o resultado e preservar os controles da equipe.
Se essa combinação continuar avançando, os agentes de IA em contratos poderão assumir uma parte maior do trabalho operacional de equipes jurídicas, comerciais e de compras. Mas o caminho mais seguro não será entregar o processo inteiro a uma caixa-preta. Será criar sistemas nos quais a automação execute o trabalho repetitivo, enquanto as pessoas continuam responsáveis pelas decisões que realmente importam.
