Tempo de leitura: 5 minutos
Olá, é um prazer inenarrável estar mais uma vez escrevendo este post. A NVIDIA publicou, em 10 de setembro de 2026, novos resultados sobre o desempenho do Nemotron 3 Ultra em um sistema equipado com quatro GPUs B200. Segundo a empresa, otimizações NIM fizeram o sistema alcançar 1.997 tokens por segundo, contra 718 tokens por segundo em uma configuração de referência sem essas otimizações.
Na prática, o resultado representa mais de 2,5 vezes o throughput do sistema no cenário avaliado. Mas o número não surgiu de um único recurso mágico: ele é consequência da combinação entre kernels ajustados, paralelismo, reutilização de contexto, gerenciamento de memória, agendamento e decodificação especulativa. É justamente essa combinação que merece atenção.
Como as otimizações NIM aumentaram a capacidade do Nemotron 3 Ultra
O teste foi realizado em quatro GPUs NVIDIA B200, usando um workload de agente de IA com contexto de 64 mil tokens, 400 tokens de saída, 76% de reutilização de cache KV e uma meta de 50 tokens por segundo para cada usuário. Essa última medida é importante porque o objetivo não era apenas produzir o maior volume possível de tokens, mas preservar uma experiência interativa.
Na configuração sem as otimizações NIM, o sistema chegou a 718 tokens por segundo. Com o NIM 2.0.12 e sua configuração otimizada, alcançou 1.997 tokens por segundo. Como a meta de interatividade permaneceu em 50 tokens por segundo por usuário, o ganho de throughput pode ser convertido em uma capacidade maior de usuários simultâneos no mesmo hardware.
É como abrir mais caixas em um supermercado sem aumentar o tamanho da loja: o benefício não está apenas em atender uma pessoa mais rapidamente, mas em manter mais atendimentos acontecendo ao mesmo tempo sem deixar a fila crescer demais.
O que está por trás das otimizações NIM
As otimizações NIM não funcionam como uma lista de melhorias independentes cujos percentuais podem simplesmente ser somados. O desempenho surge da interação entre várias decisões de engenharia, ajustadas ao modelo, às GPUs e ao objetivo de latência.
Otimizações NIM para kernels e precisão
A configuração usa kernels ajustados automaticamente para a arquitetura do modelo e para as GPUs Blackwell. O material da NVIDIA destaca, entre outros pontos, kernels voltados para as camadas de mixture of experts e Mamba. A ideia é fazer com que cada parte do modelo use os recursos disponíveis de maneira mais eficiente.
Otimizações NIM para paralelismo
O tensor parallelism distribui o modelo pelas quatro GPUs do sistema. Além disso, a execução orientada aos especialistas busca melhorar a utilização nas camadas de mixture of experts. Em modelos grandes, distribuir o trabalho de forma equilibrada é essencial: uma GPU ociosa enquanto outra fica sobrecarregada pode anular boa parte do investimento em hardware.
Otimizações NIM para reutilização de contexto
Workloads de agentes de IA frequentemente repetem instruções, históricos e partes de documentos ao longo de várias etapas. Por isso, o NIM utiliza cache de prefixo, correspondência parcial de prefixos e ajustes no cache de estado do Mamba. Quando um trecho do contexto já foi processado, reutilizá-lo evita que o sistema refaça o mesmo trabalho.
Otimizações NIM para agendamento e decodificação
Limites de sequências simultâneas, quantidade de tokens processados em lote, tamanho de blocos e alocação de memória da GPU foram ajustados para manter mais tarefas em execução sem ultrapassar o objetivo de latência. A configuração também inclui MTP, ou speculative decoding, que tenta antecipar tokens e pode acelerar a geração quando há uma taxa de aceitação adequada e memória disponível.
Por que as otimizações NIM importam para agentes de IA
Em aplicações tradicionais, uma solicitação pode ser curta e relativamente simples. Já um agente de IA costuma executar várias etapas: interpretar um objetivo, consultar informações, chamar ferramentas, analisar resultados e produzir uma resposta final. Esse fluxo aumenta o uso de contexto e torna a reutilização de estados especialmente valiosa.
Também existe uma diferença entre throughput máximo e experiência do usuário. Um sistema pode produzir muitos tokens no total, mas ainda parecer lento para cada pessoa. O benchmark apresentado pela NVIDIA tenta equilibrar essas duas dimensões ao medir o throughput do sistema com uma meta de 50 tokens por segundo por usuário, equivalente a um intervalo entre tokens de 20 milissegundos.
Isso não significa que toda aplicação terá exatamente o mesmo ganho. O resultado depende do tamanho dos prompts, do padrão de reutilização, da concorrência, do modelo de tráfego e da meta de latência. As otimizações NIM oferecem um ponto de partida validado, não uma garantia universal.
Como avaliar as otimizações NIM no próprio workload
A NVIDIA recomenda testar o NIM usando tráfego representativo da aplicação. Em vez de confiar apenas em um número publicado, as equipes podem reproduzir solicitações reais ou controladas, medir diferentes níveis de concorrência e construir uma curva de desempenho que relacione throughput e latência.
Para uma comparação confiável, é importante manter as versões de software fixas, usar a mesma configuração de hardware e sanitizar os dados sensíveis antes de preparar os traces. A recomendação apresentada no material é utilizar o NIM 2.0.12 ou uma versão posterior e empregar o NVIDIA AIPerf para reproduzir o tráfego.
O ponto mais útil da curva não é necessariamente o maior throughput. É o ponto que atende ao acordo de nível de serviço da aplicação sem desperdiçar recursos. Uma empresa pode preferir um pouco menos de velocidade total se isso resultar em respostas mais estáveis, menor custo operacional ou maior margem para picos de demanda.
O que o resultado das otimizações NIM realmente mostra
O estudo de caso mostra que servir um modelo grande em produção envolve muito mais do que carregar os pesos e iniciar um endpoint. Precisão, kernels, paralelismo, memória, cache, batching, scheduler e estratégia de decodificação precisam trabalhar em conjunto.
No cenário específico de quatro B200 e do Nemotron 3 Ultra, as otimizações NIM elevaram o throughput de 718 para 1.997 tokens por segundo, uma diferença superior a 2,5 vezes. Isso pode permitir atender mais usuários simultâneos com o mesmo conjunto de GPUs, desde que o workload real tenha características próximas às do benchmark.
A NVIDIA também posiciona o NIM como um caminho de implantação que reúne configurações validadas, APIs padronizadas e um ciclo de atualização voltado a ambientes corporativos. Para quem pretende testar a tecnologia, o Nemotron 3 Ultra NIM está disponível no NGC, enquanto a documentação oficial apresenta as orientações de implantação e configuração.
O detalhe mais importante, portanto, é que o ganho não vem apenas do modelo nem apenas da GPU. Ele aparece quando toda a cadeia de inferência é ajustada para o comportamento esperado da aplicação. Antes de assumir que um número de benchmark se repetirá no ambiente real, a decisão mais prudente é reproduzir o próprio tráfego e escolher o ponto que melhor equilibra latência, capacidade e custo.
