Tempo de leitura: 5 minutos
Olá, é um prazer inenarrável estar mais uma vez escrevendo este post. Reconhecer um idioma não significa necessariamente compreender todas as formas como ele é falado. Em sistemas de transcrição automática, sotaques regionais, condições de gravação e vocabulário local podem transformar uma ferramenta aparentemente competente em uma fonte de erros frustrantes. Foi esse o desafio enfrentado pela NVIDIA ao adaptar o Nemotron 3.5 ASR para os dialetos Najdi e Hijazi, falados na Arábia Saudita.
O experimento mostra que o ajuste fino do Nemotron não depende apenas de jogar mais áudios no treinamento. A seleção dos dados, a preservação das capacidades anteriores e até a forma de decodificar a fala podem mudar bastante o resultado.
Como o ajuste fino do Nemotron foi aplicado aos dialetos sauditas
A NVIDIA usou o Nemotron 3.5 ASR, um modelo voltado à transcrição multilíngue em streaming, com suporte a 40 localidades linguísticas. Mesmo assim, o desempenho em dialetos específicos podia ficar abaixo do esperado, especialmente quando o áudio apresentava condições locais de gravação.
Para a adaptação inicial, foram escolhidos os dialetos Najdi e Hijazi, usando dados do conjunto SADA 2022. A curadoria removeu exemplos estruturalmente problemáticos, como transcrições com anotações ou taxas incompatíveis entre duração e quantidade de texto, mas evitou descartar automaticamente falas difíceis apenas por conterem sotaques fortes ou ruído.
Após essa etapa, permaneceram 103.559 de 125.490 enunciados, totalizando 133,7 horas de áudio. A decisão é importante porque uma filtragem agressiva poderia deixar o conjunto mais limpo, mas também apagar justamente os casos que o sistema precisa aprender a reconhecer.
O ajuste fino do Nemotron preservou idiomas já aprendidos
Treinar exclusivamente com os novos dialetos poderia melhorar o desempenho local e, ao mesmo tempo, enfraquecer capacidades adquiridas anteriormente. Esse fenômeno, conhecido como esquecimento catastrófico, é parecido com ensinar uma pessoa uma nova forma de falar e fazer com que ela deixe de reconhecer tudo o que já conhecia.
Para reduzir esse risco, a NVIDIA utilizou uma estratégia de replay. O conjunto de treinamento combinou 90% de fala saudita com 10% de dados do FLEURS: 7% em inglês e 3% em árabe. Em vez de simplesmente concatenar os arquivos, as proporções foram declaradas como pesos durante o carregamento dos dados.
O resultado foi uma adaptação mais equilibrada. No conjunto de teste com Najdi e Hijazi, a taxa de erro de palavras caiu de 55,05% no modelo pré-treinado para 29,96% após o treinamento. No inglês, o erro também melhorou, passando de 11,04% para 10,42%, sem deterioração observada nos demais dialetos árabes avaliados no experimento.
O que os resultados revelam sobre o ajuste fino do Nemotron
A profundidade da adaptação teve impacto direto no desempenho. Atualizar apenas as seis camadas superiores do codificador levou a uma taxa de erro de palavras de 33,42%. Com oito camadas, o resultado caiu para 32,32%. Já a atualização das 24 camadas alcançou 29,96%.
Esse resultado não significa que sempre seja melhor liberar todos os parâmetros. No experimento registrado, a configuração com oito camadas deixou 230,4 milhões de parâmetros treináveis e 407,6 milhões congelados. Congelar parte do modelo pode reduzir o custo computacional e ser uma escolha mais adequada quando há pouco dado, pouca memória ou necessidade de treinamento mais rápido.
A conclusão mais prudente é que a quantidade e a qualidade do conjunto de dados devem orientar a estratégia. O corpus usado pela NVIDIA tinha volume suficiente para sustentar uma adaptação mais ampla, mas outros idiomas e domínios podem exigir um equilíbrio diferente.
O ajuste fino do Nemotron também depende da decodificação
Nem todo ganho precisa vir de um novo treinamento. A NVIDIA testou diferentes configurações de contexto de atenção e busca em feixe no modelo já ajustado. Com o contexto mais amplo, de 13 quadros de antecipação em vez de 3, a taxa de erro caiu de 29,96% para 28,65% usando decodificação gulosa.
Ao combinar o contexto maior com MALSD em beam 8, o erro chegou a 27,25%, uma redução absoluta de 2,71 pontos percentuais em relação à configuração gulosa original. O custo foi aproximadamente 800 milissegundos adicionais de latência, o que pode ser aceitável para transcrever chamadas, reuniões e arquivos de mídia, mas inadequado para legendas ao vivo ou agentes de voz que precisam responder imediatamente.
Essa diferença ilustra um ponto frequentemente esquecido: a melhor configuração de reconhecimento não é necessariamente a que apresenta o menor erro, mas a que atende às restrições do produto. Uma transcrição em lote pode esperar mais para ganhar precisão; uma conversa em tempo real, provavelmente não.
O caminho do ajuste fino do Nemotron para outros idiomas
Segundo a NVIDIA, o fluxo pode ser aplicado a outros idiomas e domínios, desde que os detalhes sejam adaptados. Isso inclui a normalização do texto, o tratamento de scripts, a cobertura do tokenizador, as convenções de transcrição e a escolha das métricas.
O WER, por exemplo, pode não ser a melhor medida para idiomas sem separação clara entre palavras. Nesses casos, métricas baseadas em caracteres, tokens ou morfemas podem representar melhor a qualidade. Também é necessário verificar nomes próprios, números, palavras estrangeiras e frases com múltiplos sistemas de escrita antes de iniciar o treinamento.
A NVIDIA também relaciona o fluxo ao Nemotron 3 Diarization, modelo destinado a identificar quem falou e em que momento em áudios com até oito participantes. A combinação entre diarização e transcrição ajustada pode gerar registros organizados de reuniões, entrevistas, salas de aula e centrais de atendimento. A diarização, porém, não transcreve o áudio por si só: ela fornece rótulos e intervalos de falantes que podem ser associados aos tempos produzidos pelo sistema de reconhecimento.
Conclusão: o que o ajuste fino do Nemotron ensina
O ajuste fino do Nemotron aplicado aos dialetos sauditas mostra que especializar um modelo de fala é uma tarefa de engenharia, não apenas uma questão de aumentar o volume de dados. A NVIDIA combinou curadoria moderada, dados de replay, treinamento com diferentes profundidades e otimização da decodificação.
O ponto central é preservar o equilíbrio: melhorar o comportamento no cenário desejado sem apagar capacidades anteriores e sem escolher uma configuração de inferência que torne o sistema impraticável. Para aplicações em lote, mais contexto e busca em feixe podem valer a latência extra. Para conversas ao vivo, a prioridade pode ser outra.
Mais do que um resultado específico para o árabe saudita, o experimento apresenta um roteiro para adaptar modelos de reconhecimento de fala a comunidades e ambientes que os conjuntos de treinamento gerais não representam bem. O próximo passo, como sempre, é validar cada ganho em dados independentes e no cenário real em que o sistema será usado.
