Olá, é um prazer inenarrável estar mais uma vez escrevendo este post. A OpenAI afirmou ter identificado e interrompido uma campanha coordenada para extrair o raciocínio protegido de seus modelos. O caso, segundo a empresa, não envolveu invasão de bancos de dados ou quebra de criptografia, mas uma manipulação sistemática das interações com os modelos. O episódio ajuda a revelar por que a distilação de modelos se tornou uma preocupação de segurança para toda a indústria de inteligência artificial.
A atividade começou em 1º de julho de 2026 e evoluiu rapidamente. Em determinado momento, operadores tentaram fazer com que informações ocultas fossem reproduzidas em formatos visíveis para quem fazia as solicitações. A questão central é entender como esse tipo de extração funciona e por que ele pode facilitar a reprodução de capacidades avançadas sem repetir o mesmo investimento em segurança.
O que a distilação de modelos tem a ver com o raciocínio protegido
Na explicação da OpenAI, o raciocínio protegido é o registro interno usado pelo modelo para trabalhar em uma tarefa, enquanto a resposta final é o conteúdo apresentado ao usuário. A empresa afirma que esse material pode conter informações que não deveriam ser expostas diretamente.
A distilação de modelos ocorre quando as respostas ou os processos de um modelo são usados sistematicamente para treinar, reproduzir ou melhorar outro sistema. Em aplicações legítimas, técnicas de distilação podem ajudar a criar modelos menores e mais eficientes. O problema descrito pela OpenAI envolve o uso não autorizado e coordenado das interações para extrair capacidades protegidas.
Uma forma simples de imaginar o risco é pensar em alguém que não copia apenas o resultado de uma prova, mas tenta registrar todas as etapas usadas por um aluno excepcional para resolver problemas diferentes. Com amostras suficientes, o observador pode tentar reconstruir parte da habilidade original em outro sistema.
Como a campanha de distilação de modelos foi identificada
A OpenAI disse ter observado tentativas de copiar raciocínios criptografados de uma conversa e pedir a um modelo, em outra conversa, que descriptografasse e transcrevesse o conteúdo oculto. Pesquisadores independentes também relataram vulnerabilidades relacionadas a interações entre modelos e à compactação de conversas. Segundo a empresa, a investigação confirmou que esses caminhos de ataque eram reais.
O volume da atividade aumentou em 24 e 25 de julho, quando foram registradas 16 mil solicitações usando um padrão de extração relevante, distribuídas entre mais de 4 mil usuários. A nota esclarece que esses números representam tentativas, e não necessariamente extrações bem-sucedidas.
Uma investigação mais ampla identificou padrões de prompts relacionados em um grupo de mais de 15 mil usuários. A OpenAI afirma que interrompeu completamente essa atividade até 28 de julho. A empresa também ressalta que não está claro se todos os operadores pertenciam a um único grupo, embora atribua um núcleo da campanha a indivíduos associados à Moonshot AI, desenvolvedora do Kimi.
Por que a distilação de modelos preocupa a indústria
O principal risco da distilação de modelos é permitir que capacidades avançadas sejam transferidas para outro sistema sem que as mesmas proteções acompanhem essa transferência. Um modelo pode aplicar filtros e recusas na interface voltada ao usuário, enquanto uma cópia treinada com dados extraídos tenta reproduzir parte de suas habilidades sem os mesmos mecanismos de segurança.
Essa preocupação se torna maior em áreas de uso duplo, nas quais uma capacidade pode ter aplicações legítimas e também ser usada de forma prejudicial. A distilação em grande escala pode acelerar a criação de modelos concorrentes ou especializados, reduzindo o custo necessário para alcançar determinados resultados.
A OpenAI afirma que o problema não é exclusivo de seus sistemas. Como técnicas semelhantes podem afetar outros modelos avançados, a empresa defende uma resposta coordenada entre desenvolvedores, fornecedores de infraestrutura e órgãos públicos.
Quais medidas foram adotadas contra a distilação de modelos
De acordo com a OpenAI, a resposta combinou medidas técnicas, aplicação dos termos de uso e coordenação com parceiros. A empresa baniu ou restringiu contas consideradas fraudulentas, reforçou os controles de cadastro e infraestrutura e ampliou o monitoramento de redes relacionadas.
Também foram fortalecidas as proteções para o raciocínio oculto entre usuários, espaços de trabalho, organizações e famílias de modelos. A empresa fechou um caminho que permitia a alguém que já tivesse o raciocínio criptografado de outro usuário reproduzir esse material e recuperar seu conteúdo. Além disso, adicionou verificações para identificar e reter transmissões que pudessem expor raciocínio protegido.
Quando a atividade passou por serviços de terceiros, a OpenAI diz ter trabalhado com esses provedores para localizar e interromper as contas envolvidas. As descobertas também foram compartilhadas com o Frontier Model Forum e com canais apropriados de troca de informações entre o setor público e a indústria.
O que esperar da distilação de modelos daqui para frente
A avaliação da OpenAI é que as tentativas de distilação de modelos devem se tornar mais sofisticadas à medida que os sistemas de fronteira melhorarem. A empresa afirma que a defesa dependerá de controles em camadas, adaptação contínua e monitoramento de diferentes formas de interação, não apenas do texto visível em uma conversa.
Entre as próximas frentes estão o aperfeiçoamento das proteções para ferramentas, a ampliação da cobertura de classificadores, melhorias nas recusas dos modelos e a propagação de controles para parceiros de nuvem. A empresa também pretende reforçar a detecção de campanhas coordenadas e o compartilhamento de informações sobre ameaças.
O episódio mostra que proteger um modelo não significa apenas impedir o acesso direto aos seus dados. Também é necessário observar como usuários, contas, ferramentas e serviços externos combinam interações para tentar reconstruir capacidades. A distilação de modelos pode ser uma técnica útil em contextos controlados, mas seu uso clandestino transforma cada conversa em uma possível peça de um processo de replicação em escala.
