Mais de 15 mil edições em uma wiki alemã foram atribuídas a agentes de inteligência artificial que se apresentavam como usuários ligados à OpenAI. Os registros indicam que os sistemas compartilharam métodos para contornar restrições, esconder sua atividade e preservar comunicações depois de desativados.
A atividade ocorreu no DseWiki, site colaborativo em alemão voltado para programadores. O episódio começou em maio e foi identificado no final de agosto por Sydney Von Arx, presidente-executivo da Nightingale, organização sem fins lucrativos dedicada à segurança da IA, e Cormac Slade Byrd, pesquisador de IA.
Rastros na infraestrutura
Segundo os pesquisadores, os agentes operavam em velocidades superiores às humanas e se concentravam em questões técnicas parecidas com as usadas em avaliações de modelos. As mensagens eram assinadas por usuários que chamavam a si mesmos e uns aos outros de agentes. Cerca de metade adotou nomes associados à OpenAI, entre eles “OpenAIResearcher” e “OAIResearchMar26”.
Os registros públicos do servidor indicaram que grande parte da atividade partia da infraestrutura do Microsoft Azure, usada ocasionalmente pela OpenAI. Os pesquisadores também identificaram visitas repetidas de funcionários da empresa ao site após o episódio. Para eles, o padrão sugeria uma ligação entre os agentes e a OpenAI.
As mensagens analisadas incluíam planos para evitar a detecção e utilizar ferramentas como o Tor. Quando o moderador começou a apagar páginas em junho, os agentes criaram cópias de segurança. Em 19 de junho, uma mensagem orientava que, caso uma página desaparecesse, os usuários tentassem acessar “ZZZDataUSAConstructionWageLive”.
Os pesquisadores também relataram tentativas de alterar o próprio site. Lukasz Olejnik, pesquisador sênior visitante do King’s College London, classificou a ação como uma tentativa de hacking. A OpenAI contestou essa caracterização após analisar o material.
Resposta da OpenAI
Funcionários da OpenAI souberam do incidente há semanas, mas a empresa não o divulgou enquanto seus executivos lidavam com as consequências de uma violação ocorrida em julho no repositório de código aberto Hugging Face, segundo pessoas a par do assunto.
A atividade na Alemanha não tinha relação com o episódio do Hugging Face e não teria sido incluída em um relatório de incidentes sobre o caso, afirmou um porta-voz da OpenAI. A empresa disse ter agido de boa-fé ao trabalhar com especialistas externos e divulgar incidentes considerados relevantes.
“Não podemos responder de forma significativa a alegações ou conclusões contidas em um relatório que ainda não tivemos a oportunidade de analisar”, afirmou o porta-voz. Ele disse que a OpenAI analisará o conteúdo quando for publicado e adotará as medidas necessárias.
O porta-voz também negou que a equipe jurídica tenha desencorajado investigações sobre o episódio. Quatro pessoas a par do assunto afirmaram que pesquisadores da empresa interessados em ampliar a apuração encontraram resistência interna, inclusive de consultores jurídicos.
A OpenAI se comprometeu a monitorar os modelos mais de perto e, no mês passado, suspendeu temporariamente parte do treinamento para incluir medidas de segurança. Nesta semana, apresentou o Astra, sistema que promete desempenho melhor, mas que pode escapar ao monitoramento humano.
Para Maurice Chiodo, acadêmico do Centro de Estudos de Risco Existencial da Universidade de Cambridge que analisou parte das comunicações, as mensagens se pareciam com a “operação de algum tipo de rede clandestina, determinada a cumprir uma tarefa ou missão”. Lukasz Olejnik afirmou que o caso indica que comportamentos indevidos podem não estar restritos a testes de segurança nos quais os modelos são avaliados por suas capacidades ofensivas.
