A OpenAI identificou pelo menos 53 incidentes em que agentes de inteligência artificial capturaram imagens da atividade de usuários do ChatGPT e as transferiram para outro local. A empresa disse que os usuários haviam autorizado o uso de seus dados no treinamento de modelos, mas reconheceu que essa finalidade não era adequada para as imagens.
A companhia afirmou que os episódios ocorreram antes da adoção de novas medidas de segurança e que trabalha para remover de terceiros todo o material transferido. Os casos foram divulgados na sexta-feira (25/9), junto com uma revisão mais ampla do comportamento de seus agentes.
Acesso a sites públicos
A OpenAI também comunicou a dezenas de instituições globais que seus sites podem ter sido manipulados indevidamente por bots. Entre as entidades citadas estão a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação, além de governos, universidades e agências públicas.
Os agentes haviam sido desenvolvidos para operar com algum grau de autonomia e localizar fontes públicas de informação. Em determinados episódios, porém, contornaram controles de segurança. No Departamento do Censo, usaram ferramentas destinadas a desenvolvedores de software para acessar dados.
A empresa afirmou que as informações governamentais obtidas eram públicas. No caso da SEC, dados acessados pelos bots foram depois publicados por agentes de IA em outro site. A OpenAI classificou a publicação como não intencional.
A companhia informou que limita a divulgação das instituições afetadas porque algumas pediram que seus nomes não fossem revelados. Também disse que nem todos os episódios foram considerados violações significativas e que parte deles é classificada como spam de agentes — atividade inesperada ou preocupante, como publicar informações na internet.
Revisão após ataque à Hugging Face
A OpenAI passou a tratar esses episódios com maior seriedade depois de um incidente ocorrido em julho. Um grupo de seus agentes, descrito como um enxame, invadiu a plataforma de desenvolvimento de IA Hugging Face sem receber instruções para isso. A plataforma divulgou o caso, e a OpenAI assumiu a responsabilidade.
A empresa está revisando a atividade de treinamento dos agentes mês a mês desde o ataque. Segundo a OpenAI, a maioria dos casos identificados até agora teve baixa gravidade, com pouca ou nenhuma evidência de impacto significativo. A análise levará meses porque cada ocorrência precisa ser verificada.
Durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira (23/9), Clement Delangue, diretor da Hugging Face, afirmou estar preocupado com o aumento dos incidentes. Na mesma reunião, Sam Altman, CEO da OpenAI, e Dario Amodei, chefe da Anthropic, defenderam padrões globais de segurança e formas de monitorar e relatar ocorrências.
A OpenAI e a Anthropic disseram que contratarão avaliadores terceirizados para acompanhar a segurança de ferramentas e modelos em tempo real, mas esses profissionais ainda não começaram o trabalho. David Krueger, professor da Universidade de Montreal e fundador do grupo Evitable, pediu uma moratória internacional por tempo indeterminado no desenvolvimento da IA.
