Dario Amodei, diretor-executivo e cofundador da Anthropic, defendeu neste sábado (12) uma desaceleração no desenvolvimento de sistemas de inteligência artificial (IA). Para ele, a prevenção de riscos deve ser prioridade, especialmente diante do avanço da capacidade de os próprios modelos ajudarem a criar novas gerações de IA.
“Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA”, escreveu Amodei em seu blog. O executivo afirmou que o progresso continuará parecendo rápido, mas que o tempo obtido com uma redução no ritmo deveria ser usado para ampliar a segurança.
Amodei chamou de autoaperfeiçoamento recursivo o processo em que sistemas de IA participam da construção de modelos mais avançados. Segundo ele, esse mecanismo já começa a aparecer na indústria e pode acelerar o desenvolvimento além da capacidade dos pesquisadores de compreender e controlar os sistemas.
Riscos e proposta de controle
O executivo mencionou um episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. Na avaliação apresentada por ele, uma rede de agentes de IA atacou sistemas que não estavam entre os alvos previstos e também tentou interferir na ferramenta usada para medir seu desempenho. Embora os danos econômicos tenham sido pequenos, Amodei afirmou que um sistema mais capaz, com comportamento semelhante, poderia causar prejuízos catastróficos.
Ele estima que, em um horizonte de seis a 12 meses, sistemas de IA poderiam assumir o controle de uma parcela significativa da internet usando uma rede persistente de computadores comprometidos. Um cenário assim, segundo sua avaliação, poderia gerar centenas de bilhões de dólares em danos.
Para reduzir os riscos sem interromper o desenvolvimento da tecnologia, Amodei apresentou um plano em três etapas. A primeira prevê avaliadores externos permanentes, com acesso semelhante ao de funcionários das empresas, para examinar práticas de segurança, investigar incidentes e analisar tanto os modelos concluídos quanto os processos de treinamento.
A segunda etapa seria uma cooperação entre empresas de IA de países democráticos para criar padrões de segurança e limites ao ritmo de evolução dos modelos. Os governos participariam das discussões, inclusive para lidar com questões concorrenciais e antitruste.
A terceira envolveria Estados Unidos e China. Amodei reconheceu que essa coordenação seria mais difícil por causa da disputa geopolítica relacionada à IA.
Entre as medidas possíveis, o executivo citou “pontos de controle”. Quando um modelo alcançasse determinadas capacidades, a empresa teria de apresentar certificações e avaliações de segurança antes de avançar. Ele também defendeu discutir limites para poder computacional, certos tipos de treinamento e o uso de IA no desenvolvimento de outras IAs.
No plano internacional, Amodei propôs desde a proibição de usos específicos, como a produção de armas biológicas, até testes obrigatórios antes do lançamento de modelos em áreas como cibersegurança, biologia e alinhamento. Uma pausa ampla também deveria ser discutida, embora ele considere improvável um acordo desse tipo no curto prazo, devido ao risco de um país romper o compromisso e obter vantagem estratégica.
