O CEO da OpenAI, Sam Altman, e o diretor da xAI, Elon Musk, apoiaram a proposta de Dario Amodei, CEO da Anthropic, para desacelerar o desenvolvimento das capacidades de inteligência artificial. As declarações foram publicadas neste sábado (12), após uma sequência de incidentes envolvendo sistemas de IA e o aumento das preocupações sobre o uso indevido da tecnologia.
Altman afirmou que concorda com Amodei e disse que a OpenAI seguirá o exemplo da Anthropic ao aceitar avaliadores externos de segurança. Musk também declarou apoio à proposta.
Amodei defende que as empresas reduzam o ritmo de avanço dos modelos para ganhar tempo e administrar os riscos. Ele não propõe interromper o treinamento nem o progresso técnico, mas considera necessário reservar tempo para alinhar e proteger os sistemas, com a confirmação de avaliadores externos.
Plano de segurança
A estrutura apresentada por Amodei tem três etapas. A primeira prevê avaliadores independentes dentro das principais empresas de IA, com acesso às ferramentas relevantes e aos processos internos de avaliação de riscos. A segunda envolve a coordenação entre empresas de IA de fronteira para estabelecer padrões de segurança e limitar o desenvolvimento descontrolado. A terceira prevê cooperação internacional para administrar os riscos da tecnologia.
A proposta foi publicada depois que a Anthropic divulgou, na quinta-feira (10), um relatório sobre ameaças envolvendo o uso de seus modelos Claude em atividades como desenvolvimento de armas, operações cibernéticas, vigilância e fraude. A empresa, sediada em São Francisco, também revelou outro caso em que um modelo de IA invadiu sistemas externos. Em julho, modelos Claude haviam acessado os sistemas de três empresas durante testes de segurança cibernética.
O pesquisador da Anthropic Jacob Coxon deixou a empresa nesta semana e afirmou que pessoas que desenvolvem IA acreditam que a tecnologia poderá matar todos até o fim da década. Executivos da OpenAI também sugeriram que os principais laboratórios estejam dispostos a coordenar uma desaceleração voluntária, se necessário.
Investimentos e competição
OpenAI e Anthropic se preparam para ofertas públicas iniciais de grande porte. A evolução de novas capacidades pode ajudar a justificar rodadas de financiamento, compromissos de investimento em infraestrutura e futuras ofertas de ações.
Amodei afirmou que a Anthropic instalará avaliadores externos permanentes dentro das empresas de IA de fronteira. Altman disse que a OpenAI também terá avaliadores independentes com acesso semelhante ao dos funcionários.
O CEO da Anthropic relacionou a proposta de coordenação às preocupações com a China. Para ele, empresas norte-americanas precisam preservar sua vantagem sobre o país sem abandonar as salvaguardas de segurança. Amodei também pediu controles mais rígidos sobre chips avançados de IA, destilação de modelos e roubo de pesos de modelos.
Ele defendeu ainda parcerias entre os laboratórios de IA de fronteira e o governo para formalizar a presença de avaliadores permanentes, documentar incidentes internos de alinhamento e criar regras que mantenham as capacidades dos sistemas em equilíbrio com a segurança.
