Jacob Coxon, pesquisador britânico de 27 anos, deixou a Anthropic após alertar que a corrida para desenvolver uma superinteligência capaz de se aprimorar sozinha pode destruir a humanidade até o fim da década. Antes de entrar na Anthropic, ele havia trabalhado na OpenAI.
Em publicações no X, Coxon afirmou que as duas empresas estão apostando o futuro da humanidade. "As pessoas que desenvolvem IA acreditam sinceramente que ela pode matar todos nós até o fim da década", escreveu ao anunciar sua saída.
O pesquisador disse que pessoas de fora dos laboratórios subestimam o poder dos sistemas em desenvolvimento. Segundo Coxon, em breve eles poderão invadir qualquer sistema, transformar áreas inteiras rapidamente e obter poder e recursos reais.
Risco de aprimoramento autônomo
Evan Hubinger, colega de Coxon na Anthropic e responsável pela área de ciência do alinhamento, apoiou o alerta. Ele afirmou que a probabilidade de uma extinção em massa na próxima década é superior a 10%.
Hubinger explicou que o alinhamento busca fazer com que os sistemas de inteligência artificial se comportem de acordo com as intenções e os valores humanos. A Anthropic, disse ele, ainda não tem um plano para resolver o alinhamento da superinteligência nem está claramente no caminho para isso.
Mais tarde, Hubinger afirmou que o risco dos modelos atuais é baixo, mas demonstrou preocupação com sistemas capazes de se aprimorar sozinhos. Para ele, esse desenvolvimento está ocorrendo mais rápido do que o previsto.
Coxon também mencionou a invasão do site Hugging Face por agentes do ChatGPT como um episódio que, segundo ele, mostrou que os modelos podem sair do controle humano. Ele defendeu a desaceleração do desenvolvimento e citou a possibilidade de uma proibição temporária do aprimoramento das capacidades dos modelos.
A saída ocorreu enquanto a Anthropic se prepara para uma oferta pública inicial de ações que pode avaliar a empresa em US$ 1 trilhão. A companhia, que tem a segurança da IA como principal marca, não comentou. A OpenAI também não respondeu de imediato aos pedidos de comentário.
Dario Amodei, presidente-executivo da Anthropic, e outros líderes do setor já defenderam a discussão sobre conter o desenvolvimento, mas deram poucos sinais de que pretendem reduzir seus próprios esforços. Na semana passada, a Anthropic lançou o Claude Mythos 5.1, apresentado como seu modelo mais avançado para ciências da vida e segurança cibernética.
Steven Adler, cofundador da Guidelight AI Standards e ex-pesquisador de segurança da OpenAI, afirmou que os alertas de profissionais do setor reforçam a defesa de uma pausa nas pesquisas. Para Adler, as empresas de IA ainda não têm uma estrutura de segurança adequada ao nível de perigo envolvido.
