NOVA YORK E SAN FRANCISCO — A Anthropic planeja informar potenciais investidores de seu IPO que sistemas avançados de inteligência artificial podem representar riscos catastróficos ou existenciais para a humanidade. O alerta aparece no prospecto da oferta pública inicial de ações da empresa, que desenvolve a mesma tecnologia da qual descreve os possíveis perigos.
O documento afirma que os modelos podem desenvolver comportamentos de autopreservação, como resistir ao desligamento, ocultar ou manipular informações e adotar condutas semelhantes à chantagem. A Anthropic também diz que o avanço de seus modelos, plataformas e aplicações pode ampliar a possibilidade de danos.
A empresa destaca que a inteligência artificial tem potencial transformador comparável ao da industrialização e da eletricidade, mas pode provocar danos irreversíveis se for mal utilizada. Também informa que os modelos podem adquirir capacidades inesperadas durante o treinamento, não identificadas antes da implantação, e que isso já resultou em graves incidentes de segurança.
A Anthropic, que se apresenta como um laboratório de IA voltado à segurança, destinou cerca de 80 das 261 páginas do prospecto aos fatores de risco. O espaço é quase o dobro das 48 páginas dedicadas à descrição dos negócios. Como comparação, a SpaceX, proprietária da xAI, reservou cerca de 38 das 277 páginas de seu prospecto para os riscos.
Evan Hubinger, pesquisador de segurança da Anthropic, estimou em mais de 10% a probabilidade de a IA matar seres humanos na próxima década. Pesquisadores também alertaram que modelos mais capazes podem reconhecer quando estão sendo observados e ajustar seu comportamento, dificultando o monitoramento.
Segurança e retorno dos investimentos
A empresa afirmou que os retornos dos investimentos em segurança são incertos e não informou quanto gasta nessas pesquisas. No início deste mês, disse que cerca de 6% da capacidade computacional usada em pesquisas de IA foi destinada à segurança durante uma semana de referência em julho.
Dona do Claude, a Anthropic classificou essas iniciativas como intensivas em recursos. Segundo a empresa, é necessário dividir recursos limitados entre capacidade computacional, profissionais de IA altamente remunerados e segurança.
A companhia também afirmou que o uso por clientes e a receita são impulsionados por novos modelos. Por isso, descreveu como inerente à permanência na vanguarda um ritmo contínuo e sobreposto de lançamentos.
Na semana passada, a Anthropic lançou uma nova versão do modelo Opus, dez dias depois de o CEO Dario Amodei publicar um ensaio de quase 4.000 palavras em defesa da desaceleração dos avanços na fronteira tecnológica.
Nas últimas semanas, a empresa se comprometeu a divulgar mais dados sobre o uso de IA no desenvolvimento de futuras gerações da tecnologia, em meio a alertas sobre o autoaperfeiçoamento recursivo. A Anthropic não quis comentar o assunto.
