O risco de a inteligência artificial provocar a extinção humana ganhou uma medida informal: P(doom), abreviação de probabilidade de destruição. A expressão passou a circular com mais força depois que Evan Hubinger, pesquisador sênior de segurança de IA da Anthropic, afirmou no X acreditar que a chance de a tecnologia matar todos os humanos supera 10% na próxima década.
A estimativa foi apresentada sem um método consensual para calcular esse tipo de risco. Geoffrey Hinton, pioneiro das redes neurais e ganhador do Nobel, também avaliou que um P(doom) de 10% não seria irracional. Ao mesmo tempo, disse que ninguém sabe fazer uma estimativa sensata.
O desafio de medir eventos extremos
O problema é que previsões sobre a morte de todos os seres humanos não permitem uma verificação simples. O pesquisador Philip Tetlock, que estuda previsões, defende que uma projeção deve ser ligada a uma medida objetiva e a um prazo definido. No caso da extinção, porém, esperar pelo resultado não é uma estratégia satisfatória.
Tetlock participa do AIRO, sigla de Perspectiva Automatizada de Riscos de IA. O projeto reúne especialistas para estimar a probabilidade de a tecnologia provocar diferentes níveis de desastre, como uma perda de 1 bilhão de libras (R$ 6,86 bilhões), a morte de 1.000 vidas ou a eliminação de 10% da população mundial.
A lógica é começar por eventos menores, que possam ser observados, e usar essas informações para analisar riscos maiores. Os especialistas estimam em menos de 0,5% a chance de a IA matar cerca de 1 bilhão de pessoas até 2030. Até 2050, a previsão fica abaixo de 5%.
Para comparação, a probabilidade de uma catástrofe causada por qualquer motivo —como armas nucleares, vírus ou colisões de asteroides— é estimada em 8,5% até 2050.
Quando a previsão não basta
Previsões podem servir a objetivos diferentes. Às vezes, são apenas pontos de partida para conversas. Também podem chamar atenção, aumentar a reputação de quem as faz ou influenciar decisões. O problema é que uma projeção precisa não necessariamente ajuda a escolher a melhor estratégia.
Em Planejamento por Cenários: A Arte da Conversação Estratégica (1996), Kees van der Heijden relata o caso de planejadores de uma grande empresa do setor de computadores de grande porte. Eles calcularam a demanda global por capacidade computacional, mas não avaliaram de que forma essa capacidade seria usada nas décadas de 1980 e 1990.
A estimativa poderia estar correta e, ainda assim, não responder à questão central: a capacidade seria empregada nos computadores de grande porte vendidos pela empresa ou em laptops e consoles de videogame? O exemplo mostra que números precisos podem não revelar a transformação mais importante do futuro.
Esse também é o dilema do P(doom). Há discussões sobre a regulamentação da IA e sobre danos previsíveis, como os riscos para os empregos e a expansão da desinformação. Também existe a preocupação com a possibilidade de a tecnologia matar toda a população mundial.
A dúvida é se a troca de estimativas sobre a probabilidade de destruição ajuda a iniciar essas conversas ou se acaba substituindo as discussões necessárias sobre como agir diante dos riscos.
