Por que é difícil calcular o risco de a IA nos destruir – 24/09/2026 – IA

Financial Times
Os robôs vão nos matar? Difícil dizer. Como sabiamente observou o Dude, em O Grande Lebowski, “uma porção de entradas, uma porção de saídas, uma porção de sei lá o quê. E, hum, um monte de coisas para manter na cabeça, cara”.

Mas, se manter todas essas coisas na cabeça é complicado, por que não simplesmente inventar um número e chamá-lo de P(doom)? O termo —abreviação de “probabilidade de destruição”— tornou-se repentinamente comum. Há algumas semanas, Evan Hubinger, pesquisador sênior de segurança de IA da Anthropic, escreveu no X: “Nós realmente acreditamos, sinceramente, que a IA poderia matar todos os humanos! Eu pessoalmente acho que a probabilidade é superior a 10% na próxima década”.

Não está claro por que esse tuíte específico causou tanta repercussão. Talvez pelo momento, depois do inquietante ataque aos servidores da Hugging Face realizado com o auxílio de um modelo de linguagem de grande porte. Talvez pelo ponto de exclamação quase eufórico. Certamente não é a primeira vez que preocupações desse tipo são expressas por pessoas de dentro do setor de IA. Geoffrey Hinton, pioneiro das redes neurais e ganhador do Nobel, deixou o Google em 2023, citando sua idade, mas também alertando que a tecnologia estava se tornando cada vez mais perigosa. Em entrevista recente à BBC, Hinton sugeriu que um P(doom) de 10% “não seria irracional”, mas acrescentou que “ninguém sabe realmente como fazer uma estimativa sensata”.

Pois é. Como seria uma estimativa sensata?

Escrevi recentemente sobre o trabalho de Philip Tetlock na área de previsões. Tetlock percebeu desde cedo que muitos especialistas em prognósticos são extremamente vagos e raramente são cobrados por seus erros. “A economia da Ruritânia pode em breve enfrentar uma crise cambial” parece uma profecia bastante autoritária, mas qual é a definição de crise cambial e o nosso profeta tem algum prazo específico em mente?

A solução de Tetlock tinha duas partes: primeiro, limitar a previsão a uma medida objetiva; segundo, estabelecer um prazo e esperar. Se a previsão for a morte de todos os seres humanos, “estabelecer um prazo e esperar” não é uma estratégia inteiramente satisfatória.

Tetlock, sempre disposto a explorar as fronteiras das previsões, participa de um novo projeto, o AIRO (Perspectiva Automatizada de Riscos de IA), no qual especialistas em previsões de IA estimam a probabilidade de a tecnologia provocar diferentes desastres —desde uma perda de 1 bilhão de libras (R$ 6,86 bilhões) ou de 1.000 vidas até a morte de 10% da população mundial. Uma vantagem dessa abordagem é que perdas menores —de dinheiro ou de vidas— podem ser observadas, e talvez possam nos dizer algo sobre riscos maiores.

Por aquilo que vale, os especialistas em previsão de IA não preveem nosso fim iminente. Eles estimam em menos de 0,5% a chance de a IA matar cerca de 1 bilhão de pessoas até 2030 e em menos de 5% até 2050.

A probabilidade de uma catástrofe causada por qualquer motivo —armas nucleares, vírus, colisões de asteroides, escolha o que quiser— é de 8,5% até 2050. Você pode ou não considerar isso tranquilizador.

O que essas previsões pretendem alcançar? Previsões têm várias funções. A mais comum é a conversa fiada —dizer que o Arsenal vai ganhar a Liga dos Campeões ou que Kemi Badenoch vai perder a liderança do Partido Conservador pode servir como ponto de partida para uma conversa. Parece mais inteligente do que falar sobre o tempo. É uma espécie de comida ultraprocessada cognitiva, viciante, mas pouco nutritiva.

Outro motivo comum para fazer uma previsão é chamar atenção. Os vendedores de IA certamente conseguiram isso, desviando nosso foco de outros riscos. Lembra quando uma guerra nuclear era algo com que valia a pena se preocupar? Terrorismo? Fascismo? Colapso financeiro? Mudança climática? Uma pandemia mortal? Os riscos mais perigosos são aqueles aos quais você deixa de prestar atenção porque está ocupado demais se preocupando com outra coisa.

Previsões também são uma boa maneira de aumentar a própria reputação, especialmente quando se concretizam —embora isso não seja essencial. No início do século 20, Roger Babson, um dos primeiros especialistas em previsões econômicas, era fascinado por Isaac Newton e acreditava que as ideias newtonianas poderiam ser adaptadas para fazer previsões econômicas. As previsões baseadas em Newton não funcionaram muito bem, mas o que funcionou para Babson foi anunciar intensamente as previsões que tiveram mais sucesso.

O livro Prophecy (2026), de Carissa Véliz, oferece um exemplo de uma profecia que chamou atenção e acabou se transformando em outra coisa: uma estratégia de sobrevivência. O astrólogo da corte do rei Luís 16 previu que uma das damas da corte morreria em uma semana —e ela morreu. Isso foi preciso demais para o gosto de Luís: parecia provável que o adivinho fosse um assassino ou tivesse de fato poderes de previsão, e nenhuma das duas opções parecia confortável. Luís decidiu mandar o homem executar, mas antes, em uma demonstração de humor negro real, convidou o astrólogo a prever sua própria morte.

“Vou morrer três dias antes de Vossa Majestade”, respondeu o astrólogo, salvando habilmente a própria pele. É um lembrete contundente de que profecias raramente são apenas tentativas sinceras de prever o futuro e, às vezes, nem sequer são tentativas de prever o futuro.

Uma previsão não precisa ser apenas conversa fiada, nem uma tentativa de chamar atenção ou exercer influência. Às vezes, previsões realmente são feitas para nos ajudar a tomar decisões melhores. Um ambiente rico em dados pode permitir previsões úteis até mesmo de sistemas complexos, seja no trânsito ou no clima. Defina os parâmetros, aperte o botão, receba a previsão e aja de acordo com ela.

Ainda assim, em muitos casos, uma previsão precisa é ao mesmo tempo improvável e insuficiente. Em seu livro clássico Planejamento por Cenários: A Arte da Conversação Estratégica (1996), Kees van der Heijden conta que se encontrou com planejadores estratégicos de “uma grande empresa do setor de computadores de grande porte”. Eles haviam elaborado cuidadosamente previsões para a demanda global por capacidade computacional, expressa em milhões de instruções por segundo. O que haviam deixado de fazer era pensar seriamente sobre a forma que essa capacidade computacional poderia assumir nas décadas de 1980 e 1990.

A previsão numérica da demanda por computação poderia estar perfeitamente correta, mas isso não bastaria para que a empresa tomasse decisões estratégicas melhores. A conversa realmente necessária deveria ser sobre se essa capacidade computacional alimentaria os tradicionais computadores de grande porte fornecidos pela empresa —ou laptops e consoles de videogame. De que serve uma previsão precisa se ela não consegue alertá-lo sobre como será o futuro? Eles deveriam ter jogado fora seus gráficos e contratado um escritor de ficção científica.

O que nos traz de volta ao P(doom). Há conversas sérias a serem travadas sobre como regulamentar a IA, como se proteger contra alguns danos previsíveis —como o risco para os empregos ou a explosão da desinformação— e, sim, como impedir que a IA consiga matar todo mundo no planeta. Minha dúvida é se a troca ritual de estimativas de P(doom) é uma boa maneira de iniciar essas conversas ou uma boa maneira de evitá-las.