Na década de 1980, o psicólogo Philip Tetlock ficou impressionado com o fato de que analistas geopolíticos altamente respeitados e com amplas credenciais frequentemente discordavam de maneira fundamental sobre os rumos da Guerra Fria e sobre o que o futuro reservava. Isso era estranho. Se os supostos especialistas podiam ter opiniões tão diferentes sobre questões tão importantes, o que exatamente queríamos dizer com a palavra “especialista”?
A resposta de Tetlock foi reunir previsões econômicas e políticas verificáveis feitas por um grupo cada vez mais amplo de especialistas e, depois, esperar pacientemente para ver quais previsões estavam corretas. O resultado desse trabalho foi seu livro de 2005, Expert Political Judgment: How Good Is It? How Can We Know? (Julgamento Político Especialista: Quão bom ele é? Como podemos saber? em tradução livre) Os especialistas em determinadas áreas eram pouco mais capazes de prever o futuro do que chimpanzés atirando dardos.
O livro de Tetlock foi um duro golpe para a já frágil reputação dos previsores em geral, mas ele não abandonou a possibilidade de que previsões melhores fossem possíveis. Em Superforecasting (Superprevisões em tradução livre), livro de Dan Gardner e Philip E. Tetlock escrito em 2015, ele e seu coautor, Dan Gardner, descreveram um grupo seleto de previsores realmente habilidosos e destacaram algumas das características e hábitos que os tornavam eficazes. Com um toque incomum de hipérbole, Tetlock chamou essas pessoas de “superprevisores”.

Pesquisa compara previsões de IA e humanos e questiona o que os resultados dizem sobre expertise
–
Catarina Pignato
Uma das consequências do trabalho de Tetlock foi que muitas pessoas passaram a fazer publicamente previsões que podem ser testadas, incluindo alguns dos chamados “superprevisores”.
Portanto, o desenvolvimento mais recente é —perdoem o trocadilho— previsível. Por que não comparar algumas dessas previsões publicadas e verificáveis com aquelas produzidas por LLMs (grandes modelos de linguagem) e outros sistemas de IA? Por exemplo, os sistemas de IA conseguem superar o mercado na previsão de decisões sobre taxas de juros? Não, embora não sejam piores.
Mas pedir aos computadores que façam essas previsões de grande alcance não é apenas uma tentativa de testar sua capacidade de prever o futuro. É também, assim como o programa original de pesquisa de Tetlock no fim dos anos 1980, uma tentativa de separar o discurso vazio da habilidade real. Especialistas e LLMs compartilham a capacidade de produzir justificativas plausíveis; uma previsão ruim, ou uma boa, lança nova luz sobre essas explicações. Afinal, o título do livro de Tetlock de 2005 não tratava de previsões, mas de julgamento especializado. Uma maneira de avaliar a capacidade de um sistema de IA é fazer a ele uma pergunta cuja resposta ainda seja desconhecida por todos.
Uma das iniciativas para fazer essa avaliação é o ForecastBench, um projeto do Forecasting Research Institute, presidido por Philip Tetlock. O ForecastBench informa que os resultados já são impressionantes e estão melhorando. O superprevisor típico obtém 68,9 pontos no índice de precisão das previsões do ForecastBench. No momento em que este texto foi escrito, os melhores sistemas especializados em previsão por IA alcançavam 68,8. A média de uma previsão humana comum é de 62,8, enquanto LLMs convencionais, sem treinamento específico, obtêm mais de 61.
Antes de perguntar quão a sério devemos levar esses números, é preciso entender o que eles significam. Uma forma de fazer isso é imaginar um previsor que demonstra confiança absoluta em todas as suas previsões, atribuindo probabilidade de 100% a algumas e de 0% a outras, e acerta todas as vezes. Esse oráculo infalível obteria 100 pontos, a pontuação máxima. Já um previsor que desse de ombros e declarasse que todas as possibilidades têm 50% de chance atingiria a marca dos chimpanzés: 50 pontos.
A pontuação de 68,9 dos “superprevisores” também poderia ser alcançada por alguém que, por acaso, declarasse que uma lista de eventos tinha 68,9% de probabilidade de ocorrer —e todos eles de fato acontecessem— e atribuísse apenas 31,1% de probabilidade a outro conjunto de eventos, nenhum dos quais ocorresse. Esse parâmetro é muito melhor do que um palpite, mas muito pior do que a onisciência.
Talvez não devêssemos ficar impressionados com o fato de um LLM comum ser apenas um pouco pior que um humano na previsão de eventos como “Haverá uma eleição presidencial na Ucrânia antes de um cessar-fogo entre o país e a Rússia?”. Tanto humanos quanto computadores estão muito mais próximos dos primatas que atiram dardos do que de uma previsão perfeita.
O fato de os sistemas especializados de IA para previsão agora parecerem indistinguíveis dos tão celebrados superprevisores é muito mais impressionante, mas há uma longa lista de ressalvas. A primeira é que o ForecastBench não está exatamente comparando coisas equivalentes: os superprevisores humanos responderam a um conjunto de perguntas em 2024, enquanto os sistemas de IA respondem hoje a outro conjunto. Isso gera dúvidas sobre a comparação, já que algumas perguntas são claramente mais fáceis que outras: “A Escócia declarará independência do Reino Unido até o fim de outubro?” é mais simples de responder do que “Vladimir Putin será presidente da Rússia no fim de 2030?”.
O ForecastBench tenta ajustar as diferenças de dificuldade entre as perguntas, mas admite que a comparação “depende de uma extrapolação estatística que se torna menos confiável com o tempo”. O ForecastBench afirma que mais previsões humanas estão sendo coletadas, portanto poderemos ter uma resposta mais clara em breve.
Previsões não apenas descrevem o futuro; muitas vezes são uma tentativa de moldá-lo. A simples possibilidade de previsões computadorizadas altamente precisas, baseadas em sistemas controlados pelas empresas mais poderosas do mundo, não é inteiramente tranquilizadora. “A única maneira de saber com certeza onde alguém estará amanhã é fazer com que essa pessoa esteja lá”, diz Carissa Véliz, autora de “Prophecy: Prediction, Power, and the Fight for the Future, from Ancient Oracles to AI” (“Profecia: Previsão, Poder e a Luta pelo Futuro, dos Oráculos Antigos à Inteligência Artificial” em tradução livre).
Mas mesmo que os sistemas de previsão por IA se mostrem ao mesmo tempo inofensivos e precisos, há outra coisa que estará faltando. As previsões muitas vezes são valiosas não apenas por causa do resultado —um número que descreve a probabilidade de um evento futuro—, mas também por causa do processo.
Há uma analogia aqui com o uso de um LLM para escrever uma redação. Por melhor que seja o resultado, a pessoa que digitou o comando e apertou o botão perdeu a experiência de pensar sobre o processo de escrever, reescrever e aperfeiçoar o texto.
O mesmo vale para as previsões. Um bom exercício de planejamento de cenários é valioso não apenas porque pode produzir descrições instigantes de futuros possíveis, mas porque reúne especialistas e tomadores de decisão para refletir de maneira estruturada sobre o que é imprevisível.
O próprio Tetlock, em parceria com Barbara Mellers e Hal Arkes, descobriu que participar de torneios de previsão tende a reduzir a polarização política —presumivelmente porque boas previsões exigem uma mente aberta, a capacidade de enxergar o mundo como outras pessoas o veem e disposição para admitir erros.
Fazer previsões de boa-fé é uma prática que torna os seres humanos melhores. Deveríamos pensar duas vezes antes de delegar essa tarefa a uma máquina.
Autor: Folha








.gif)












