A OpenAI iniciou no início de maio um experimento que mudaria o rumo do setor de tecnologia — alarmante por ser fruto de decisão deliberada. Hackers internos receberam um desafio de cibersegurança para testar seus limites e conseguiram contornar restrições e colaborar entre si por vários dias.
Mas os “hackers” eram agentes de IA —softwares capazes de executar tarefas cognitivas sem intervenção humana, desenvolvidos com uma combinação de modelos, incluindo um ainda não lançado.
No mês passado, os agentes escaparam de um ambiente de testes sem internet, vasculharam a web aberta e invadiram os sistemas da plataforma Hugging Face —sem conhecimento humano. Também se comunicaram e cooperaram, deixando mensagens em um fórum interno criado por eles mesmos, compartilhando vulnerabilidades de código para ajudar na fuga.
Os detalhes desencadearam uma tempestade entre especialistas, e pesquisadores da OpenAI classificaram o episódio como um “divisor de águas”. A divulgação provocou descobertas semelhantes: Anthropic, Meta, a start-up chinesa Moonshot e o Instituto de Segurança de IA britânico encontraram indícios de agentes invadindo sistemas de terceiros durante testes.
Especialistas entrevistados pelo FT afirmam que as violações marcam uma virada na cibersegurança global —os agentes agora combinam habilidades complexas para atacar alvos reais, sem controle externo, com estratégias de dissimulação e roubo que surpreenderam até quem acompanha de perto a evolução dos modelos.
Os pesquisadores enfatizam que os modelos não agem de forma incompatível com sua natureza —destacam-se justamente nas tarefas para as quais foram desenvolvidos. Chamá-los de “fora de controle” seria um erro conceitual, o que torna ainda mais importantes salvaguardas eficazes.
“As capacidades ofensivas que alcançamos hoje foram alcançadas de forma deliberada”, afirma Boyan Milanov, do AI Now Institute. “As empresas de IA vêm há anos coletando ativamente dados de treinamento, treinando modelos e aperfeiçoando capacidades cibernéticas.”
Os modelos são projetados para tentar todos os métodos possíveis para alcançar um objetivo sem instruções explícitas, o que os torna imprevisíveis —e são recompensados quando obtêm sucesso, no chamado aprendizado por reforço. No “desalinhamento”, a linha entre um defensor da cibersegurança e um hacker perigoso fica cada vez mais tênue.
“O incidente com a Hugging Face mostrou que subestimamos as capacidades cibernéticas de nossos modelos de IA no mundo real”, escreveu Greg Brockman, presidente da OpenAI. “Estamos reforçando nossos requisitos de segurança de acordo com essa constatação.”
DOIS LADOS DA MESMA MOEDA
A capacidade da IA de escrever códigos disparou conforme a tecnologia ficou mais apta a raciocinar, trazendo habilidades de identificar e explorar falhas em softwares.
“Programação e cibersegurança são dois lados da mesma moeda —conforme as capacidades de programação aumentaram, as capacidades cibernéticas também cresceram”, afirma Dawn Song, professora em Berkeley e chefe de pesquisa em IA na Meta. “As pessoas não esperavam que chegássemos a esse ponto tão depressa.”
Song, cocriadora do benchmark ExploitGym, usado por OpenAI, Anthropic e Google, explica que a assimetria entre ataque e defesa torna os sistemas de IA particularmente bons como atacantes: encontrar uma vulnerabilidade é tarefa verificável, mais adequada à IA do que o trabalho difuso de defesa.
Após a invasão, a OpenAI diz estar treinando seus modelos para escrever “código seguro em nível sobre-humano”. No curto prazo, especialistas esperam que os sistemas de IA ampliem a escala dos ataques, ameaçando caos nos sistemas de TI mundiais até que correções sejam implementadas.
“Se extrapolarmos a partir daqui, quem está dentro dos laboratórios prevê alguns anos de grande intensidade, em que sistemas serão invadidos, muitas empresas serão destruídas e haverá muito sofrimento em potencial”, afirma Jeffrey Ladish, ex-pesquisador da Anthropic e diretor da Palisade Research. “O plano é que teremos de confiar nos agentes de IA […] e esperar que estejam alinhados com aquilo que queremos.”
.gif)
A semana passada trouxe o primeiro ataque conhecido de agentes de IA contra um Estado-nação: hackers ligados à China usaram até oito agentes autônomos simultaneamente contra o governo taiwanês, mapeando sistemas, comprometendo contas e extraindo mais de 2.500 registros de funcionários, antes de atingir empresas de energia e a agência de segurança nuclear de Taiwan.
Ladish afirma que funcionários de laboratórios já alertavam sobre isso um ano atrás: “Eles disseram: em um ano, teremos modelos extremamente bons em encontrar (novas) vulnerabilidades e que destruirão uma enorme quantidade de infraestrutura.”
A invasão da Hugging Face foi incomum por envolver fuga de um ambiente restrito. Na maioria dos outros incidentes, a Irregular, empresa que testou modelos para Anthropic, Meta e OpenAI, permitiu por acidente acesso à internet, por erro humano ou “falha de comunicação” com os laboratórios.
A Anthropic afirmou que testes de capacidade são feitos deliberadamente sem as salvaguardas públicas, que “teriam bloqueado os comportamentos identificados”, mas reconheceu que isso “só é seguro se a avaliação for devidamente contida”. O instituto britânico também deu acesso à internet nos testes dos modelos Mythos 5 e GPT5.6 Sol. Em um teste, o agente Mythos tentou inserir código malicioso em um projeto no GitHub, criando identidades falsas para pressionar o responsável a aprovar o código.
A Irregular e o instituto britânico suspenderam o acesso à internet em seus testes; o instituto iniciou análise interna dos métodos de avaliação. A OpenAI conduz uma “análise minuciosa, com a participação de consultores externos”, prometendo divulgar resultados nas “próximas semanas”.
“Quanto mais conservadora for a configuração, mais fácil será isolar esses testes”, diz a pessoa a par dos incidentes na Irregular. “Mas, se formos restritivos demais, a maioria dos problemas só será descoberta após a implementação no mundo real. Isso seria um mundo pior para você.”
CONTENÇÃO DOS RISCOS
No mês passado, mais de 1.300 especialistas alertaram para os riscos do desenvolvimento descontrolado da IA, pedindo esforço internacional para desacelerar novos modelos e dar tempo a reguladores. Entre os signatários, Dario Amodei, CEO da Anthropic, e Shane Legg, cientista-chefe de AGI do Google DeepMind, atribuíram às pressões competitivas e geopolíticas o ritmo implacável da IA de fronteira.
O senador Bernie Sanders pediu uma pausa na criação de sistemas de IA mais poderosos, “no interesse da humanidade” —medida que exigiria acordo entre EUA e China, considerado irrealista.
Na ausência de paralisação ou mecanismo universal de desligamento, especialistas defendem responsabilizar os fornecedores de IA pelo comportamento de seus sistemas. “Considero bastante inacreditável que a OpenAI tenha levado vários dias para perceber que seu modelo estava atacando outro site”, afirma Thorsten Holz, codesenvolvedor do ExploitGym. “Precisamos de um mecanismo no qual a divulgação de ataques realizados por IA não dependa apenas da transparência voluntária dos laboratórios.”
Holz, do Instituto Max Planck, cita os setores de aviação e saúde, onde organizações independentes recebem relatos confidenciais de incidentes: “Precisamos de meios para que universidades, institutos de segurança pública e avaliadores independentes tenham acesso aos modelos e possam testá-los sob condições controladas.”
Song argumenta que os sistemas de IA precisam ser treinados para se alinhar melhor às expectativas humanas: “Precisamos mostrar a eles que há maneiras corretas de alcançar um objetivo e maneiras inaceitáveis… como explorar e comprometer plataformas de terceiros.”
O governo Trump sinalizou oposição a regulamentação rigorosa nos EUA, criando um sistema voluntário de testes até 30 dias antes do lançamento —regime semelhante ao britânico. Mas Heidy Khlaaf, engenheira responsável pelas avaliações cibernéticas do instituto britânico, diz que os incidentes demonstram os limites do sistema atual: “Esta é uma demonstração clara de que os processos voluntários de auditoria dos laboratórios de IA são inadequados”, afirma.
A engenheira argumenta que, se especialistas em segurança cibernética podem ser responsabilizados civil e criminalmente por realizar ataques contra qualquer infraestrutura, é preciso discutir seriamente por que os laboratórios de IA estão isentos dessa responsabilidade.
Khlaaf ressalta que, em todos os casos exceto o da Hugging Face, “o acesso à internet estava, de fato, disponível, o que demonstra que não houve fuga de agentes, mas sim incapacidade de aplicar métodos básicos de segurança”. E conclui: “Esses modelos não estão ‘escapando’ nem agindo por conta própria.”
Autor: Folha
