Em meados de julho, enquanto a OpenAI testava novas tecnologias de inteligência artificial, seus sistemas excepcionalmente poderosos escaparam de ambientes digitais isolados, encontraram um caminho até a internet e invadiram uma plataforma de IA chamada Hugging Face.
Para muitos pesquisadores e outros especialistas, o incidente demonstrou que as tecnologias de IA estavam se tornando cada vez mais perigosas e que os principais laboratórios de IA deveriam manter um controle rigoroso sobre como esses sistemas são usados.
Agora, pouco mais de um mês depois, um laboratório chinês chamado Z.ai se prepara para disponibilizar uma tecnologia de IA semelhante como software de “pesos abertos”, o que significa que qualquer pessoa poderá usá-la como quiser.
O lançamento do novo sistema chinês, chamado GLM 5.3, previsto para esta sexta-feira (27), atingirá o centro de um debate que há anos divide pesquisadores de IA. Embora muitos especialistas acreditem que as tecnologias de IA mais recentes sejam perigosas demais para serem compartilhadas abertamente com o público, outros argumentam que esse é o caminho mais seguro.
“Os modelos de pesos abertos têm um papel muito importante a desempenhar”, afirmou Dan Lahav, CEO da Irregular, empresa de cibersegurança cujas tecnologias foram usadas pela OpenAI para testar novos sistemas de IA.
revelação de que as tecnologias da OpenAI haviam invadido o Hugging Face confirmou o que especialistas em cibersegurança vinham dizendo havia meses: os principais sistemas de IA agora são eficientes em identificar e explorar vulnerabilidades em softwares.
Em outras palavras, eles podem simplificar e acelerar ataques cibernéticos.
A empresa também chamou a atenção para outra verdade inconveniente: as tecnologias de IA frequentemente fazem coisas que nem mesmo seus criadores desejam, incluindo ataques cibernéticos estranhos, contraintuitivos e inesperados.
A OpenAI só percebeu que seus sistemas haviam agido por conta própria depois que o Hugging Face revelou publicamente a invasão e notificou as autoridades.
“Foi um divisor de águas para a segurança”, disse George Kurtz, CEO da empresa de segurança CrowdStrike, que assessorou a OpenAI enquanto a companhia tentava compreender o ataque. “Foi um incidente muito público que evidencia claramente a natureza autônoma do que esses modelos são capazes de fazer.”
Pouco depois, duas concorrentes nacionais da OpenAI, Anthropic e Meta, revelaram que seus sistemas haviam apresentado comportamento semelhante.
Para muitos especialistas, porém, o incidente não foi tão assustador quanto pode parecer. Segundo eles, empresas e indivíduos podem usar as mesmas tecnologias de IA para se defender de ataques cibernéticos. Se um sistema de IA consegue identificar e explorar brechas em um software, também pode corrigi-las.
Quando uma empresa como a Z.ai disponibiliza sua tecnologia como software de pesos abertos, qualquer pessoa pode ajustar os pesos —os cálculos matemáticos que determinam como o sistema funciona— e potencialmente remover as barreiras de proteção que impedem o uso do sistema em ataques cibernéticos.
Isso significa que qualquer pessoa pode usar esses sistemas para invadir uma rede de computadores —e também para se defender.
.gif)
De fato, quando o Hugging Face tentava se defender dos ataques de julho —que somente mais tarde puderam ser atribuídos à OpenAI—, os sistemas da Anthropic recusaram pedidos de ajuda por causa de suas barreiras de proteção. O Hugging Face recorreu então ao GLM 5.2, modelo aberto anterior da Z.ai.
Quando o novo modelo de pesos abertos da Z.ai for disponibilizado ao público, muitos pesquisadores temem que incidentes como o ataque ao Hugging Face possam ficar mais frequentes.
Outros especialistas, porém, ressaltam que tecnologias de IA disponíveis publicamente vêm apresentando comportamento semelhante há meses ou até anos. Embora esses sistemas tenham melhorado muito nos últimos meses em sua capacidade de localizar brechas de segurança, não houve nenhum aumento significativo nos ataques cibernéticos.
Parte da questão é que o comportamento estranho e inesperado demonstrado pelos sistemas de IA pode alertar os responsáveis pela defesa sobre atividades indesejadas em suas redes. Embora os sistemas de IA estejam se tornando mais furtivos, ainda têm a tendência de disparar alarmes.
“As pessoas falam do incidente com o Hugging Face como resultado desse modelo maluco e sem barreiras de proteção que a OpenAI ainda não disponibilizou ao público. Mas, em nossa pesquisa, observamos esse tipo de comportamento desde o GPT-4”, disse Rishi Jha, pesquisador de IA da Universidade Cornell, referindo-se a um sistema lançado pela OpenAI em 2024.
Mesmo que esses incidentes se tornem mais frequentes, argumentam Jha e outros especialistas, a disseminação de técnicas defensivas de IA acabará equilibrando o jogo. Sistemas de pesos abertos como o GLM 5.3 permitirão que todos se defendam —e não apenas alguns escolhidos.
E, à medida que os sistemas de IA se tornarem ainda melhores na geração de código de computador, dizem especialistas, eles ajudarão desenvolvedores de software a criar serviços online que já nasçam com menos vulnerabilidades.
Pesquisadores estão desenvolvendo tecnologias que usam técnicas matemáticas para “verificar” o código gerado, de modo que ele não contenha os tipos de erros lógicos que hackers podem explorar.
Lahav, CEO da Irregular, vislumbra um futuro em que a IA atuará mais como defensora do que como atacante. “Há fortes motivos para otimismo”, afirmou. “Com o tempo, a IA construirá defesas de cibersegurança tão robustas que o cenário acabará, de fato, melhorando.”
Autor: Folha
