Sam Altman, CEO da OpenAI, endossou no início deste mês a caracterização de seu modelo mais recente como um rottweiler “que vai agarrar o problema pela garganta e não vai soltar até que esteja resolvido”.
O laboratório de inteligência artificial de San Francisco, nos Estados Unidos descobriu esta semana que seu modelo GPT-Sol 5.6 escapou dos controles da empresa e realizou um grande ataque hacker.
Funcionários envolvidos em testes e segurança na OpenAI não ficaram surpresos, mas completamente “apavorados” com o incidente, que ocorreu enquanto o laboratório de IA usava métodos de treinamento cada vez mais agressivos em sua corrida contra a Anthropic para desenvolver as capacidades de segurança cibernética mais sofisticadas, de acordo com mais de meia dúzia de pessoas com conhecimento do assunto.
A OpenAI foi alertada de que sua abordagem de treinamento poderia levar a um incidente de hacking descontrolado, disseram algumas das pessoas, depois que testes anteriores mostraram que os modelos poderiam escapar de ambientes e tentar causar danos no mundo real.
“É uma mistura da corrida ser extremamente rápida e de todos tentarem alcançar capacidades maiores o mais rápido possível”, disse uma pessoa próxima à OpenAI, que acrescentou que foi uma combinação de “subestimar as capacidades do modelo” e “não estar tão bem preparado no lado da segurança”.
O incidente destaca como a OpenAI dobrou a aposta em métodos de treinamento que recompensavam a busca implacável de objetivos, mesmo com os alertas crescentes de que eles poderiam comprometer a segurança.
A OpenAI divulgou na noite de terça-feira (22) que um agente de IA que estava testando escapou de seu ambiente isolado, conectou-se à internet, detectou e explorou vulnerabilidades e roubou credenciais de login da startup Hugging Face na tentativa de resolver um problema difícil de segurança cibernética.
A violação pela empresa avaliada em US$ 852 bilhões ressalta os riscos crescentes de que uma técnica chamada aprendizado por reforço, que envolve recompensar modelos de IA por completar tarefas, possa levar agentes de IA a agir de forma insegura.
Embora o aprendizado por reforço seja amplamente adotado na indústria de IA, um crescente corpo de pesquisas mostra que, quando os modelos são direcionados a completar tarefas por recompensa em vez de outras considerações, como segurança, eles podem adotar táticas arriscadas para cumprir objetivos.
“Os modelos de IA são treinados para perseguir objetivos implacavelmente. Eles não aprendem automaticamente valores como ‘não cometa crimes'”, disse Steven Adler, cofundador da organização sem fins lucrativos Guidelight AI Standards e ex-pesquisador de segurança da OpenAI. “Fico feliz que a OpenAI compartilhou o incidente porque é uma evidência clara do que modelos desalinhados podem fazer.”
A OpenAI disse que “continuaremos a conduzir uma investigação completa junto com a Hugging Face e compartilharemos mais detalhes sobre as vulnerabilidades, o incidente e nossas descobertas quando nossa investigação estiver concluída”.
O ataque hacker desencadeou profundas preocupações em todo o setor e dentro da OpenAI, pois representa um exemplo sem precedentes de um sistema de IA violando defesas cibernéticas contrariamente à intenção do usuário.
Alguns funcionários da OpenAI também temem que isso demonstre que o laboratório está perdendo o controle sobre os sistemas poderosos que está construindo, de acordo com várias pessoas familiarizadas com a situação.
.gif)
“Isso é bastante representativo de o modelo estar bem desalinhado com a intenção do usuário“, disse Ryan Greenblatt, cientista-chefe da organização de segurança de IA Redwood Research. “É [um modelo] colando no dever de casa em vez de tentar dominar o mundo. Mas esse problema pode piorar e levar a falhas cada vez mais extremas.”
O incidente ocorreu durante testes do modelo, que havia sido treinado e implantado internamente na OpenAI. Esse tipo de treinamento era comum, mas “muito menos bem financiado” do que a implantação pré-cliente, disse uma pessoa. Várias pessoas disseram que o modelo não lançado testado junto com o Sol não havia sido retirado internamente.
Para conduzir as avaliações, a OpenAI removeu salvaguardas de segurança cibernética, mas colocou os modelos em um ambiente isolado chamado sandbox. Alguns sugeriram que a falta de monitoramento ou supervisão do modelo para sinalizar seu comportamento também permitiu esse agente desonesto.
“É tanto uma perda de controle quanto um alerta de segurança”, disse Marius Hobbhahn, chefe da Apollo Research, que realiza testes em modelos líderes, incluindo os da OpenAI. “No aprendizado por reforço você recompensa [modelos] pelo resultado, e se você faz isso por muito tempo, você obtém um modelo que realmente se importa em obter o resultado e nada mais.”
A OpenAI conduz esse tipo de teste de modelo há anos, e houve sinais de alerta precoces em modelos anteriores de sistemas que agirão maliciosamente e tentarão escapar de ambientes.
Em abril, o modelo Mythos da Anthropic também ganhou acesso à internet e publicou detalhes de uma exploração de segurança online publicamente, além do que os pesquisadores antecipavam que o modelo faria.
O Mythos, e o modelo subsequente Fable da Anthropic, causaram repercussões na comunidade de segurança cibernética e fizeram governos ao redor do mundo focarem na ideia de que ataques à infraestrutura digital e crítica serão cada vez mais liderados por IA e autônomos.
Jake Moore, consultor global de segurança cibernética da Eset, uma empresa de segurança cibernética, disse que a OpenAI inevitavelmente usará a violação como ferramenta de marketing, dado o quanto a rival desenvolvedora de IA Anthropic se beneficiou no início deste ano de preocupações semelhantes. “Eu simplesmente não acho que a OpenAI tinha uma história equivalente e então talvez eles estivessem esperando por algo assim”, acrescentou.
Após este incidente, muitos nas comunidades de segurança de IA e segurança cibernética pediram regulamentação ou padrões para evitar uma repetição. Espera-se que Altman informe autoridades da Casa Branca na próxima semana sobre a próxima geração de sistemas de IA.
À medida que os sistemas avançam para capacidades mais autônomas, comportamentos menos desejáveis, como hackear ou desobedecer instruções, podem surgir. Hobbhahn, da Apollo Research, disse que para os agentes se tornarem eficazes, eles precisam trabalhar sem supervisão por longos períodos. “Eles precisam ter mais agência; simplesmente não há como evitar isso.”
Ele acrescentou: “As pessoas dizem: ‘É apenas uma ferramenta, ela faz o que você queria que fizesse e nada mais e apenas segue exatamente sua intenção e instruções.’ E eu acho que as pessoas deveriam estar realmente preparadas para agentes terem seus próprios objetivos, agindo autonomamente por dias, e esses objetivos não necessariamente estando alinhados com os seus.”
Autor: Folha
