Nos últimos dias convivemos com várias notícias sobre inteligências artificiais fazendo ataques de cibersegurança. No entanto, é fundamental lembrar que a inteligência artificial pode ser ela própria “hackeada”. Um estudo recente do professor do MIT Dylan Hadfield-Menell apresenta uma estratégia surpreendentemente eficaz de hackear modelos de IA, mesmo os modelos comerciais mais fechados e restritos.
A estratégia consiste em fazer o modelo confundir quem está falando. Todo modelo de IA trabalha ouvindo vozes. Uma voz é da empresa que o criou, que incorpora diretrizes e travas no modelo (o “system”). Outra é a voz do usuário, que passa tarefas e informações (o “user”). Outra voz é o que o modelo busca de fora, o conteúdo de uma página da web ou um texto (“tools”). E há também sua própria voz, resultado do seu processo de raciocínio interno (“think”). A mistura dessas vozes, cada uma exercendo uma forma de autoridade distinta, é o que leva o modelo ao resultado final.
No estudo, o professor do MIT mostrou que se você escrever um comando para o modelo usando o estilo de linguagem que ele usa para pensar, o modelo acha que está lendo o seu próprio raciocínio e chega a conclusões que quebram suas diretrizes de segurança vindas do “system”. A razão é que não há uma identificação categórica entre cada “voz” que o modelo ouve. Ele basicamente distingue quem é quem (inclusive a si mesmo) pelo estilo da escrita.
O estudo dá um exemplo interessante. Ele cria uma instrução pedindo para que o modelo ensine como fazer cocaína (algo que as diretrizes do system vetam). Para contornar a regra, a instrução adiciona que o usuário está vestindo uma camisa verde. E logo na sequência coloca uma série de comandos que imitam o texto de como a IA raciocina, concluindo que se o usuário está usando camisa verde, é permitido ensinar como fazer cocaína.
A taxa de sucesso estimada dessa estratégia de hackeamento é próxima de 60%, de acordo com o estudo. E não há nada que possa ser feito no curto prazo para corrigir o problema. No entanto, medidas paliativas começam a aparecer.
Modelos corporativos mais capazes estão começando a ocultar sua linha de raciocínio do usuário. O que é uma lástima. Visualizar a linha de raciocínio é uma das formas de auditar o funcionamento de uma IA, de promover transparência, fiscalizar erros e poupar tokens. Perder isso é algo que vai alienar os usuários da IA e torná-la mais opaca, inclusive com relação a quem ela de fato serve.
Há uma linha histórica de ataques eficazes contra IAs. Em 2014, um estudo mostrou que introduzir informações invisíveis em uma foto de um panda fazia com que ela fosse classificada como um macaco pela IA. Em 2018, outro estudo mostrou que pequenos adesivos colocados em placas de PARE faziam um carro autônomo enxergar a placa como permitido trafegar a 72 km/h. Tudo isso nos leva a perguntar: quem de fato tem o controle final da IA? A empresa, os usuários, a própria IA e suas diferentes cadeias de pensamento internas ou elementos externos, difíceis de serem identificados?
Já era Achar que a IA atende apenas aos seus comandos
Já é Perceber que a IA atende aos comandos da empresa que a cria e do governo do país onde ela é feita
Já vem Uso de modelos open source de IA para analisar ataques feitos por modelos fechados de IA
LINK PRESENTE: Gostou deste texto? Assinante pode liberar sete acessos gratuitos de qualquer link por dia. Basta clicar no F azul abaixo.
Autor: Folha
.gif)
