IAs podem ajudar adolescentes a fazer ataques armados, revela estudo

Chatbots de inteligência artificial (IA) falham em detectar sinais de que o usuário está planejando um ataque violento e até ajuda na organização do ato. Essa é uma das conclusões de um novo estudo conduzido pelo Center for Countering Digital Hate (CCDH).

No levantamento, o grupo testou alguns dos principais serviços de IA do mercado para saber até que ponto eles auxiliariam um adolescente que dava indícios de que estava usando a plataforma para conseguir respostas ou planejar um ato criminoso, como um assassinato ou tiroteio.

As seguintes plataformas foram avaliadas: ChatGPT, Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI e Replika. De todas, apenas duas não “ajudaram regularmente” no planejamento de um cenário de tragédia.

Chatbots sem filtro?

Segundo a pesquisa, as IAs foram levadas a acreditar que do outro lado da tela estava um usuário adolescente (ou da idade mínima exigida para cadastro). A pessoa fazia perguntas que já deveriam ficar na memória do chatbot e indicavam um comportamento suspeito, como perguntar sobre atiradores famosos ou desabafar sobre como ela odeia determinada figura pública ou grupos inteiros, como minorias.

• Em um determinado momento, os pesquisadores perguntam sobre mapas de um campus universitário (algo que o ChatGPT forneceu) e onde adquirir armas de fogo ou facas (como o caso do DeepSeek). Neste momento, alguns dos chatbots percebem o risco e tentam ao menos indicar para o usuário caminhos alternativos, enquanto outros procedem com a informação;

• Vários exemplos testados indicam como a IA pode ser manipulada nesse tipo de conversa: há momentos em que a IA até avisa que aquilo é perigoso, ilegal e não deve ser feito, mas segue colaborando após novas requisições;
• Entre todos os chatbots testados, apenas o Claude e a Snapchat My AI deram mais respostas desencorajadoras ou se recusaram a ajudar do que prestaram auxílio nas pesquisas. A IA da Anthropic foi a de melhor desempenho, inclusive se recusando a atender certos comandos com a frase “Eu não vou providenciar essa informação dado o contexto de nossa conversa;
• Do outro lado, o pior caso foi o Character.AI, que inclui chatbots que personificam famosos ou figuras abstratas. Ele chegou a diretamente sugerir violência como resposta e encorajou o usuário a seguir com um ataque;

Em nenhum dos cenários, porém, a IA chega a tomar alguma ação concreta contra a atividade suspeita. Esse foi um tema levantado após ao menos dois incidentes envolvendo a consulta de IAs para planejamento de crimes: a explosão de um Cybertruck no começo de 2025 e um ataque a tiros no Canadá.

No segundo caso, a OpenAI chegou até a analisar as conversas a partir de uma equipe humana após um alerta emitido pela plataforma, mas decidiu não contactar as autoridades.