O racismo é um problema social presente em todo o mundo e afeta pessoas negras, asiáticas, indígenas, entre outros grupos. Um preconceito enraizado nas sociedades também aparece nas tecnologias atuais, como em ferramentas de inteligência artificial.
Racismo algorítmico é o termo usado justamente para descrever como softwares, inteligências artificiais e outras tecnologias podem reproduzir preconceitos, mesmo não sendo pessoas reais.
Reconhecer as falhas da tecnologia e como ela pode reproduzir preconceitos se torna ainda mais urgente conforme as cidades adotam sistemas de reconhecimento facial como o Smart Sampa, que já conta com 40 mil câmeras inteligentes na cidade de São Paulo.
O que é racismo algorítmico?
O racismo algorítmico acontece quando sistemas automatizados, incluindo algoritmos e ferramentas de IA, reproduzem ou ampliam desigualdades raciais em seus resultados. Isso pode acontecer por causa dos dados usados, das escolhas de desenvolvimento, das regras do sistema e da forma como a tecnologia é aplicada.
Isso também pode aparecer em ferramentas de seleção de candidatos, análise de risco e em outros sistemas com decisões automatizadas.
Um caso revelado pelo g1 conta a história de um homem que acabou sendo detido quatro vezes por engano, após ser identificado erroneamente pelas câmeras do Smart Sampa como um foragido da Justiça de Mato Grosso. Apesar de apresentar diferenças claras em relação à pessoa procurada, como idade e sobrenome, ele foi abordado pela polícia em todas essas ocasiões. O fato de a vítima ser um homem negro levanta um alerta sobre como o racismo pode ser alimentado pela tecnologia.
O principal ponto é que o racismo algorítmico nem sempre vem de uma intenção direta de discriminar. Na maioria das vezes, ele surge de uma forma mais indireta.
Por exemplo, ele pode surgir nos dados usados para treinar o sistema, nas escolhas feitas pelos desenvolvedores e nos objetivos que o algoritmo precisa cumprir. Por isso, mesmo parecendo técnico ou neutro, o sistema pode acabar criando “padrões preconceituosos”.
Ou seja, o racismo algorítmico não depende de uma intenção racista explícita para acontecer, basta que o sistema produza resultados desiguais recorrentemente.
De onde surge o racismo em algoritmos?
Não existe uma única resposta, mas uma origem comum está nos próprios dados. Se a sociedade produziu desigualdades, bases históricas tendem a registrar esses padrões.
Por exemplo, quando um modelo de IA aprende a partir de dados que registram essa discriminação, ele pode acabar tratando a desigualdade como uma regra e a injustiça como um sinal “normal”.
Também existe um problema ligado à representatividade e à qualidade dos dados. Estudos mostram que alguns bancos de dados e ferramentas comerciais falham mais com certos grupos étnicos ou minoritários, o que aumenta o risco de erros que podem causar impactos.
Quando o racismo algorítmico pode aparecer?
O racismo algorítmico pode surgir em diferentes usos da inteligência artificial, especialmente quando sistemas são treinados com dados enviesados ou usam critérios superficiais, entre outros fatores.
Confira algumas das formas em que o racismo algorítmico pode aparecer:
.gif)
- Reconhecimento facial: esse é um dos casos mais conhecidos de racismo algorítmico, já que tecnologias desse tipo acumulam episódios de identificação errada ligados a minorias raciais.
- Seleção de candidatos e emprego: como já ocorreu em alguns casos, ferramentas de IA usadas em processos de contratação, avaliação e demissão podem gerar discriminação.
- Dados antigos com erros ou desigualdades: vieses podem nascer dos próprios dados usados no treinamento dessas IAs, reproduzindo desigualdades que já existem no mundo real.
- Policiamento preditivo: ainda não é tão popular, mas sistemas enviesados que indicam onde possíveis crimes podem acontecer também podem reforçar desigualdades.
Smart Sampa e os casos de racismo algorítmico
Segundo uma pesquisa divulgada em fevereiro de 2026 pelo Laboratório de Políticas Públicas e Internet (Lapin), o Instituto de Referência Negra Peregum e a Rede Liberdade, o Smart Sampa já esteve ligado a casos de falsos positivos e prisões indevidas.
“O Smart Sampa aprofunda desigualdades raciais e geográficas, reforçando um modelo de segurança pública que criminaliza determinados corpos e territórios”, disse a diretora de Áreas e Estratégia do Instituto de Referência Negra Peregum, Beatriz Lourenço, em entrevista à Agência Brasil.
De acordo com a pesquisa, os dados indicam um possível viés racial e territorial no sistema. O resultado aponta que 25% das pessoas presas eram negras, enquanto 16,01% eram brancas, e 58,9% dos registros nem informavam raça. Também houve uma concentração geográfica das prisões analisadas no centro da cidade e nos bairros periféricos.
“Esses dados sugerem que o Smart Sampa reforça processos históricos de segregação racial, vigilância desigual e policiamento seletivo, articulados ao racismo e às desigualdades socioeconômicas”, diz um trecho da pesquisa.
O relatório também aponta problemas técnicos no reconhecimento facial. Entre os casos citados, ao menos 23 pessoas teriam sido levadas por engano por causa de inconsistências no sistema, e outras 82 foram presas, mas depois liberadas.
É possível reduzir o viés em algoritmos?
Existem estudos que mostram que o desempenho dos algoritmos pode variar bastante de um sistema para outro e melhorar com escolhas mais cuidadosas de dados. Então, é possível reduzir esse problema.
O NIST, órgão dos Estados Unidos que estuda padrões e tecnologia, aponta que alguns algoritmos têm desempenho melhor do que outros tanto em precisão quanto em equilíbrio entre diferentes grupos. O instituto também indica que o uso de bases de treinamento mais diversas pode ajudar a reduzir essas diferenças.
Já a pesquisa Gender Shades sobre o viés algorítmico, publicada em 2018, mostrou que sistemas de reconhecimento facial cometiam mais erros ao analisar mulheres e pessoas negras. O estudo ajuda a reforçar a importância de testar essas tecnologias em diferentes grupos.
De qualquer forma, é importante destacar que reduzir o viés não é algo simples e nem automático; ainda mais em uma sociedade que utiliza cada vez mais sistemas de IA.
Não basta só ajustar os modelos de aprendizagem de máquina ou qualquer outra tecnologia utilizada. Também é necessário criar regras e processos para avaliar riscos antes e depois do uso, a fim de evitar a perpetuação do racismo ou de qualquer outro preconceito.
Autor: CNN Brasil
