IA pode reforçar preconceitos? Entenda a violência algorítmica

Há dez anos, o cientista da comunicação Christian Gonzatti denuncia a violência algorítmica, argumentando que os algoritmos de redes sociais costumam dar menos visibilidade a conteúdos produzidos por ele sobre a temática LGBTQIA+, sem transparência sobre os termos supostamente "proibidos" pelo sistema.

Gonzatti, que também é professor na Universidade do Vale do Rio dos Sinos (Unisinos), começou a publicar conteúdos culturais classificados como "nerd" dentro do segmento LGBTQIA+ em um canal chamado Viado Nerd.

"O algoritmo não lê contexto. Não via ‘viado' como uma ressignificação, da maneira que historicamente o movimento faz a partir de termos criados originalmente para difamar e caluniar. A página começou a ser denunciada e a plataforma as acatou, como se o espaço fosse de veiculação de discursos de ódio", recorda ele.

De lá para cá, mesmo rebatizando o projeto de Diversidade Nerd, ele continua sendo frequentemente classificado de forma errônea pelas plataformas ou, acredita, muitas vezes tendo seus posts rebaixados em relevância conforme algumas terminologias adotadas. "Se coloco a palavra gay ou lésbica na legenda, por exemplo, o alcance é menor", afirma.

Este não é um caso isolado. A violência algorítmica ocorre quando sistemas de reconhecimento facial classificam de forma pejorativa traços ligados a etnias não brancas, quando a inteligência artificial (IA) produz e distribui deep fakes para destruir a reputação de alguém e até quando modelos automatizados buscam interferir no comportamento das pessoas.

Um motorista de aplicativo em São Paulo, que prefere não ser identificado, relatou ter chegado a trabalhar 14 horas seguidas por conta de bônus oferecidos por algoritmos. "Os algoritmos forçam as pessoas a aumentar a produtividade de um jeito que não reconhece os limites naturais da humanidade. É violência", afirma o cientista da computação Alexandre Gonçalves, professor e pesquisador na Universidade de Illinois Urbana-Champaign, nos Estados Unidos.

Daniel Trielli, professor de mídia e democracia na Universidade de Maryland, explica que a violência algorítmica é um "tipo de agressão ou ataque que depende ou se integra a sistemas computacionais automatizados". Isso abrange não apenas algoritmos de redes sociais, mas também plataformas de vigilância digital e ferramentas de IA, que podem intensificar violências tradicionais e possibilitar novas formas.

A disseminação de fake news via redes sociais é um exemplo comum. "Quando alguém espalha esse conteúdo, os algoritmos amplificam o alcance de mensagem que têm apelo emocional", explica Trielli.

O termo violência algorítmica ganhou força no início da década passada, a partir de debates acadêmicos e intelectuais. Pesquisadores da Unisinos, como a jurista Haide Maria Hupffer e o advogado Gabriel Cemin Petry, fundamentaram o conceito com base no livro "Topologia da Violência", do filósofo Byung-Chul Han. Bruna Irineu, professora na Universidade Federal de Mato Grosso, aponta que a expressão faz parte de um campo mais amplo sobre discriminação algorítmica, opressão, racismo, colonialismo de dados e injustiça automatizada.

Fundamentalmente, os algoritmos não são neutros. Criados por pessoas e instituições imersas em sociedades com racismo, sexismo e outras desigualdades estruturais, esses sistemas tendem a reproduzir tais preconceitos, pois são treinados com milhões de conteúdos e decisões humanas. "Podemos dizer que violência algorítmica acontece quando sistemas automatizados, plataformas digitais, inteligências artificiais, mecanismos de busca, redes sociais ou bancos de dados produzem, reproduzem e amplificam desigualdades sociais", define a antropóloga Larissa Pelúcio, professora na Universidade Estadual Paulista (Unesp).

Ela acrescenta que a tecnologia decide quem será visto, silenciado, considerado suspeito, ou quem terá acesso a oportunidades, crédito, emprego, circulação, reconhecimento ou proteção. Bruna Irineu complementa que a violência algorítmica não cria desigualdade, mas a organiza, amplifica, potencializa, automatiza e dá mais relevância a uma desigualdade já existente.

No Brasil, o problema é exacerbado pela combinação de "intensa presença digital e profundas desigualdades sociais", segundo Pelúcio, além da "centralidade da violência contra populações negras, indígenas, periféricas e LGBTQIAPN+".

Um exemplo citado por Hupffer e Petry é o diagnóstico do Conselho Nacional de Justiça em 2021, que mostrou que 83% dos casos de reconhecimento facial equivocado que levaram à prisão de inocentes eram de pessoas negras. Se dados assim forem usados para treinar algoritmos, o racismo estrutural se torna racismo digital.

Pesquisadoras como Pelúcio e Irineu também destacam o "pânico moral" em plataformas digitais, onde algoritmos de engajamento favorecem conteúdos que geram medo e indignação, amplificando discursos de ódio e desinformação.

Alexandre Gonçalves aponta que o papel periférico do Brasil na construção dessas tecnologias agrava o cenário, com dados e soluções muitas vezes inadequados às diferenças demográficas brasileiras, o que pode gerar decisões mais enviesadas.

No entanto, Hupffer e Petry ressaltam que o Brasil reconhece a proteção de dados como direito fundamental e a Lei Geral de Proteção de Dados (LGPD) carrega o princípio da não discriminação, oferecendo amparo jurídico.

Para combater o problema, são necessárias medidas como o letramento digital, para um exercício consciente da cidadania online. "É muito importante educar para que todos entendam a maluquice que é o fato de darmos todos os nossos dados para as empresas de tecnologia", comenta Gonçalves.

Especialistas também cobram regulação das big techs, com leis e políticas públicas que responsabilizem plataformas por danos algorítmicos, e maior transparência nas diretrizes. Uma abordagem mais profunda envolve auditorias independentes e revisão de bases de dados com participação de grupos afetados, reconhecendo que muitos sistemas são construídos sobre desigualdades históricas.