Discriminação algorítmica: quando a IA pode afetar os direitos da mulher

Em 2015, a Amazon descobriu que o programa usado para identificar e selecionar os melhores candidatos para as vagas da empresa rejeitava currículos enviados por mulheres, dando preferência aos homens. A explicação estava na base de dados que sustentava a inteligência artificial (IA) da ferramenta: ela havia sido projetada para se basear no quadro de empregados dos dez anos anteriores.

No entanto, a indústria de tecnologia é, até hoje, predominantemente masculina, o que fazia a IA reconhecê-los como as melhores opções, descartando todo o resto. A Amazon tentou reverter esse aprendizado do sistema, mas, sem sucesso, acabou por rejeitá-lo. 

Este é um dos casos mais famosos envolvendo um novo desdobramento da desigualdade de gênero no mundo: a discriminação algorítmica.

É também um claro sinal de como a violência e os estereótipos femininos estão, silenciosamente, saindo do mundo offline e se transferindo para a vida online, ajudando a perpetuar um ciclo que, há muito, já deveria ter ficado para trás. 

A origem do conceito de discriminação algorítmica

Vivemos, hoje, em um mundo que se parece mais com os homens do que com as mulheres. Ao longo dos séculos, a humanidade nunca conseguiu se desvencilhar de um padrão de gênero universal - o padrão masculino - que, um dia, foi criado para representar a vida em sociedade. 

Hoje, no entanto, o que esse padrão faz é reforçar a invisibilidade dos que não se encaixam ali. A baixa incidência de mulheres nas diferentes esferas sociais, como a política, a ciência e as lideranças corporativas, ajuda a manter esse pensamento. E a continuar deixando esse mundo mais parecido com as necessidades e demandas masculinas. 

A tecnologia, claro, passou a reproduzir este comportamento, ampliando as desigualdades de gênero e raça. Ela não está livre, afinal, desse contexto social onde foi criada: uma sociedade marcada por inúmeros preconceitos sexistas e classistas que podem se resumir em casos como o da Amazon. E ele está longe de ser o único. 

O próprio Google, o maior buscador do mundo, se viu imerso em uma situação assim. Até pouco tempo atrás, quando os usuários faziam pesquisas usando termos “mulheres negras” e “mulheres lésbicas”, o resultado mostrava imagens pornográficas, remetendo à fetichização e à hiperssexualização das características femininas. Isso só foi revertido quando o Google providenciou modificações na sua estrutura algorítmica que fez com que o buscador passasse a mostrar imagens mais representativas da mulher.

Não é por acaso também que as assistentes virtuais tão comuns atualmente, como Alexa, Siri e Cortana, possuem nomes e vozes femininas. É mais fácil reforçar o estereótipo de submissão, subverniência e objetificação historicamente relegado à mulher do que atrelar isso a um homem. Ao gênero masculino reservam-se as máquinas superinteligentes que vêm sendo criadas agora, como o Watson, da IBM, por exemplo. 

Direitos da mulher e dificuldade de acesso

A consequência dessa discriminação algorítmica vai muito além do preconceito velado contra a mulher. Também dificulta o acesso dela a alguns direitos básicos e contribui para reforçar a sua invisibilidade no desenvolvimento de produtos e serviços. 

Os sistemas de airbags talvez sejam o exemplo mais claro disso. A tecnologia criada para proteger os ocupantes de um veículo em caso de acidentes foi desenhada com base em bonecos de corpo masculino. Não consideravam, portanto, aspectos próprios particulares do corpo de uma mulher, como os seios e a barriga de gestante, por exemplo. As consequências disso estão nos riscos: algumas pesquisas vêm mostrando, ao longo dos anos, que elas têm 47% mais chances de sofrer ferimentos graves em caso de colisão e 17% mais risco de morrer em razão disso.

Diante desta realidade, a Lei Geral de Proteção de Dados (LGPD) vem caminhando para se consolidar como um marco normativo importante no combate à discriminação algorítmica. Especialmente porque estabeleceu a não discriminação como um de seus princípios, vedando todo e qualquer tipo de tratamento diferenciado em casos que utilizam dados pessoais como base. E que, em seus resultados, oferecem impacto negativo para seus usuários.

Como a discriminação algorítmica se reproduz 

O uso de sistemas, softwares e aplicativos que automatizam processos por meio da inteligência artificial vem ganhando cada vez mais espaço em instituições públicas e privadas. São muito comuns para mapear dados, prever tendências e resolver demandas e problemas que levariam um tempo considerável se fossem feitas por um funcionário. É como se a tecnologia fizesse todo o trabalho manual e burocrático para que as pessoas pudessem se concentrar em análises mais estratégicas e trabalhos intelectuais. Uma mão na roda para tempos tão dinâmicos.

Basicamente, a inteligência artificial é feita através dos algoritmos, uma espécie de instrução lógica e matemática que analisa um vasto conteúdo, faz a leitura massiva dos dados e informações previamente inseridos e identifica alguns padrões. Com isso, apresenta resultados que seriam, estatisticamente, mais prováveis de darem certo. 

O próprio Poder Judiciário já se apropria dessa tecnologia. Alguns tribunais e escritórios de advocacia utilizam softwares de resolução antecipada de conflitos e as (cada vez mais comuns) análises preditivas de decisões judiciais, que fazem uma análise dos pedidos da petição inicial e os comparam à jurisprudência atualizada para apontar as decisões mais prováveis para aquele caso. 

O que está por trás da IA, no entanto, são pessoas. Todo o desenvolvimento do sistema, toda a sua arquitetura, todos os comandos usados para desenhar as fórmulas e códigos que influenciam no resultado apresentado, são pensadas por seres humanos que fazem uma série de escolhas e deliberações na hora de criar suas estruturas e ensinar o sistema a identificar quais dados e categorias devem ganhar mais ou menos importância em cada situação. 

A subjetividade por trás do algoritmo

Codificar um algoritmo é como escrever um texto ou fazer um desenho. Muitas questões subjetivas - conscientes e inconscientes - são transportadas para o papel (ou para a tela) durante o desenho da fórmula matemática. 

Tudo isso acaba por interferir diretamente no potencial discriminatório dos resultados apresentados, fazendo com que a IA seja muito mais receptiva ao gênero considerado universal para o mundo. Tudo que não se enquadra a isso é desconsiderado. A IA, afinal, não saberá diferenciar circunstâncias e características que se distanciam do que ela considera como padrão. 

Algoritmos do tipo preditivos, que antecipam questões futuras com base na análise de dados históricos e experiências pretéritas, por exemplo, podem se tornar inadequados se considerarem um passado que não incluiu as mulheres. Foi exatamente o que aconteceu com o sistema da Amazon. 

É o que acontece também em sistemas financeiros que submetem à IA os pedidos de empréstimo e contratação de seguros. Em geral, eles estão baseados em critérios que levam em consideração as relações firmadas em um determinado período do passado. O algoritmo, neste caso, tende a repetir o padrão que conhece: rejeitar o pedido feito por mulheres porque, historicamente, a maioria dos contratos era concedida a homens. 

Se nada for feito para mudar esta realidade, tudo tende a dar errado. O agente de mercado não consegue chegar à solução dos problemas que almeja, uma vez que não teve acesso a um resultado realista dos dados analisados. E a IA irá, cada vez mais, se tornar um sistema discriminatório e não inclusivo. Estará transformada em mera repetidora de um mundo desigual. 

Os possíveis caminhos para resolver essa questão

Para evitar que a discrimação algorítmica se propague, é importante que o setor tecnológico mantenha um olhar atento às questões de gênero. E o primeiro passo talvez seja reconhecer que os algoritmos e a IA não são estruturas neutras, mas que, sim, podem estar carregadas de vieses e pré-concepções. 

A partir daí, é importante investir na diversidade dos times de desenvolvimento de sistemas, inserindo mais mulheres nessas funções. A presença feminina ali é uma forma de driblar a visão e a narrativa predominantemente masculina em produtos que utilizam IA.

Elas têm papel fundamental também nos testes de identificação e mapeamento dos riscos que podem ser transportados para dentro do sistema, ampliando o ponto de vista das pesquisas e evitando que estejam contaminados com questões discriminatórias. 

Além disso, é preciso adotar diretrizes para garantir a transparência dos processos algorítmicos em relação à maneira como ele produz resultados - o que, hoje, não existe. O compromisso com a transparência é uma forma de amenizar os eventuais riscos de discriminação algorítmica, já que a desigualdade nem sempre é identificada de forma preventiva.

Muitas vezes, ela só aparece em resultados díspares, que saltam aos olhos e causam desconfiança nos agentes. Quando isso acontece, os danos à igualdade de gênero podem ser irreparáveis. 

A LGPD como possível solução à discriminação algorítmica

A própria LGPD pode se tornar um caminho para mitigar os riscos dessa discriminação algorítmica. Em vigor desde 2020, a lei elencou a transparência como norte para a atuação dos agentes e previu a prestação de contas e a não discriminação entre suas principais premissas. 

Na prática, o usuário precisa conhecer o modus operandi dos sistemas que fazem uso de seus dados pessoais para as análises via IA e também a forma como os resultados foram alcançados - ainda que isso não interfira nos segredos comerciais envolvendo os códigos e estruturas matemáticas.

Tal compromisso com a informação é uma forma de quebrar as barreiras em torno do funcionamento da tecnologia e de estimular o agente de mercado a desenvolver algoritmos mais inclusivos. 

Para a LGPD, o usuário também possui a prerrogativa de solicitar esclarecimentos sobre critérios e procedimentos utilizados via IA em relação àquilo que afeta seus interesses. Neste caso, a lei previu auditorias para apuração de aspectos discriminatórios no tratamento dos dados pessoais, o que é de competência da Autoridade Nacional de Proteção de Dados (ANPD). 

O agente de mercado é responsável direto pelos resultados produzidos pelos algoritmos dos seus sistemas, diz a LGPD. Ele possui dever legal de tomar providências para evitar que aconteçam problemas graves envolvendo dados pessoais. E isso inclui a perpetuação da discriminação algorítmica.

Argumentos de impossibilidade técnica não vêm sendo aceitos pelos Tribunais como justificativa para a produção de resultados discriminatórios. E não só em decorrência da LGPD, mas também da Constituição Federal que assegura a igualdade de todos os cidadãos. 

Há quem diga que a inteligência artificial carrega o mesmo poder transformador das grandes revoluções da história humana. Se for isso mesmo, a IA pode mudar o mundo e provocar rupturas profundas nos padrões de vida até então existentes. Não cabe, portanto, dar voz a preconceitos que vêm de um tempo que não existe mais.

Nem mesmo sustentar condutas que servem apenas para dar novos nomes a comportamentos obsoletos e retrógrados, como é o caso da discriminação algorítmica. A tecnologia, mais do que nunca, precisa cumprir com o seu papel. E o seu papel é aquele que aproxima e conecta. Jamais aquele que afasta.

Saiba tudo sobre a Lei Geral de Proteção de Dados

Em nosso blog, temos um artigo bem completo falando somente sobre a LGPD. Você pode conferi-lo clicando aqui!

Não deixe de assinar nossa News e ficar por dentro de temas relevantes. Preencha o formulário abaixo e receba quinzenalmente novidades em seu e-mail.

Sâmia Frantz é advogada em Florianópolis (SC) e com atuação virtual em todo o país, prestando assessoria e consultoria jurídica contenciosa e preventiva nas áreas de Direito Digital, Lei Geral de Proteção de Dados, Compliance Digital, Direito das Startups, Contratos, Direito de Família e Execuções e cobranças e Direitos Humanos.