Buscar
  • Pitacos

Algoritmo e a reprodução de vieses e preconceitos

Atualizado: 17 de mai. de 2021

Rayssa Colafranceschi


(Imagem: Observatório Cidadania Cultura e Cidade)


Recentemente, uma polêmica envolvendo o Twitter e seus algoritmos chocou usuários da rede social, que acusaram os administradores de racismo. A suspeita foi apontada após os usuários notarem que a visualização das imagens postadas no site, aparentemente, dava preferência a rostos de pessoas brancas. Foram feitos diversos testes não só com pessoas, mas com animais e até rostos de personagens de desenho não-brancos, para provar que, independentemente da quantidade de indivíduos brancos ou negros em uma imagem, a inteligência artificial da plataforma gera uma miniatura que dá preferência a rostos brancos, porque o algoritmo entende que essa é a parte mais importante da imagem.


Apesar de ter causado tanto um choque, esse tipo de comportamento dos algoritmos e da inteligência artificial não é nenhuma novidade para a comunidade tecnológica, que já tem essa pauta como discussão há anos. A cientista ganense-americana Joy Buolamwini é um dos grandes nomes na luta contra os chamados algoritmos enviesados e possui uma iniciativa conhecida como “Liga da Justiça Algorítmica” que já conta com diversos membros ao redor do mundo. Quem programa um software define uma meta de sucesso que, no caso do reconhecimento facial, é a definição de um rosto. Para isso, é criado um banco de dados com imagens que ensinam ao algoritmo o que é e o que não é um rosto. Se esse banco de dados não apresentar diversidade quanto cor, gênero e etnia tendo, majoritariamente, rostos de homens brancos, essa será definida como a meta de sucesso, não identificando tipos de rostos que se distanciam desse padrão. E o maior problema nisso tudo é que a maioria dos softwares de reconhecimento facial utilizam um banco de dados com imagens já prontas e pouco diversas, reforçando um viés preconceituoso.


Durante sua pós-graduação na MIT (Massachusetts Institute of Technology), Joy desenvolveu um projeto de reconhecimento facial utilizando um software genérico para sua construção, mas segundo revelou durante uma conferência do TedTalks, ela descobriu que não conseguiria testá-lo a menos que usasse uma máscara branca. Ela revela que já passou por esse tipo de constrangimento algumas vezes, mas o que a influenciou a criar a Liga foi quando durante uma viagem a Hong Kong para uma competição de empreendedorismo, ao visitar uma startup local, os participantes foram convocados para fazer uma demonstração com um robô social da empresa. Na vez de Joy, ela parecia estar vivendo um déjà vu: a demonstração funcionou com todos os participantes, menos com ela. “Do outro lado do mundo, aprendi que o algoritmo pode viajar tão depressa quanto uma descarga de arquivos da internet”, afirmou Joy.


Desde que algumas delegacias pelo mundo começaram a utilizar a inteligência artificial para identificar criminosos ou avaliar os riscos de uma cidade, várias imprecisões do software foram reportadas. Em janeiro desse ano, Robert Williams, um homem negro, foi detido em Detroit na frente de suas filhas e esposa após um programa de reconhecimento facial concluir, equivocadamente, que a foto de sua carteira de motorista era idêntica ao rosto de um ladrão de joias identificado por imagens de uma câmera de segurança. Williams só conseguiu ser liberado 30 horas depois, quando policiais reconheceram que a inteligência artificial havia errado.


Mais um contratempo aparece nos Estados Unidos, dessa vez na Califórnia. Com o objetivo de pôr fim às fianças, foi lançado o projeto de lei n.º5, que tem votação prevista para novembro deste ano*, no qual pretende conceder o uso de algoritmos aos juízes de modo a facilitar o processo judicial, em que o sistema irá avaliar o potencial de risco de um réu voltar a cometer crimes. Caso o detido seja classificado como “alto risco” pelo sistema, sua sentença será inafiançável. Contudo, uma pesquisa publicada em 2016 pelo ProPublica (site de jornalismo investigativo independente com sede em Nova York) já apontava o comportamento racialmente enviesado de um algoritmo desenvolvido com intuito de avaliar risco de reincidência de réus. Após análise dos dados de pontuação de risco, gerados pelo software COMPAS (Perfil de Gerenciamento Corretivo de Infratores para Sanções Alternativas) de mais de 7 mil presos no condado de Broward, na Flórida, entre os anos de 2013 e 2014, analisou-se que 44,9% dos negros avaliados como alto risco não tiveram reincidência enquanto 47,7% dos brancos “de baixo risco” voltaram a cometer novos crimes. O COMPAS é um questionário que se baseia em 137 critérios diferentes, na qual entre eles encontram-se variáveis como educação, criminalidade da família, ambiente social e lazer. Raça e etnia não são critérios estabelecidos diretamente no questionário, mas aparecem, mesmo que não explicitamente, nos critérios exemplificados anteriormente. Concluir que uma pessoa, em sua individualidade, é perigosa porque o porte de armas no bairro em que vive é legal ou, no seu ciclo social há um histórico de casos criminais, vai totalmente contra os princípios do direito penal.


Um fato que deveria ser visto como um grande passo para o futuro, na verdade, tem trazido à tona preconceitos bem ultrapassados. Desde a maneira como o Twitter sugere qual parte é mais importante de uma imagem, até casos como o de Joy Buolamwini, Robert Williams e também de réus injustiçados pelo COMPAS, vemos como os algoritmos estão cada vez mais inseridos no nosso cotidiano e levantando discussões importantes na sociedade. A inteligência artificial não é boa e nem ruim por si mesma, portanto, vale lembrar que os algoritmos não se tratam de entidades autônomas, pois, por trás deles existem pessoas e são essas mesmas que possuem vieses.


Sem uma reflexão crítica de como tais critérios são estabelecidos, não podemos avançar como sociedade. Por isso, para contornar essa situação, são essenciais iniciativas como a Algorithmic Justice League criada por Joy ou como o PretaLab, uma iniciativa nascida em solo brasileiro que trabalha para tornar o universo da tecnologia e da inovação um ambiente mais inclusivo. Uma equipe mais diversificada tende a trazer diversos pontos de vista e evita que haja mais falhas desses gêneros.


Há leis de transparência que já operam ao redor do mundo, uma alternativa essencial para contornar o enviesamento dos algoritmos. Na cidade de Nova York, foi aprovada uma legislação que garante a transparência das atividades automáticas geradas por algoritmos e, na União Europeia, é assegurada a rastreabilidade dos sistemas de IA e a revisão por parte de pessoas que foram sujeitas a decisões geradas automaticamente.


Enquanto isso o Brasil, no âmbito legal, só agora parece ter dado passos mais largos. Há dois anos foi aprovada a LGPD (Lei Geral de Proteção de Dados), que tem muitas semelhanças com a legislação da União Europeia. Entre vetos e adiamentos, a lei entrou em vigor somente no mês passado, contrariando a decisão do Executivo de postergá-la para 2021. Agora o cidadão brasileiro pode exigir de empresas e órgãos públicos um termo de uso mais claro, para entender melhor quais dados são armazenados, como isso é feito, para qual finalidade e quais são os algoritmos envolvidos. Já podemos ver a aplicabilidade da lei ao acessar sites que pedem o consentimento do usuário para o armazenamento de cookies (pequenos arquivos de texto que gravam, por um período, o histórico de navegação, tal como logins e senhas). Esperamos que o cumprimento da lei seja devidamente fiscalizado e que possamos enxergar mudanças significativas para assim, fazermos as pazes com as máquinas.


*obs.: texto escrito antes de novembro de 2020.




34 visualizações0 comentário