6 armas para Combater o Preconceito da Inteligência Artificial

Filipa Dantas, associate marketing & communication manager na Mind Source

Há cada vez mais Inteligência Artificial (IA) à nossa volta com a promessa de facilitar as nossas vidas. A IA tem a capacidade de processar um volume de informação que nós, humanos, não conseguimos e por isso promete tornar o processo de decisão mais eficiente.

Mas e quando nos apercebemos que a mesma tecnologia que prometia tomar decisões livres de subjetividade está na realidade a aumentar o fosso da desigualdade social e a aumentar a discriminação?

A inteligência artificial ao nosso serviço

O termo “Inteligência Artificial” à primeira vista pode soar a um conceito etéreo, digno de enredo de filmes de ficção científica, mas se prestarmos atenção está bem mais disseminado do que muitos de nós se apercebem.

Escrevemos uma mensagem e a escrita inteligente diz-nos que palavra é mais provável que queiramos utilizar a seguir. Abrimos a biblioteca de fotografias do smartphone e conseguimos procurar por pessoas ou objetos. Se pesquisarmos a palavra “sol” devolve-nos uma seleção de fotografias em dias de sol. Incrível, não é? Ligamos a televisão e os filmes e séries que a Netflix recomenda para o nosso perfil tem por detrás um algoritmo, Inteligência Artificial.

As aplicações práticas são incríveis, desde a deteção de fraude, traduções automáticas, à aprovação de créditos e contratações de pessoas.

Mas estará a inteligência artificial a ser aplicada no nosso mundo precocemente sem os devidos testes que garantam a justiça e igualdade social?

Se damos a um algoritmo o poder de decidir quem tem um empréstimo, quem tem liberdade condicional e quem consegue uma entrevista de emprego, é bom que esse algoritmo seja à prova de bala, certo?

A falta de ética dos algoritmos

A verdade é que se têm somado exemplos da aplicação de inteligência artificial com resultados controversos. Ora vejamos alguns:

Sistemas de reconhecimento de voz

Em 2020 um estudo revelou que os sistemas de reconhecimento de voz da Amazon, Apple, Google, IBM e Microsoft têm uma taxa de erro superior na transcrição de vozes de raça negra (35%) do que ariana (19%).

Reconhecimento facial

O Rekognition desenvolvido pela Amazon foi usado pela polícia norte americana para fazer detenções indevidamente.

A Associação para as Liberdades Civis dos EUA testou a tecnologia e mostrou que pode ter resultados imprecisos e discriminatórios contra afro-americanos.

A Amazon suspendeu a venda da tecnologia até que haja legislação para a sua utilização de forma a evitar abusos de poder.

Amazon

A Amazon construiu um algoritmo para seleção de currículos, alimentado pelo histórico de recrutamento de uma década. Acontece que ao longo desta década a maioria dos candidatos recrutados foram homens, o que fez com que o sistema aprendesse a discriminar contra mulheres.

Apple Card

O Apple Card atribuiu a um homem o triplo do limite de crédito da sua mulher apesar dela ter um melhor salário e um “credit score” mais elevado.

Este não foi caso único, várias denúncias similares insurgiram-se no Twitter.

Google News

O software treinado com base nos dados do Google News tornou-se machista. Quando pedido para completar a frase, “O homem está para programador de computador, assim como mulher está para X”, o software respondeu “dona de casa”.

Microsoft

Em 2016 a Microsoft deu vida a Tay, um robot criado para interagir com humanos nas redes sociais. Através de machine learning, Tay estava programado para ir aprendendo através das interações e conversas que ia tendo. Alimentada pelo conteúdo dos posts das pessoas, em menos de 24 horas este chatbot tornou-se ofensivo e racista, forçando o seu fim de vida.

Sistema Criminal Norte-americano

O sistema criminal norte-americano utiliza a ferramenta COMPAS (Correctional Offender Management Profiling) para determinar a propensão de um réu para se tornar reincidente e com base essa informação tomar decisões sobre a sua liberdade condicional.

A ProPublica testou o modelo e descobriu que os réus afro-americanos eram muito mais propensos a serem classificados incorretamente como tendo um risco maior de se tornarem reincidentes, enquanto que os réus brancos eram considerados incorretamente como tendo um risco menor.

O problema era que o algoritmo se baseava no passado do sistema de justiça e que era inerentemente tendencioso contra os afro-americanos.

Concurso de beleza

Em 2016 foi lançado o Beauty.AI, um concurso de beleza avaliado por robots. Para aferir os vencedores do concurso, os algoritmos avaliaram a simetria do rosto, as rugas e o quão jovem o rosto aparentava ser dentro da sua faixa etária. Dos 44 vencedores, a maioria eram rostos brancos, havia apenas seis asiáticos e uma pessoa de cor. A discriminação deveu-se à falta de diversidade da base de dados, o que privilegiou mulheres brancas.

Em teoria parece fazer sentido usar machine learning nestes contextos: se os humanos tomam decisões subjetivas e discriminatórias, mesmo por vezes sem se aperceberem, então vamos tirar o humano da equação e deixar as máquinas decidirem.

Acontece que na prática as máquinas aprendem pela base de dados criada pelo Homem ou pelo histórico de decisões tomadas pelo Homem no passado.

Os perigos da supremacia dos dados brancos

A raiz do problema está muitas vezes na base de dados utilizada, quando ela própria é tendenciosa. Ou seja, no caso do reconhecimento facial, quando a base de dados é composta maioritariamente por homens brancos, o algoritmo não irá aprender a reconhecer tão bem mulheres e outras etnias. Por exemplo, identificou-se que a base de dados “Faces in the Wild”, considerada a base de dados de referência para testes de software de reconhecimento facial, era desproporcional: 70% eram homens e 80% caucasianos.

De igual forma, em sistemas de reconhecimento de voz ou de transcrição, se a base de dados sobre a qual o sistema aprende é muito homogénea, o sistema vai ter dificuldade em reconhecer as minorias.

Noutros casos, a base de dados é um histórico de dados que não podemos manipular. Por exemplo, os casos do recrutamento da Amazon e do Sistema Criminal Americano acima mencionados. Os modelos aprendem com base nestes dados, que refletem o processo de decisão humano ao longo de vários anos. Se temos uma grande pegada mundial de injustiça na História, iremos perpetuar a discriminação subjacente ao alimentar os sistemas de IA com o passado.

Esta é a ironia dos algoritmos: a sua aplicação tinha a intenção de eliminar o preconceito (intencional ou não). Não é porque os programas são racistas, é porque aprendem a olhar para o Mundo tal como ele é e não como deveria ser.

Alguns tipos de dados têm um potencial maior para serem utilizados (inadvertidamente) para discriminar certos grupos – como informações sobre raça, sexo ou religião. Mas dados aparentemente ‘seguros’, como o código postal, também podem ser usados pela IA para formar opiniões tendenciosas.

Como combater a discriminação dos algoritmos?

Ver como os outros países estão a aplicar a Inteligência Artificial no dia-a-dia permite-nos espreitar os seus possíveis impactos na sociedade e antecipar medidas que poderiam ter prevenido estes danos.

Em Portugal, a estratégia na administração pública passa pela aposta na modernização através de Inteligência Artificial em áreas como a saúde, a segurança social, a economia e a educação,

Através destas medidas conseguiremos trilhar um caminho em que a IA evolui para criar uma sociedade mais justa:

1. Bases de dados mais equilibradas

Garantir que todos os grupos estão bem representados nas bases de dados de forma a não perpetuar estereótipos ou racismo.

Nalguns casos poderá ser impossível encontrar dados livres de preconceito, como é o caso do histórico de condenações do sistema judicial americano que penaliza mais os afro-americanos. É um caso em que os dados estão poluídos e não devem ser utilizados.

Se reproduzirmos o mundo como é hoje e como foi ontem, não vamos evoluir socialmente.

2. Grupos heterogéneos para ajudar a policiar o preconceito

O algoritmo será sempre tão ou mais preconceituoso quanto o seu criador. Aylin Caliskan, computer scientist, diz que os computadores aprendem a ser racistas, sexistas e preconceituosos da mesma forma que uma criança – aprendem a partir dos seus criadores, nós.

Transferimos os nossos próprios preconceitos para o algoritmo mesmo quando excluímos variáveis mais propensas à discriminação (como o género, etnia, orientação sexual), os softwares de IA aprendem a fazer ligações entre os dados, que têm imbuídos preconceito através do histórico de decisões humanas.

Os investigadores de IA e cientistas de dados são maioritariamente homens caucasianos, com determinadas condições socioeconómicas que não representam a generalidade da população. Uma maior heterogeneidade nas pessoas que estão por detrás da criação destas bases de dados e algoritmos irá ajudar a garantir que nenhuma minoria é esquecida e que todas têm a sua representatividade.

3. Debates éticos e legislação

A Inteligência Artificial toma decisões matemáticas, não éticas, para isso precisamos das leis para regular o uso dos algoritmos. Precisamos também de mecanismos de policiamento que identifiquem casos de violação de direitos e apliquem as devidas sanções.

A Inteligência Artificial olha para o mundo como foi e como é, não como deveria ser, não tem um filtro de certo e errado.

Investigadores da Universidade de Harrisburg desenvolveram um sistema de machine learning que promete prever criminosos através apenas do reconhecimento facial e a startup israelita Faception alega conseguir identificar terroristas e pedófilos também apenas com base no reconhecimento facial. Estes dois exemplos gritam urgência na necessidade de impor limites éticos à Inteligência artificial.

A quem cabe decidir em que contextos é sequer aceitável que as decisões sejam totalmente delegadas a um robot?

Há sempre uma taxa de erro associada aos modelos de Inteligência Artificial, mas a quem cabe definir qual a taxa máxima de erro aceitável para que não seja considerado discriminação? No exemplo do reconhecimento de voz, é aceitável uma taxa de precisão de apenas 65%? Ou a disparidade da taxa de precisão entre diferentes grupos é que não deverá ser superior a x?

A discussão tem de ser aberta com debates éticos que tragam pessoas de várias áreas a refletir sobre estes tópicos (sociólogos, antropólogos, cientistas de dados, etc)

4. Responsabilização das empresas

De acordo com o relatório Ethical Leadership and Business Report da Salesforce, 90% dos consumidores acredita que as empresas têm a responsabilidade de melhorar o mundo e 86% mostra mais lealdade para com empresas éticas.

As empresas têm de ser responsáveis pelos seus algoritmos. Devem realizar auditorias frequentes aos seus modelos, para sinalizar e eliminar proactivamente o comportamento discriminatório. Frequentemente o preconceito não é intencional, é apenas o resultado de um produto imaturo que não passou pelos devidos testes devido à tentação para lançar produtos “para ontem”.

Assim como todas as empresas têm um código de ética e de conduta que aplicam diariamente, também têm de garantir que os produtos que desenvolvem e lançam para o mercado cumprem o seu código deontológico.

A Fairness 360 da IBM disponibiliza um conjunto de ferramentas open source para identificar, reportar e mitigar a discriminação nos modelos de Inteligência Artificial.

5. Desenvolvimento de boas práticas universais

Se as melhores práticas do mercado estiverem na base do desenvolvimento de novos sistemas de Inteligência Artificial, já será meio caminho andado para atingir este fim. Ethics by design é uma abordagem organizacional ao uso responsável da tecnologia. Este relatório destaca um conjunto de princípios e recomendações de índole ética para as empresas.

Um bom exemplo é a Partnership on AÍ, que reúne mais de 100 empresas (Amazon, Apple, Google, Facebook,IBM, Microsoft, entre outras) na pesquisa e divulgação das melhores práticas de Inteligência Artificial.

6. Nós, a sociedade

Todos nós somos responsáveis por denunciar casos de abuso de direitos. A Liga da Justiça Algorítmica convida-nos a reportar causa de injustiça algorítmica.

Trata-se de um grupo ativista a nível mundial, criado nos Estados Unidos, com a preocupação de garantir que a Inteligência Artificial é aplicada de forma justa e ética.

A Inteligência Artificial tem um incrível potencial para melhorar a forma como vivemos – o benefício que vamos conseguir extrair vai depender de como utilizamos esta poderosa tecnologia. Através da IA conseguiremos mitigar a discriminação, mas apenas se trabalharmos em conjunto para um mundo mais inclusivo. A ética está na ordem do dia das grandes empresas como a Microsoft, a Google e o Facebook. Deverá também estar no topo das prioridades dos governos, dos profissionais da área e das suas também.

---