O governo neerlandês corre o risco de agravar a discriminação racial através do uso continuado de algoritmos não regulamentados no setor público, afirma a Amnistia Internacional numa nova análise ao escândalo dos abonos de família no país.
O relatório Máquinas Xenófobas (em inglês, Xenophobic Machines) expõe a forma como a caraterização racial foi incorporada na conceção do sistema algorítmico utilizado para determinar se os pedidos de abono de família eram assinalados como incorretos e potencialmente fraudulentos. Como resultado, dezenas de milhares de pais e cuidadores, na maioria de famílias com baixos rendimentos, foram erradamente acusados de fraude pelas autoridades tributárias neerlandesas. A Amnistia Internacional mostra ainda como as pessoas de minorias étnicas foram desproporcionalmente afetadas. Ainda que todo este caso tenha derrubado o governo em janeiro, e apesar de várias investigações, não foram aprendidas lições suficientes.
“Milhares de vidas foram arruinadas por um processo imprudente, que incluía um algoritmo xenófobo, baseado na caraterização racial. Mesmo assim, as autoridades neerlandesas arriscam-se a repetir estes graves erros, uma vez que continuam a faltar proteções de direitos humanos na utilização de sistemas algorítmicos”, referiu Merel Koning, consultora sénior de Tecnologia e Direitos Humanos na Amnistia Internacional.
“Por todo o mundo, vários governos estão a apressar-se a automatizar a prestação de serviços públicos, mas são as pessoas mais marginalizadas na sociedade quem paga o preço mais elevado”
Merel Koning
“Preocupantemente, os neerlandeses não estão sozinhos. Por todo o mundo, vários governos estão a apressar-se a automatizar a prestação de serviços públicos, mas são as pessoas mais marginalizadas na sociedade quem paga o preço mais elevado.”
A Amnistia Internacional apela a todos os governos para que implementem uma proibição imediata da utilização de dados sobre nacionalidade e etnia ao procederem a avaliação de fatores de risco para fins de aplicação da lei, na busca de potenciais suspeitos de um crime ou de fraude.
Ciclo discriminatório
Desde o início, a discriminação racial e étnica foi central na conceção do sistema algorítmico introduzido em 2013 pelas autoridades fiscais neerlandesas para detetar pedidos de abono de família incorretos e potencialmente fraudulentos. As autoridades tributárias utilizaram informações sobre a nacionalidade como fator de risco, onde os cidadãos não neerlandeses receberam pontuações de risco mais elevadas.
Os pais e cuidadores que foram selecionados pelo sistema tiveram os seus subsídios suspensos e foram submetidos a investigações hostis, caraterizadas por regras e políticas severas, interpretações rígidas das leis e políticas inflexíveis de recuperação dos subsídios. Tudo isto trouxe graves problemas financeiros às famílias afetadas, desde o endividamento e desemprego até aos despejos forçados, já que as pessoas não conseguiam pagar a sua renda ou as prestações das suas hipotecas. Algumas pessoas desenvolveram problemas de saúde mental e stress nas suas relações pessoais, o que levou mesmo a divórcios e à destruição das famílias.
O desenho do algoritmo reforçou o preconceito institucional existente de uma conexão entre raça e etnia com o crime, bem como da generalização de um comportamento ao conjunto de uma raça ou grupo étnico.
Estas falhas de conceção discriminatórias foram reproduzidas por um mecanismo de autoaprendizagem que fez com que, ao longo do tempo, o algoritmo se tenha adaptado com base na experiência, sem supervisão humana significativa. O resultado foi um ciclo discriminatório, com os cidadãos não neerlandeses a serem mais frequentemente sinalizados como suspeitos de terem cometido alguma fraude do que as pessoas com nacionalidade neerlandesa.
Ausência de responsabilização
Cada vez que um indivíduo era assinalado como potencial “risco de fraude”, era solicitado a um funcionário público que efetuasse uma revisão manual, mas não lhe era dada qualquer informação sobre o motivo pelo qual o sistema tinha gerado uma avaliação de risco superior. Estes sistemas opacos de “caixa negra” (‘black box’ systems), nos quais os ‘inputs‘ e os cálculos do sistema não são visíveis, levaram a uma ausência de responsabilização e supervisão.
“O black box system criou um buraco negro de responsabilização, com as autoridades tributárias neerlandesas a confiarem num algoritmo para auxiliar a sua tomada de decisões, sem supervisão adequada”, relatou Merel Koning.
Existia um incentivo perverso para que as autoridades fiscais confiscassem tantos fundos quanto possível, independentemente da veracidade das acusações de fraude, uma vez que tinham de provar a eficácia do sistema de decisão algorítmica. Durante anos, os pais e cuidadores que foram identificados como fraudulentos pelas autoridades tributárias não receberam respostas a questões sobre o que tinham feito de errado.
As conclusões de Máquinas Xenófobas são apresentadas hoje, 26 de outubro, num evento sobre discriminação algorítmica, paralelo à Assembleia Geral das Nações Unidas. Este ano, a Amnistia Internacional está a lançar um Laboratório de Responsabilização Algorítmica – uma equipa multidisciplinar encarregue de realizar investigações e campanhas sobre os riscos, para os direitos humanos, de sistemas de decisão automatizada no setor público. A organização apela aos governos para que:
- Previnam violações de direitos humanos no que diz respeito à utilização de sistemas de decisão algorítmica, nomeadamente através da implementação de uma avaliação obrigatória e vinculativa do impacto sobre os direitos humanos, antes do uso de tais sistemas.
- Estabeleçam mecanismos efetivos de monitorização e supervisão para sistemas algorítmicos no setor público.
- Responsabilizem os autores de violações e providenciem reparação efetiva a indivíduos e grupos cujos direitos tenham sido violados.
- Parem a utilização de sistemas de caixa negra e algoritmos de autoaprendizagem, sempre que a decisão é suscetível de ter um impacto significativo sobre os direitos dos indivíduos.
