Racisme automatisé: comment la technologie peut ancrer les préjugés

Nani Jansen Reventlow est directrice fondatrice du Digital Freedom Fund, qui soutient les litiges stratégiques sur les droits numériques en Europe. Elle est professeur auxiliaire à l’Université d’Oxford et à la Columbia Law School et conseillère à la Cyberlaw Clinic de la Harvard Law School.

À l’approche des élections législatives aux Pays-Bas ce mois-ci, les partis de centre-droit et d’extrême droite se surpassent en appelant à un État de surveillance qui s’attaquera de toutes ses forces aux groupes marginalisés et minoritaires.

Cela devrait sonner l’alarme à Bruxelles et au-delà.

Le parti du Premier ministre Mark Rutte, qui devrait devenir le vainqueur des élections, ne semble pas avoir tiré de leçons du scandale des bénéfices de l’année dernière, qu’un rapport parlementaire a qualifié d ‘«injustice sans précédent» et de violation des «principes fondamentaux de la règle». de la loi. »

En deux décennies, pas moins de 26 000 parents ont été accusés à tort d’avoir demandé frauduleusement des allocations de garde d’enfants. En conséquence, quelque 10 000 familles ont été contraintes de rembourser des dizaines de milliers d’euros, ce qui a entraîné des difficultés financières, du chômage, des faillites, des divorces et la perte de leur logement. Un parent s’est suicidé.

Une enquête menée par l’Autorité néerlandaise de protection des données l’été dernier a clairement montré que les méthodes utilisées par l’administration fiscale pour «détecter» ces prétendus cas de fraude étaient carrément discriminatoires: les parents ont fait l’objet d’un examen spécial en raison de leur origine ethnique ou de leur double nationalité. .

Plus tôt dans l’année, l’administration fiscale – après trois ans d’enquête incessante de parlementaires – avait révélé que pas moins de 180 000 citoyens avaient été injustement inclus sur des listes noires secrètes comme celle-ci. La presse a découvert une correspondance interne dans laquelle le personnel de l’administration fiscale se référait aux parents de manière désobligeante et raciste: «Cela ressemble à un nid d’Antillais», a déclaré l’un d’eux.

Le scandale – et le fait que les Pays-Bas ne tiennent pas officiellement compte de ses causes sous-jacentes – est un rappel inconfortable pour l’Europe que le racisme institutionnel est en grande partie l’expérience vécue par des millions de personnes de couleur vivant à travers le continent.

Ce problème ne disparaîtra pas s’il n’est pas résolu. En fait, la technologie sur laquelle les gouvernements s’appuient de plus en plus pour automatiser des décisions cruciales concernant nos vies a le potentiel non seulement de reproduire mais d’amplifier les inégalités structurelles dans nos sociétés.

L’Union européenne a un rôle crucial à jouer ici – non seulement en s’attaquant aux inégalités au sein de ses propres institutions et en envisageant une nouvelle législation, comme indiqué dans son récent plan d’action contre le racisme, mais aussi en obligeant les pays membres à rendre compte de leur respect des réglementations existantes. comme la directive sur l’égalité raciale.

Plus tôt ce mois-ci, l’intergroupe anti-racisme et diversité du Parlement européen a appelé l’exécutif européen à «Prendre une position ferme et décisive contre le racisme institutionnel» aux Pays-Bas à la lumière du scandale des bénéfices. Il a également exhorté la Commission à veiller à mettre en œuvre les promesses qu’elle avait faites l’année dernière à la suite des manifestations internationales Black Lives Matter.

Alors que le gouvernement néerlandais s’est excusé et a promis une indemnisation aux familles touchées, aucune mesure concrète n’a été prise pour lutter contre le racisme institutionnel qui a éclairé ces politiques au cours des deux dernières décennies – et pour empêcher qu’une telle situation ne se reproduise. Une enquête parlementaire prévue pour l’été 2022 pourrait s’avérer trop tardive pour éviter que de nouveaux dommages ne soient causés dans l’intervalle.

Malgré les révélations selon lesquelles les organes gouvernementaux, y compris les douanes, utiliseraient au moins 211 autres listes noires, les principaux partis politiques ont rejeté en janvier une motion parlementaire visant à interdire l’utilisation de la nationalité ou de l’origine ethnique dans le profilage des risques.

En fait, le parti du Premier ministre fait campagne avec la promesse de créer «une exception à la législation sur la protection de la vie privée pour permettre de créer des listes noires d’individus frauduleux et de partager cette information entre les institutions gouvernementales et privées».

Ces listes noires représentent un danger indéniable pour les groupes racialisés aux Pays-Bas – un danger qui pourrait bientôt devenir plus aigu grâce aux nouvelles technologies: en décembre, une proposition législative a été adoptée qui donnerait au gouvernement des pouvoirs de profilage algorithmique encore plus grands.

L’UE ne peut pas se permettre d’ignorer ce qui se passe aux Pays-Bas. L’incapacité du pays à prendre officiellement en compte le racisme institutionnel mis en lumière par le récent scandale, son manque de transparence concernant les autres «listes noires» utilisées par le gouvernement et sa proposition d’étendre à grande échelle ces processus automatisés et potentiellement discriminatoires est profondément inquiétant.

Lorsque le plan d’action antiraciste de l’UE a été lancé en septembre dernier, la vice-présidente de la Commission chargée des valeurs et de la transparence, Věra Jourová, a déclaré que «le changement doit se produire maintenant». La Commission devrait tenir sa parole et prendre des mesures concrètes pour utiliser les outils à sa disposition pour enquêter de manière approfondie sur des cas comme ceux des Pays-Bas.

Les risques posés par ce type d’automatisation et son potentiel à renforcer le racisme institutionnel ne se limitent pas aux Pays-Bas. Cela se passe dans toute l’Europe et à l’échelle mondiale.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *