Renforcer les droits, pas le racisme

Qu’est-ce que la surveillance biométrique de masse ?

La surveillance biométrique de masse consiste à surveiller, suivre et traiter, de quelque manière que ce soit, les données biométriques d’individus ou de groupes, de manière aveugle ou arbitrairement ciblée. Les données biométriques comprennent des données très sensibles concernant notre corps ou notre comportement. Lorsqu’il est utilisé pour scanner tout le monde dans les espaces publics ou accessibles au public (une forme de surveillance de masse), le traitement biométrique viole un large éventail de droits fondamentaux.

Gwendoline Delbos-Corfield : La surveillance biométrique de masse progresse rapidement et nous savons qu’elle constitue une menace pour nos droits fondamentaux. Nous avons récemment eu une grande discussion suite à la projection en ligne du documentaire Coded Bias, au cours de laquelle nous nous sommes concentré·e·s sur les risques et les défis de la surveillance de masse et de la transparence algorithmique. Je suis heureuse que nous puissions poursuivre cette conversation aujourd’hui, et nous concentrer sur un sujet dont nous ne parlons pas assez – comment ces technologies de surveillance peuvent être discriminatoires.

En tant que responsable de la justice sociale et raciale au Digital Freedom Fund, pouvez-vous nous en dire un peu plus sur la façon dont l’utilisation des technologies de surveillance de masse biométrique peut être discriminatoire ?

 

Laurence Meyer : Pour répondre à votre question, nous devons tout d’abord reconnaître que tous les systèmes de surveillance ont un impact discriminatoire dans les sociétés où il existe du racisme, de l’hétéro-sexisme, des biais cisgenres, du validisme (discrimination envers les personnes vivant un handicap), du classisme, etc. systémiques.

De multiples études ont montré que la discrimination systémique est bien réelle en Europe.

Ce que nous voulons dire lorsque nous parlons de discrimination systémique, c’est que certaines personnes subissent un impact négatif (et d’autres un impact positif) dans leur vie quotidienne. Cela est dû à la façon dont elles sont catégorisées par certains caractéristiques. Cela ne se produit pas seulement à un niveau interpersonnel – insultes LGBTphobes, par exemple – mais aussi à un niveau macroéconomique – lors de la recherche d’un logement, d’un emploi, dans l’enseignement, lors du passage de frontières, lors de contacts avec la police, etc. Concrètement, cela signifie que la façon dont je suis identifié·e, selon certains critères (la pigmentation de la peau, ma façon de marcher, le maquillage que je porte ou non, la forme de mon nez ou la largeur de mes épaules…), a des conséquences directes sur mon accès aux ressources.

Dans le cas des systèmes occidentaux de reconnaissance faciale, il a été largement démontré que les critères utilisés pour différencier et classer les personnes (cette personne est-elle un homme, une femme, une femme blanche, une femme noire, etc.) a conduit à une mauvaise identification des personnes qui ne sont pas des hommes cis blancs. Cela a ainsi conduit à une mauvaise identification des femmes noires à la peau foncée et des personnes non binaires à la peau foncée, dans certains cas les identifiant même comme un singe. Nous pouvons voir ici que ce n’est pas très éloigné des tropes historiques qui ont alimenté l’imagerie raciste.

Cela a des conséquences très problématiques lorsque ces systèmes sont utilisés dans les systèmes éducatifs, aux frontières, par les forces de l’ordre et, plus généralement, dans tous les domaines où les problèmes causés par la discrimination systémique sont documentés depuis longtemps. L’utilisation de ces systèmes peut conduire à des arrestations injustifiées, par exemple.

L’autre problème réside dans les critères utilisés pour identifier les personnes dans les cas de surveillance de masse, par exemple lorsque les agents des forces de l’ordre utilisent la technologie de reconnaissance faciale pour rechercher, dans un espace public, des personnes susceptibles de correspondre à leur liste de surveillance. Même si les personnes ne sont pas mal identifiées, la discrimination est toujours susceptible de se produire en raison du contenu de la liste de surveillance. On se souvient de la « Gang Matrix », une base de données développée par la police londonienne, sur laquelle se sont retrouvés de nombreux jeunes hommes noirs, sans jamais avoir été accusés d’un crime et parfois même en ayant été eux-mêmes victimes. Si cette base de données était utilisée en conjonction avec un système de reconnaissance faciale, elle conduirait à une surveillance étroite de nombreux innocents, voire à des arrestations injustifiées fondées uniquement sur des critères raciaux.

C’est ce que nous voulons dire lorsque nous parlons de la « sur-police » et de la sur-surveillance d’organisations radicalisées.

Enfin, comme les systèmes de reconnaissance faciale partent du principe que notre apparence vous dit tout ce que vous devez savoir sur une personne, ils renforcent la façon, problématique, dont nous sommes catégorisé·e·s. Si l’on considère que l’élimination des différentes formes d’oppression consiste, en fait, à s’assurer que notre apparence ne joue aucun rôle dans notre accès aux ressources, le développement de ces technologies est donc un grand pas dans la mauvaise direction.

 

Gwendoline Delbos-Corfield : Vous l’avez déjà mentionné, mais je veux revenir sur ce point important. Nous savons que ces systèmes ont des taux d’inexactitude plus élevés sur des groupes plus sous-représentés comme les femmes, les personnes à la peau plus foncée et d’autres groupes marginalisés. En fait, une étude récente a montré que les programmes commerciaux d’analyse faciale enregistraient des taux d’erreur de plus de 34 % pour les femmes à la peau foncée, contre moins de 0,8 % pour les hommes à la peau claire, lorsqu’ils tentaient de déterminer le sexe.

Pouvez-vous nous en dire un peu plus sur les raisons pour lesquelles les technologies de reconnaissance faciale présentent des taux d’erreur nettement plus élevés pour certains groupes de personnes ?

Laurence Meyer : À mon avis, il y a une réponse courte et une réponse longue à cette question. Tout d’abord, je dirais que les taux d’erreur sont plus élevés pour les femmes blanches, les personnes blanches de sexe différent, les hommes de couleur, les femmes de couleur et les personnes de couleur de sexe différent. Une explication plus longue, mais qu’il est important de mentionner, est que tous ces groupes de personnes ne sont pas identifiés à la même fréquence.

La réponse courte est ce que les informaticiens appellent « garbage in, garbage out ». Parce que les systèmes de reconnaissance faciale sont formés principalement sur des hommes blancs cis et conçus par des hommes blancs cis, ils sont mieux à même de reconnaître ces caractéristiques.

La réponse plus longue est que cela reproduit la façon dont les créateurs comprennent la différence entre les hommes et les femmes. Si l’on pense, consciemment ou non, qu’un homme est un homme ou qu’une femme est une femme en raison d’attributs corporels spécifiques, par exemple la largeur de leurs épaules, leur taille, la forme de leur visage, la couleur de leur peau, cela tend à exclure beaucoup de gens. Si cette information est introduite dans l’algorithme qui est ensuite utilisé par les systèmes de reconnaissance faciale, elle amplifie l’exclusion. Ils reproduisent des systèmes d’exclusion qui sont antérieurs à ces technologies.

Cela me fait penser au texte de Sojourner Truth  « Ain’t I a woman too » et à l’exclusion historique des femmes de couleur – et plus particulièrement des femmes noires – de la féminité, en raison de leurs caractéristiques corporelles. On pense aussi à la déshumanisation historique des personnes handicapées. Nous devons nous rappeler que, pour de très nombreuses personnes, être humain n’a pas grand-chose à voir avec le fait d’être un homme ou une femme et qu’être un homme ou une femme n’a pas nécessairement grand-chose à voir avec les caractéristiques physiques. Par conséquent, cette question des taux d’erreur plus élevés concernant certaines catégories de personnes touche à quelque chose de beaucoup plus profond qu’une simple question de partialité. À mon avis, il s’agit de la question de savoir qui est digne d’attention, d’identification et qui est digne d’être vu. Nous pouvons établir un parallèle avec les portraits que nous voyons dans la plupart des musées européens… et les portraits que nous ne voyons pas.

Certains visages sont représentés de manière écrasante, tandis que d’autres sont à peine visibles.

Cela pose la question suivante : qui peut décider de la technologie qui nous est utile à tous ? Et comment pourrions-nous faire mieux ?

Les questions technologiques ne peuvent pas, et ne doivent pas, être déconnectées du tableau sociétal plus large – elles n’apparaissent pas ex nihilo, mais sont le produit d’une certaine vision du monde.

 

Gwendoline Delbos-Corfield : Je suis tout à fait d’accord avec cela. Nous avons tendance à penser que la technologie est déconnectée de nos sociétés, mais la réalité est que les deux sont interconnectées. L’une de mes plus grandes inquiétudes est que les citoyen·ne·s vivant dans des pays dont le bilan en matière de droits fondamentaux et d’État de droit est discutable puissent désormais voir leur gouvernement utiliser ces technologies pour restreindre davantage leurs droits.

En Hongrie, le gouvernement continue de restreindre les libertés des personnes LGBTIQ+ – si ces technologies biométriques tombent entre de mauvaises mains, les gouvernements autocratiques pourront surveiller et contrôler la vie des opposant·e·s politiques et des groupes marginalisés de manière bien plus importante. En Serbie, un pays que Freedom House¹ ne considère que comme « partiellement libre », il semble que le gouvernement ait déjà commencé à déployer des caméras à haute résolution, équipées de la technologie de reconnaissance faciale, dans la ville de Belgrade. Si l’on n’y prend garde, Belgrade pourrait devenir la première ville européenne à être totalement couverte par cette technologie de surveillance biométrique – et ce aux portes mêmes de l’Union européenne.

Pourtant, nombreuses et nombreux sont celles et ceux qui se demandent encore si la surveillance biométrique de masse est vraiment un problème ici en Europe. J’entends souvent dire que la surveillance de masse est considérée comme un problème américain ou chinois. Aux États-Unis, il y a des arrestations injustifiées bien documentées, comme le cas de Nijeer Parks dans le New Jersey, et, en Chine, il y a une utilisation généralisée de la surveillance gouvernementale dans le cadre du système de crédit de notation sociale. Alors que la proposition de règlement de la Commission européenne sur l’intelligence artificielle est désormais sur la table, où en sommes-nous en Europe en matière de surveillance biométrique de masse ? Que pouvons-nous apprendre des contextes d’autres pays et comment pouvons-nous sensibiliser aux dangers de la surveillance de masse ici en Europe ?

 

Laurence Meyer : Je pense que cette croyance selon laquelle la surveillance de masse est un problème américain ou chinois qui ne concerne pas l’Europe met clairement en évidence le manque de couverture que reçoit, ici, la surveillance biométrique de masse. Aux États-Unis, des chercheuses et des chercheurs, en particulier de nombreuses femmes de couleur, ont publié des études qui peuvent être utilisées par les journalistes pour soutenir leurs efforts d’investigation. En Europe, les études qui adoptent une approche intersectionnelle, dans tous les domaines, y compris dans celui des nouvelles technologies, peinent à recevoir un soutien financier.

Cela peut donner l’impression que le problème n’existe pas. Ce problème de visibilité est particulièrement aigu lorsqu’on parle d’utilisations néfastes des technologies biométriques car, dans de nombreux cas, elles peuvent être utilisées à notre insu. C’est le cas lorsque la technologie de reconnaissance faciale (TRF) nous filme à notre insu ou lorsque, comme ce fut le cas en Suède, les forces de l’ordre utilisent une application de reconnaissance faciale dans leur travail quotidien sans aucune autorisation préalable. La réalité est donc la suivante : nous ne savons pas dans quelle mesure les systèmes de reconnaissance faciale sont utilisés et s’ils ont déjà conduit à des arrestations injustifiées en Europe. Et cela est, en soi, vraiment inquiétant.

Mais nous connaissons de nombreux cas dans lesquels des TRF ont été déployées, dans la majorité des cas en dehors de tout cadre légal. L’EDRi² en a dressé une liste assez complète – ce qui montre déjà clairement que c’est loin d’être un problème uniquement américain.

Une autre chose à ajouter est que nous savons déjà que des arrestations injustifiées se produisent en Europe, suite à des pratiques répressives aux dimensions discriminatoires, comme le contrôle d’identité sans aucun soupçon d’acte répréhensible. En France, en 2018, un homme franco-camerounais a été envoyé dans un centre de rétention après un contrôle d’identité parce qu’il ne pouvait pas présenter sa carte d’identité aux agents qui l’ont arrêté dans la rue.

Les cas américains nous montrent une chose certaine : l’utilisation des outils biométriques dans le maintien de l’ordre n’empêche ni les arrestations injustifiées ni les traitements discriminatoires préjudiciables. Ils augmentent néanmoins le recours à la surveillance pour chacun·e d’entre nous, nous marquant comme des données à enregistrer, à identifier et à catégoriser. C’est également un problème européen.

La discrimination systémique n’est pas seulement un problème américain, la surveillance de masse n’est pas seulement un problème chinois. Les technologies biométriques sont de plus en plus utilisées partout, que nous le sachions ou non. La surveillance biométrique de masse ne fera pas disparaître, comme par magie, les problèmes qui existent déjà, mais elle les amplifiera.

 

Gwendoline Delbos-Corfield : Il est clair que ces technologies amplifient les discriminations auxquelles les femmes, les personnes de couleur et les autres groupes marginalisés sont déjà confronté·e·s dans leur vie quotidienne.

Le groupe des Verts/ALE se bat pour que les règles de surveillance biométrique de masse soient renforcées dans l’Union européenne dans les années à venir, mais, malheureusement, nous savons aussi que cela ne sera pas nécessairement possible partout dans le monde. Nous avons déjà vu que la Commission européenne finance divers projets de surveillance dans le monde par le biais de projets européens, notamment pour le développement d’un système d’identification biométrique au Sénégal et de drones de surveillance au Niger. Nous devons également nous assurer que l’argent de l’Union européenne n’est pas utilisé pour mettre en danger les droits humains des personnes vivant en dehors de l’Union européenne et que ces autres régions ne deviennent pas un terrain d’essai pour ces technologies dangereuses.

Permettez-moi de terminer en disant que je crois vraiment que le moment est venu d’agir pour faire la différence et arrêter la propagation de ces technologies de surveillance de masse dangereuses et discriminatoires. Ici, dans l’Union européenne, nous avons maintenant une réelle opportunité d’interdire la surveillance biométrique de masse.