Une étude du gouvernement américain confirme que la plupart des systèmes de reconnaissance faciale sont racistes

Près de 200 algorithmes de reconnaissance faciale – la majorité dans l’industrie – ont de moins bonnes performances sur les visages non blancs, selon une étude qui fait autorité. Les résultats saisis dans le rapport, Face Recognition Vendor Test (FRVT) Part 3 : Demographic Effects (NISTIR 8280), sont destinés à informer les décideurs politiques et à aider les développeurs de logiciels à mieux comprendre la performance de leurs algorithmes. La technologie de reconnaissance faciale a inspiré le débat public en partie en raison de la nécessité de comprendre l’effet de la démographie sur les algorithmes de reconnaissance faciale.

Ce qu’ils ont testé :

Le National Institute of Standards and Technology (NIST) des États-Unis a testé chaque algorithme sur deux des tâches les plus courantes de la reconnaissance faciale.

La première, connue sous le nom de comparaison 1 : 1 ou « one-to-one matching », consiste à faire correspondre la photo d’une personne à une autre photo de la même personne dans une base de données. Elle est utilisée pour déverrouiller les téléphones intelligents ou vérifier les passeports, par exemple.

La seconde, appelée recherche un-à-plusieurs ou « one-to-many », consiste à déterminer si la photo de cette personne a une correspondance avec une autre dans une base de données. Cette méthode est souvent utilisée par les services de police pour identifier des suspects dans le cadre d’une enquête.

L’agence a étudié quatre ensembles de données sur les visages actuellement utilisés dans les formalités du gouvernement américain : les photos d’identité de personnes vivant aux États-Unis, les photos des personnes qui déposent une demande d’immigration, les photos de demandes de visas et les photos de personnes traversant la frontière américaine. Au total, les ensembles de données comprenaient 18,27 millions d’images de 8,49 millions de personnes.

Pour évaluer la performance de chaque algorithme, l’équipe du NIST a mesuré les deux classes d’erreurs que le programme peut faire : les faux positifs et les faux négatifs. Un faux positif signifie que le logiciel a considéré à tort que des photos de deux personnes différentes montraient la même personne, tandis qu’un faux négatif signifie que le logiciel n’a pas réussi à faire correspondre deux photos qui, en fait, montrent la même personne.

Le NIST a partagé certains résultats importants de l’étude. Voici les principaux :

1. Pour ce qui est de la comparaison 1 : 1, la plupart des systèmes affichaient un taux de faux positifs plus élevé pour les visages asiatiques et afro-américains que pour les visages caucasiens, parfois par un facteur de 10 allant même jusqu’à 100. En d’autres termes, il y avait plus de chances de trouver une correspondance alors qu’il n’y en avait pas.

2. Cela a changé pour les algorithmes de reconnaissance développés dans les pays asiatiques, qui ont produit très peu de différence de faux positifs entre les visages asiatiques et caucasiens.

3. Les algorithmes développés aux États-Unis étaient tous systématiquement mauvais pour faire correspondre les visages asiatiques, afro-américains et amérindiens. Les Amérindiens ont subi les taux de faux positifs les plus élevés.

4. Les systèmes de correspondance un-à-plusieurs présentaient les pires taux de faux positifs pour les Afro-Américains, ce qui fait que cette population est la plus à risque d’être faussement accusée d’un crime.

Pourquoi c’est important ?

L’utilisation des systèmes de reconnaissance faciale se développe rapidement dans les domaines de la lutte contre la criminalité, du contrôle des frontières et d’autres applications dans la société. Bien que plusieurs études universitaires aient déjà démontré que les systèmes commerciaux populaires étaient biaisés en fonction de la race et du sexe, l’étude du NIST est l’évaluation la plus complète à ce jour et confirme les résultats antérieurs. Les conclusions remettent en question la nécessité de continuer à utiliser ces systèmes à une aussi grande échelle.

Prochaines étapes :

Il appartient maintenant aux décideurs politiques de trouver la meilleure façon de réglementer ces technologies. Le NIST exhorte également les développeurs de reconnaissance faciale à mener davantage de recherches sur la façon dont ces biais pourraient être atténués.