People Analytics : La longue histoire de l’analyse des personnes

La Silicon Valley croit depuis longtemps qu’elle peut optimiser la société, comme le soutient Jill Lepore dans son nouveau livre If Then.

Si vous travaillez pour Bank of America ou l’armée américaine, vous avez peut-être utilisé une technologie développée par Humanyze. Cette société est issue des recherches menées au Media Lab du MIT et décrit ses produits comme “des analyses fondées sur la science pour favoriser l’adaptabilité”.

Si cela semble vague, c’est peut-être délibéré. Humanyze vend notamment aux entreprises des dispositifs permettant d’espionner les employés, tels que des badges d’identification avec des étiquettes RFID intégrées, des capteurs de communication en champ proche (NFC, Near Field Communication) et des microphones intégrés qui permettent de suivre dans les moindres détails le ton et le volume (mais pas les mots) des conversations des personnes tout au long de la journée. Humanyze a déposé son score de santé organisationnelle, qu’elle calcule sur la base des données des employés collectées par les badges et qu’elle promet être “une formule éprouvée pour accélérer le changement et favoriser l’amélioration”.

Ou alors vous travaillez pour l’une des entreprises du secteur de la santé, du commerce de détail ou des services financiers qui utilisent le logiciel développé par Receptiviti. La mission de cette entreprise basée à Toronto est d’aider les machines à comprendre les gens en scannant les courriels et les messages Slack à la recherche d’indices linguistiques de mécontentement. “Nous nous inquiétons de la perception de Big Brother”, a récemment déclaré Kreindler, le PDG de Receptiviti au Wall Street Journal. Il préfère qualifier la surveillance des employés de corporate mindfulness. (Orwell aurait également eu quelque chose à dire sur cet euphémisme).

De tels efforts dans ce que ses créateurs appellent “people analytics” sont généralement justifiés par l’amélioration de l’efficacité ou de l’expérience du client. Ces derniers mois, certains gouvernements et experts de la santé publique ont préconisé le suivi et la traçabilité des applications comme moyen d’arrêter la propagation de la covid-19.

Mais en adoptant ces technologies, les entreprises et les gouvernements évitent souvent de répondre à des questions cruciales : Qui devrait savoir quoi à votre sujet ? Ce qu’ils savent est-il exact ? Que devraient-ils être en mesure de faire avec ces informations ? Et, est-il jamais possible de concevoir une “formule éprouvée” pour évaluer le comportement humain ?

De telles questions ont une histoire, mais les technologues d’aujourd’hui ne semblent pas la connaître. Ils préfèrent se concentrer sur les nouvelles et ingénieuses façons dont leurs inventions peuvent améliorer l’expérience humaine (ou les résultats de l’entreprise) plutôt que sur les façons dont les gens ont essayé et échoué à faire de même dans les époques précédentes. Chaque nouvel algorithme ou application est, selon eux, une réprimande implicite du passé.

Mais ce passé peut offrir une orientation et une humilité bien nécessaires. Malgré des ordinateurs plus rapides et des algorithmes plus sophistiqués, l’analyse des personnes d’aujourd’hui est alimentée par une vieille conception réductrice : l’idée que la nature humaine dans toute sa complexité peut être réduite à une formule. Nous en savons assez sur le comportement humain pour exploiter les faiblesses des uns et des autres, mais pas assez pour le modifier de manière significative.

If Then, un nouveau livre de Jill Lepore, historienne à l’université de Harvard et rédactrice au New Yorker, raconte l’histoire d’une entreprise technologique oubliée du milieu du XXe siècle, la Simulmatics Corporation. Fondée par un groupe hétéroclite de scientifiques et de publicitaires en 1959, elle était, selon Jill Lepore, “la Cambridge Analytica de l’Amérique de la guerre froide”.

Une description plus précise pourrait être que c’était un effort des démocrates pour concurrencer l’adoption des techniques de publicité par le parti républicain. Au milieu du siècle, les républicains vendaient les hommes politiques au public comme s’il s’agissait de papier toilette ou de café. Simulmatics, qui s’était installé à New York (et qui a dû recourir aux ordinateurs d’IBM pour effectuer ses calculs), promettait de prédire le résultat des élections presque en temps réel – une pratique désormais si courante qu’elle est banale, mais considérée alors comme révolutionnaire, voire impossible.

Le nom de la société, qui signifie “simulation” et “automatique”, était à la mesure de l’ambition de ses créateurs : “automatiser la simulation du comportement humain”. Son principal outil était la People Machine, que Lepore décrit comme “un programme informatique conçu pour prédire et manipuler le comportement humain, toutes sortes de comportements humains, de l’achat d’un lave-vaisselle à la lutte contre une insurrection en passant par le vote”. Il fonctionnait en développant des catégories de personnes (comme une mère blanche de la classe ouvrière catholique ou républicaine de banlieue) et en simulant leur prise de décision probable. (La publicité ciblée et les campagnes politiques utilisent aujourd’hui des techniques largement similaires).

Les principaux acteurs de l’entreprise sont issus de différents milieux. Le publicitaire Ed Greenfield a été l’un des premiers à entrevoir comment la nouvelle technologie de la télévision allait révolutionner la politique et a acquis la conviction que les premiers ordinateurs exerceraient une force tout aussi perturbatrice sur la démocratie. Ithiel de Sola Pool, un ambitieux chercheur en sciences sociales désireux de travailler avec le gouvernement pour découvrir les secrets du comportement humain, est finalement devenu l’un des premiers théoriciens visionnaires des réseaux sociaux.

Plus que tout autre homme de Simulmatics, Pool incarnait à la fois la ferveur idéaliste et l’insouciance à l’égard de la violation des normes qui caractérisent les innovateurs technologiques d’aujourd’hui. Fils de parents radicaux qui ont eux-mêmes touché au socialisme dans leur jeunesse, il a passé le reste de sa vie à prouver qu’il était un patriote engagé dans la guerre froide, et il a un jour décrit son travail à Simulmatics comme “une sorte de pari du Manhattan Project en politique”.

Pour aider à l’élection de J.F.K., Simulmatics a conçu des modèles informatiques du comportement des électeurs. Photographie de Stan Wayman / Getty

L’un des premiers gros clients de la société a été la campagne présidentielle de John F. Kennedy en 1960. Lorsque Kennedy a gagné, la société a revendiqué le mérite. Mais elle a également dû faire face à la crainte que la machine qu’elle avait construite puisse être utilisée à des fins malveillantes. Comme l’a dit un scientifique dans un exposé de la société, publié par le magazine Harper’s peu après l’élection, “On ne peut pas simuler les conséquences de la simulation“. Le public craignait que des entreprises comme Simulmatics puissent avoir une influence corrompue sur le processus démocratique. Cela, rappelons-le, s’est passé près d’un demi-siècle avant même la création de Facebook.

Une branche du gouvernement, cependant, s’est montrée enthousiaste quant aux capacités prédictives de la société : le Département de la Défense. Comme le rappelle Lepore, les partenariats étroits entre les technologues et le Pentagone étaient considérés comme des efforts nécessaires et patriotiques pour endiguer la vague communiste pendant la guerre froide.

En 1966, Pool avait accepté un contrat pour superviser un projet de sciences du comportement à grande échelle pour le Département de la Défense à Saïgon. “Le Vietnam est le plus grand laboratoire de sciences sociales que nous ayons jamais eu ! S’enthousiasme-t-il. Comme le secrétaire à la Défense Robert McNamara, Pool pensait que la guerre serait gagnée dans “le cœur et l’esprit” des Vietnamiens, et qu’elle nécessitait la modélisation et la simulation des sciences du comportement pour être gagnée. Comme l’écrit Lepore, Pool soutenait que si les hommes d’État avaient par le passé consulté la philosophie, la littérature et l’histoire, les hommes d’État de la guerre froide étaient obligés de consulter les sciences du comportement.

Leurs efforts de contre-insurrection assistée par ordinateur ont été un échec désastreux, en grande partie parce que les données de Simulmatics sur les Vietnamiens étaient partielles et que ses simulations reposaient davantage sur des vœux pieux que sur les réalités du terrain. Mais cela n’a pas empêché le gouvernement fédéral de revenir vers Pool et Simulmatics pour l’aider à comprendre – et à prévoir – les troubles civils au Vietnam.

La Commission Kerner, instituée par le président Lyndon Johnson en 1967 pour étudier les émeutes raciales qui avaient éclaté dans tout le pays, a payé la division des études urbaines de Simulmatics pour qu’elle conçoive une formule prédictive des émeutes afin d’alerter les autorités avant que celles-ci ne dégénèrent en désordre. Comme les prédictions pour le Vietnam, celles-ci se sont avérées douteuses. Dans les années 1970, Simulmatics avait fait faillite et “la simulation informatique automatisée du comportement humain était tombée en discrédit”, selon Lepore.

“La collecte et l’utilisation à des fins lucratives de données sur le comportement humain, non réglementées par un quelconque organisme gouvernemental, a fait des ravages dans les sociétés humaines”.

La simulation “se cache derrière l’écran de chaque appareil” que nous utilisons, affirme Lepore, et elle prétend que ses créateurs, les “grands-pères à la moustache blanche et à la mort longue de Mark Zuckerberg et Sergey Brin et Jeff Bezos et Peter Thiel et Marc Andreessen et Elon Musk”, sont un “chaînon manquant” dans l’histoire de la technologie. Mais il s’agit là d’un dépassement. Le rêve de trier, de catégoriser et d’analyser les gens a été une constante tout au long de l’histoire. L’effort de Simulmatics n’était qu’un effort parmi d’autres, et n’était guère révolutionnaire.

Les projets du XIXe siècle visant à classer les criminels par catégories, ou les campagnes du début du XXe siècle visant à prédire le comportement en fonction de catégories pseudo-scientifiques de race et d’ethnicité au plus fort du mouvement eugéniste, ont été beaucoup plus importants (et nuisibles) sur le plan historique. Tous ces projets ont également été couronnés de succès grâce à la collecte et à la systématisation de données et à des partenariats avec les autorités locales et nationales, mais ils ont également suscité l’enthousiasme d’une grande partie du public, ce que Simulmatics n’a jamais réalisé.

Ce qui est vrai, c’est que la combinaison d’idéalisme et d’orgueil de Simulmatics ressemble à celle de nombreuses entreprises contemporaines de la Silicon Valley. Comme elles, elle se considère comme le fer de lance d’un nouveau siècle des Lumières, dirigé par les personnes les plus aptes à résoudre les problèmes de la société, même si elles ne saisissent pas la complexité et la diversité de cette société. “Il serait plus facile, plus réconfortant, moins dérangeant, si les scientifiques de Simulmatics étaient les méchants”, écrit Lepore. “Mais ils ne l’étaient pas. C’étaient des libéraux blancs du milieu du siècle dernier, à une époque où l’on n’attendait pas des libéraux blancs qu’ils comprennent les gens qui n’étaient pas blancs ou libéraux”. Alors que Simulmatics Corporation croyait que la même formule pouvait comprendre des populations aussi distinctes que les électeurs américains et les villageois vietnamiens, les technologies prédictives actuelles font souvent des promesses tout aussi grandioses. Alimentées par une collecte et une analyse de données bien plus sophistiquées, elles ne parviennent toujours pas à rendre compte de toute la gamme et de la richesse de la complexité et des variations humaines.

Ainsi, bien que Simulmatics est inventé le futur, ses tentatives de catégorisation et de prévision du comportement humain ont soulevé des questions sur l’éthique des données qui sont toujours d’actualité. Lepore décrit les audiences du Congrès sur la confidentialité des données en 1966, lorsqu’un scientifique du RAND a exposé au Congrès les questions qu’il devrait poser : Que sont les données ? À qui appartiennent les données ? Quelle est l’obligation du collecteur, du détenteur ou de l’analyste des données à l’égard du sujet des données ? Les données peuvent-elles être partagées ? Peuvent-elles être vendues ?

Lepore déplore qu’une époque antérieure n’ait pas su aborder de front ces questions. “Si, alors, dans les années 1960, les choses s’étaient passées différemment, cet avenir aurait pu être sauvé”, écrit-elle, ajoutant que “beaucoup de gens croyaient à l’époque qu’une people machine était entièrement et totalement amorale”. Mais il est aussi étrangement rassurant d’apprendre que même lorsque nos technologies étaient à leur stade rudimentaire, les gens réfléchissaient aux conséquences probables de leur utilisation.

Comme l’écrit Lepore, la simulation a été entravée par les limites technologiques des années 1960 : “Les données étaient rares. Les modèles étaient faibles. Les ordinateurs étaient lents. La machine tombait en panne, et les hommes qui la construisaient ne pouvaient pas la réparer.” Mais bien que les machines d’aujourd’hui soient “plus élégantes, plus rapides et apparemment inarrêtables”, elles ne sont pas fondamentalement différentes de celles de Simulmatics. Toutes sont basées sur la croyance que les lois mathématiques de la nature humaine sont réelles, de la même manière que les lois de la physique sont – une fausse croyance, note Lepore.

L’étude du comportement humain n’est pas la même chose que l’étude de la propagation des virus et de la densité des clouds et du mouvement des étoiles. Le comportement humain ne suit pas des lois comme la loi de la gravité, et croire qu’il le fait, c’est prêter serment à une nouvelle religion. La prédestination peut être un évangile dangereux. La collecte et l’utilisation à des fins lucratives de données sur le comportement humain, non réglementées par un quelconque organisme gouvernemental, a fait des ravages dans les sociétés humaines, en particulier dans les domaines dans lesquels Simulmatics s’est engagé : politique, publicité, journalisme, contre-insurrection et relations raciales.

La société Simulmatics a échoué parce qu’elle était en avance sur son temps, ses homologues modernes sont plus puissants et plus rentables. Mais se souvenir de son histoire peut aider à clarifier les déficiences d’une société construite sur des croyances réductrices concernant le pouvoir des données.

Réglementation de la biométrie : Approches globales et questions urgentes

L’AI Now Institute a publié un recueil d’études de cas sur les approches réglementaires de la technologie de reconnaissance biométrique, les leçons tirées et les futures actions de sensibilisation

Dans un contexte de surveillance publique accrue, l’intérêt pour la réglementation des technologies biométriques telles que la reconnaissance faciale et vocale s’est considérablement accru dans le monde entier, sous l’impulsion de la recherche et de la défense des intérêts des communautés. Il se dégage de ce moment un sentiment croissant que des technologies comme la reconnaissance faciale ne sont pas inévitables, et peut-être même pas nécessaires ou utiles.

“Regulating Biometrics: Global approaches and urgent questions”, par Amba Kak, présente huit études de cas détaillées d’universitaires, avocats et experts politiques qui examinent les tentatives actuelles de réglementation des technologies biométriques et donnent un aperçu des promesses et des limites de ces approches. Dans quels domaines la réglementation est-elle capable de déterminer si et comment les technologies biométriques sont utilisées, et dans quels domaines est-elle insuffisante ? En examinant ces questions, ces auteurs experts éclairent les domaines d’engagement, de défense et de réglementation futurs.

Ces essais brossent un tableau du paysage mondial complexe de la réglementation de la biométrie, en mettant en évidence les nombreuses approches adoptées par les partisans de la biométrie, qui réclament un contrôle accru de ces technologies, ainsi que la manière dont les gouvernements ont utilisé la loi comme outil pour étendre ou consolider l’utilisation de la biométrie.

Projet de loi australien sur les services de rapprochement des identités (p.44)

Jake Goldenfein (Faculté de droit de Melbourne) et Monique Mann (Université Deakin) suivent les manœuvres institutionnelles et politiques qui ont conduit l’Australie à créer une grande base de données centralisée de reconnaissance faciale (“The Capability”) à l’usage de divers acteurs gouvernementaux. Ils examinent les échecs de la réglementation pour remettre en cause de manière significative la construction de ce système, voire pour façonner son architecture technique ou institutionnelle.

L’économie (et la pratique réglementaire) que la biométrie inspire : Une étude du projet Aadhaar (p.52)

Nayantara Ranganathan (avocate et chercheuse indépendante, Inde) explique comment le droit et la politique autour du projet indien d’identification biométrique (“Aadhaar”) ont finalement servi à construire des données biométriques comme ressource pour l’extraction de données de valeur par des entreprises privées. Elle explore comment la réglementation a été influencée par les logiques et les cultures du projet qu’elle cherchait à réglementer.

Une première tentative de réglementation des données biométriques dans l’Union européenne (p.62)

Els Kindt (KU Leuven) fournit un compte-rendu détaillé de l’approche du Règlement général sur la protection des données (RGPD) de l’Union européenne en matière de réglementation des données biométriques. Comme de nombreux pays sont sur le point de mettre en œuvre des lois nationales rédigées de manière similaire, elle identifie les lacunes potentielles et souligne les domaines clés pour la réforme.

Réflexion sur la politique biométrique du Comité international de la Croix-Rouge : Réduire au minimum les bases de données centralisées (p.70)

Ben Hayes (Agence AWO, conseiller juridique consultant auprès du Comité international de la Croix-Rouge [CICR]) et Massimo Marelli (chef du Bureau de la protection des données du CICR) expliquent le processus décisionnel du CICR pour formuler sa première politique en matière de biométrie, qui visait à éviter la création de bases de données et à minimiser les risques pour les populations vulnérables dans les contextes humanitaires.

Utilisation par la police de la reconnaissance faciale en live au Royaume-Uni (p.78)

Peter Fussey (Université d’Essex) et Daragh Murray (Université d’Essex), principaux auteurs de l’étude empirique indépendante du procès de la police métropolitaine de Londres sur la reconnaissance faciale en live (LFR-Live Facial Recognition), expliquent comment les normes juridiques et les outils de régulation existants n’ont pas réussi à empêcher la prolifération d’un système dont les effets néfastes ont été démontrés. Ils tirent ainsi des enseignements plus larges pour la réglementation de la LFR au Royaume-Uni et des technologies similaires ailleurs.

Une taxonomie des approches législatives pour la reconnaissance faciale aux États-Unis (p.86)

Jameson Spivack et Clare Garvie (Georgetown Center on Privacy and Technology) écrivent sur les dizaines de lois d’interdiction et de moratoires sur l’utilisation de la reconnaissance faciale par la police aux États-Unis, la plupart d’entre elles menées par des avocats et des organisations communautaires. Les auteurs fournissent une taxonomie détaillée qui va au-delà des grandes catégories d’interdiction et de moratoire, et réfléchissent aux leçons tirées de leur mise en œuvre.

BIPA : La plus importante loi biométrique sur la protection de la vie privée aux États-Unis ? (p.96)

Woodrow Hartzog (Northeastern University) explore les promesses et les pièges de la loi sur la confidentialité des informations biométriques (BIPA) de l’État de l’Illinois et, plus largement, du droit des particuliers à engager leurs propres actions contre des entreprises privées. Il s’interroge sur les limites inévitables d’une loi centrée sur le “consentement éclairé”, un système qui donne l’illusion d’un contrôle tout en justifiant des pratiques douteuses que les gens n’ont pas assez de temps ou de ressources pour comprendre et agir.

Réglementation biométrique ascendante : La réponse de la Communauté à l’utilisation de la surveillance faciale dans les écoles (p.104)

Stefanie Coyle (NYCLU) et Rashida Richardson (Rutgers Law School ; AI Now Institute, NYU) examinent la décision controversée d’un district scolaire de Lockport, New York, de mettre en place un système de reconnaissance faciale et d’objets pour surveiller les élèves. Elles mettent en lumière la réponse de la communauté qui a suscité un débat national et a conduit à une législation à l’échelle de l’État réglementant l’utilisation des technologies biométriques dans les écoles.

Lire le rapport complet (PDF)

Un projet de loi américain vise à interdire l’utilisation de la reconnaissance faciale par la police

Les législateurs américains ont présenté un projet de loi, The Facial Recognition and Biometric Technology Moratorium Act, qui interdirait l’utilisation de la technologie de reconnaissance faciale par les agences fédérales de maintien de l’ordre.

Plus précisément, il rendrait illégal pour toute agence fédérale ou tout fonctionnaire “d’acquérir, de posséder, d’accéder ou d’utiliser” la technologie de surveillance biométrique aux États-Unis. Il exigerait également que les services de police des États et des collectivités locales instaurent des interdictions similaires afin de pouvoir bénéficier d’un financement fédéral.

La proposition de loi est arrivée à un stade où l’utilisation de la technologie de reconnaissance faciale par la police fait l’objet d’une attention accrue dans le cadre des protestations qui ont suivi l’assassinat de George Floyd fin mai. Des études ont montré à plusieurs reprises que la technologie est moins précise pour les Noirs, et au début de cette semaine, le New York Times a rapporté qu’un homme noir innocent du Michigan avait été arrêté après avoir été mal identifié par un logiciel de reconnaissance faciale.

L’activisme fonctionne

La décision de restreindre l’utilisation de la technologie de reconnaissance faciale est en partie due à la pression exercée par les entreprises technologiques elles-mêmes, après avoir été soumises au lobbying des militants pendant des années.

Il y a deux semaines, Amazon a annoncé qu’elle imposerait un moratoire d’un an sur l’utilisation par la police de son système de reconnaissance faciale, Rekognition, après qu’IBM ait décidé de mettre fin à son système de reconnaissance faciale à usage général. Le lendemain, Microsoft a annoncé qu’il cesserait de vendre son système aux services de police jusqu’à ce que la loi fédérale réglemente la technologie.

Il appartient maintenant aux législateurs de décider s’ils peuvent obtenir un soutien suffisant pour l’adopter.

On en sait plus sur les algorithmes de Palantir

UCIPT, CNET, Fortune, MIT

Voici une avalanche d’applications coronavirus qui traquent vos mouvements

Alors que la pandémie de covid-19 fait rage, les technologues du monde entier se sont empressés de créer des applications, des services et des systèmes pour tracer les contacts : identifier et notifier tous ceux qui entrent en contact avec un porteur. Certaines sont légères et temporaires, tandis que d’autres sont envahissantes et invasives. Certains services sont produits localement par de petits groupes de codeurs, tandis que d’autres sont de vastes opérations mondiales.

Malgré l’avalanche de services, nous en savons très peu sur eux ou sur la manière dont ils pourraient affecter la société. Quelle est l’ampleur de leur utilisation pour réussir ? Quelles données vont-elles être collectées et avec qui sont-elles partagées ? Comment ces informations seront-elles utilisées dans le futur ? Des mesures ont-elles été mises en place pour prévenir les abus ? Il n’y a pas toujours des réponses claires. Les citoyens de différents pays observent des niveaux de surveillance et de transparence radicalement différents.

Pour aider à surveiller cette situation qui évolue rapidement, une équipe du MIT a lancé le Covid Tracing Tracker – une base de données permettant de recueillir les détails de toutes les applications. A ce jour, 23 sont documentées. La base sera mise à jour au fur et à mesure.

La plupart des applications de traçage automatique des contacts n’utilisent pas l’IA. Elles s’appuient plutôt sur le Bluetooth, un signal sans fil de faible puissance qui peut mesurer (dans une certaine mesure) si deux propriétaires de téléphone ont été en contact.

Mais l’IA est fortement liée à des discussions sur le traçage des contacts, de deux manières importantes. D’une part, l’IA pourrait potentiellement aider ces applications à mieux protéger la vie privée des gens. D’autre part, elle pourrait également exposer davantage la vie privée, si elle était utilisée pour analyser les données collectées et extrapoler des informations personnelles comme le sexe ou le statut socio-économique qu’ils n’avaient pas l’intention de partager.

L’UE vient de publier de nouvelles lignes directrices pour réglementer l’IA

Le nouveau livre blanc de l’Union européenne contenant des lignes directrices pour la réglementation de l’intelligence artificielle reconnaît que l’intelligence artificielle peut entraîner la violation des droits fondamentaux, comme la partialité, la suppression de la dissidence et l’absence de vie privée. Il suggère des exigences légales telles que :

– S’assurer que l’IA est formée sur des données représentatives
– L’obligation pour les entreprises de conserver une documentation détaillée sur la manière dont l’IA a été élaborée
– Apporter des informations aux citoyens lorsqu’ils interagissent avec une IA
– Exiger une surveillance humaine des systèmes d’IA

La critique

Les nouveaux critères sont beaucoup plus faibles que ceux suggérés dans la version du livre blanc qui a fait l’objet d’une fuite en janvier. Ce projet suggérait un moratoire de cinq ans sur la reconnaissance faciale dans les espaces publics, alors que celui-ci n’appelle qu’à un “large débat européen” sur la politique de reconnaissance faciale. Michael Veale, professeur en droits numériques à l’University College London, note que la commission adopte souvent des positions plus extrêmes dans les premières ébauches comme tactique politique, il n’est donc pas surprenant que le document officiel ne suggère pas de moratoire. Cependant, il estime que c’est quand même décevant parce que cela fait suite à un rapport tout aussi terne du groupe d’experts de haut niveau sur l’intelligence artificielle, qui a été considéré comme “fortement influencé par l’industrie”.

En attendant, les lignes directrices du document pour l’IA ne s’appliquent qu’aux technologies qu’il considère comme des technologies “à haut risque”, explique Frederike Kaltheuner, chargé de la politique technologique chez Mozilla. Le terme “à haut risque” peut inclure certaines industries, comme le secteur de la santé, ou certains types de technologies, comme la surveillance biométrique. Mais les suggestions ne s’appliqueraient pas à la technologie de la publicité ou à la vie privée des consommateurs, qui, selon Kaltheuner, peuvent avoir des effets importants et qui ne sont pas pris en compte dans le cadre du RGPD.

Le livre blanc n’est qu’un ensemble de lignes directrices. La Commission européenne commencera à élaborer une législation basée sur ces propositions et commentaires à la fin de l’année 2020.

L’UE a également publié un document sur la “stratégie européenne pour les données” qui suggère qu’elle veut créer un “espace européen unique des données” – c’est-à-dire un géant européen des données qui défiera les grandes entreprises technologiques de la Silicon Valley.

L’UE abandonne l’idée d’interdire la reconnaissance faciale dans les lieux publics

Selon le dernier draft de la stratégie de l’UE en matière d’intelligence artificielle vu par Reuters et EURACTIV, l’Union européenne n’est plus intéressée par la possibilité d’une interdiction de la reconnaissance faciale dans les espaces publics ; cependant, il devrait y avoir des “critères clairs” dans le futur déploiement à grande échelle des systèmes d’identification biométriques dans l’UE.

Un précédent projet de la Commission européenne avait évoqué l’idée d’un moratoire pouvant aller jusqu’à cinq ans afin de se donner le temps de réfléchir aux moyens de prévenir les abus.

Selon EURACTIV, le document indique “Cette évaluation dépendra de l’objectif pour lequel la technologie est utilisée et des garanties mises en place pour protéger les personnes. Dans le cas où des données biométriques sont utilisées pour la surveillance de masse, il doit y avoir des critères clairs quant aux personnes qui doivent être identifiées”.

L’utilisation de la reconnaissance faciale dans les investigations policières a suscité des inquiétudes, car les défenseurs des libertés civiles et de la vie privée craignent que cette technologie ne soit utilisée pour une surveillance massive et discriminatoire, violant ainsi les droits des personnes à la confidentialité des données.

Le projet de moratoire faisait partie d’un ensemble de mesures plus larges visant à réglementer l’intelligence artificielle et ses défis, en particulier dans les secteurs à haut risque, tels que les domaines de la santé et des transports. La proposition est actuellement en cours de révision et la Commission a l’intention de la présenter le 19 février.

Au début du mois, le gouvernement américain a dévoilé ses propres lignes directrices en matière de réglementation de l’IA, visant à limiter la portée excessive des autorités et a exhorté l’Europe à éviter les approches agressives.

Le président de Microsoft, Brad Smith, a déclaré qu’une interdiction de l’IA par reconnaissance faciale équivaut à utiliser un hachoir au lieu d’un scalpel pour résoudre des problèmes potentiels, tandis que le PDG d’Alphabet, Sundar Pichai, a exprimé son soutien.

Reconnaissance faciale : L’UE envisage une interdiction jusqu’à cinq ans

La Commission européenne a révélé qu’elle envisageait d’interdire l’utilisation de la reconnaissance faciale dans les lieux publics pour une durée maximale de cinq ans. Les autorités de réglementation veulent disposer de temps pour trouver des moyens d’empêcher les abus de cette technologie.

Cette technologie permet de vérifier en temps réel les visages capturés par les caméras de surveillance en les comparant à des listes de surveillance, souvent établies par la police. Des exceptions à l’interdiction pourraient être faites pour les projets de sécurité ainsi que pour la recherche et le développement.

Selon un projet de livre blanc sur l’intelligence artificielle obtenu par EURACTIV, la Commission a présenté ses plans dans un document de 18 pages, suggérant que de nouvelles règles soient introduites pour renforcer la réglementation existante en matière de droits à la vie privée et aux données.

Elle a proposé d’imposer des obligations aux développeurs et aux utilisateurs d’intelligence artificielle, et a exhorté les pays de l’UE à créer une autorité chargée de contrôler les nouvelles règles. Dans le cadre de l’interdiction, qui durerait entre trois et cinq ans, “une méthodologie solide pour évaluer les impacts de cette technologie et les mesures possibles de gestion des risques pourrait être identifiée et développée”.

Ces propositions font suite à une période de débat public sur la manière de relever les défis futurs de l’intelligence artificielle. Les militants affirment que la technologie actuelle est inexacte, intrusive et qu’elle porte atteinte au droit à la vie privée des individus. Une étude récente a suggéré que les algorithmes de reconnaissance faciale sont beaucoup moins précis pour identifier les visages noirs et asiatiques que les visages blancs.

Les systèmes de reconnaissance faciale sont racistes

Entre-temps, le gouvernement chinois a commencé à mettre en place un système de reconnaissance faciale dans les pharmacies de Shanghai pour les personnes qui achètent certains médicaments. Les personnes qui achètent des médicaments contrôlés, comme ceux qui contiennent des substances psychotropes, seront invitées à vérifier leur identité en balayant leur visage.

Il s’agit de la dernière d’une série de mesures prises par l’État chinois pour empêcher les usagers de mettre la main sur certains médicaments pouvant être utilisés pour produire des drogues illégales.

Le pays est un grand partisan de la reconnaissance faciale, et si l’Occident reste prudent, la Chine continue d’adopter cette technologie.

Euractiv, The Guardian, BBC, Capital

> Reuters : Le PDG d’Alphabet soutient l’interdiction temporaire de la reconnaissance faciale, mais Microsoft n’est pas d’accord.

Les systèmes de reconnaissance faciale sont racistes

Une étude du gouvernement américain confirme que la plupart des systèmes de reconnaissance faciale sont racistes

Près de 200 algorithmes de reconnaissance faciale – la majorité dans l’industrie – ont de moins bonnes performances sur les visages non blancs, selon une étude qui fait autorité. Les résultats saisis dans le rapport, Face Recognition Vendor Test (FRVT) Part 3 : Demographic Effects (NISTIR 8280), sont destinés à informer les décideurs politiques et à aider les développeurs de logiciels à mieux comprendre la performance de leurs algorithmes. La technologie de reconnaissance faciale a inspiré le débat public en partie en raison de la nécessité de comprendre l’effet de la démographie sur les algorithmes de reconnaissance faciale.

Ce qu’ils ont testé :

Le National Institute of Standards and Technology (NIST) des États-Unis a testé chaque algorithme sur deux des tâches les plus courantes de la reconnaissance faciale.

La première, connue sous le nom de comparaison 1 : 1 ou “one-to-one matching”, consiste à faire correspondre la photo d’une personne à une autre photo de la même personne dans une base de données. Elle est utilisée pour déverrouiller les téléphones intelligents ou vérifier les passeports, par exemple.

La seconde, appelée recherche un-à-plusieurs ou “one-to-many”, consiste à déterminer si la photo de cette personne a une correspondance avec une autre dans une base de données. Cette méthode est souvent utilisée par les services de police pour identifier des suspects dans le cadre d’une enquête.

L’agence a étudié quatre ensembles de données sur les visages actuellement utilisés dans les formalités du gouvernement américain : les photos d’identité de personnes vivant aux États-Unis, les photos des personnes qui déposent une demande d’immigration, les photos de demandes de visas et les photos de personnes traversant la frontière américaine. Au total, les ensembles de données comprenaient 18,27 millions d’images de 8,49 millions de personnes.

Pour évaluer la performance de chaque algorithme, l’équipe du NIST a mesuré les deux classes d’erreurs que le programme peut faire : les faux positifs et les faux négatifs. Un faux positif signifie que le logiciel a considéré à tort que des photos de deux personnes différentes montraient la même personne, tandis qu’un faux négatif signifie que le logiciel n’a pas réussi à faire correspondre deux photos qui, en fait, montrent la même personne.

Le NIST a partagé certains résultats importants de l’étude. Voici les principaux :

1. Pour ce qui est de la comparaison 1 : 1, la plupart des systèmes affichaient un taux de faux positifs plus élevé pour les visages asiatiques et afro-américains que pour les visages caucasiens, parfois par un facteur de 10 allant même jusqu’à 100. En d’autres termes, il y avait plus de chances de trouver une correspondance alors qu’il n’y en avait pas.

2. Cela a changé pour les algorithmes de reconnaissance développés dans les pays asiatiques, qui ont produit très peu de différence de faux positifs entre les visages asiatiques et caucasiens.

3. Les algorithmes développés aux États-Unis étaient tous systématiquement mauvais pour faire correspondre les visages asiatiques, afro-américains et amérindiens. Les Amérindiens ont subi les taux de faux positifs les plus élevés.

4. Les systèmes de correspondance un-à-plusieurs présentaient les pires taux de faux positifs pour les Afro-Américains, ce qui fait que cette population est la plus à risque d’être faussement accusée d’un crime.

On en sait plus sur les algorithmes de Palantir

Pourquoi c’est important ?

L’utilisation des systèmes de reconnaissance faciale se développe rapidement dans les domaines de la lutte contre la criminalité, du contrôle des frontières et d’autres applications dans la société. Bien que plusieurs études universitaires aient déjà démontré que les systèmes commerciaux populaires étaient biaisés en fonction de la race et du sexe, l’étude du NIST est l’évaluation la plus complète à ce jour et confirme les résultats antérieurs. Les conclusions remettent en question la nécessité de continuer à utiliser ces systèmes à une aussi grande échelle.

Prochaines étapes :

Il appartient maintenant aux décideurs politiques de trouver la meilleure façon de réglementer ces technologies. Le NIST exhorte également les développeurs de reconnaissance faciale à mener davantage de recherches sur la façon dont ces biais pourraient être atténués.

Qui a besoin de la démocratie quand on a des données ?

Algorithmes : entre mythes et réalités

Comment définir les algorithmes ? Les algorithmes sont-ils devenus indispensables dans notre société ? Un monde d’algorithmes est-il compatible avec un monde d’éthique ? Connaissez-vous les algorithmes autant qu’ils vous connaissent ?

Pour répondre à ces questions, Fabrice Jazbinsek a rencontré plusieurs experts.

En Suisse, Florian Colombo, en doctorat à l’Ecole Polytechnique de Lausanne, a développé un algorithme, capable de générer des mélodies.

En Belgique, Jennifer Nille, journaliste pour le quotidien L’Echo, détaille les relations entre les algorithmes et les marchés financiers.

A Paris, Dominique Cardon, sociologue, est directeur du Medialab de Sciences Po, il déchiffre le fonctionnement des algorithmes.

A Nancy, Samuel Nowakowski, enseignant-chercheur et consultant en humanités numériques, a travaillé sur l’intelligence artificielle.

Vidéaste, Fabrice Jazbinsek a travaillé pendant une quinzaine d’années pour la rédaction du Républicain Lorrain. Auteur de plusieurs documentaires notamment sur la déportation durant la seconde guerre mondiale ou encore le jeu vidéo, son dernier sujet d’étude concerne les algorithmes et l’intelligence artificielle.