Archives par mot-clé : biais algorithmique

Réglementation de la biométrie : Approches globales et questions urgentes

L’AI Now Institute a publié un recueil d’études de cas sur les approches réglementaires de la technologie de reconnaissance biométrique, les leçons tirées et les futures actions de sensibilisation

Dans un contexte de surveillance publique accrue, l’intérêt pour la réglementation des technologies biométriques telles que la reconnaissance faciale et vocale s’est considérablement accru dans le monde entier, sous l’impulsion de la recherche et de la défense des intérêts des communautés. Il se dégage de ce moment un sentiment croissant que des technologies comme la reconnaissance faciale ne sont pas inévitables, et peut-être même pas nécessaires ou utiles.

“Regulating Biometrics: Global approaches and urgent questions”, par Amba Kak, présente huit études de cas détaillées d’universitaires, avocats et experts politiques qui examinent les tentatives actuelles de réglementation des technologies biométriques et donnent un aperçu des promesses et des limites de ces approches. Dans quels domaines la réglementation est-elle capable de déterminer si et comment les technologies biométriques sont utilisées, et dans quels domaines est-elle insuffisante ? En examinant ces questions, ces auteurs experts éclairent les domaines d’engagement, de défense et de réglementation futurs.

Ces essais brossent un tableau du paysage mondial complexe de la réglementation de la biométrie, en mettant en évidence les nombreuses approches adoptées par les partisans de la biométrie, qui réclament un contrôle accru de ces technologies, ainsi que la manière dont les gouvernements ont utilisé la loi comme outil pour étendre ou consolider l’utilisation de la biométrie.

Projet de loi australien sur les services de rapprochement des identités (p.44)

Jake Goldenfein (Faculté de droit de Melbourne) et Monique Mann (Université Deakin) suivent les manœuvres institutionnelles et politiques qui ont conduit l’Australie à créer une grande base de données centralisée de reconnaissance faciale (“The Capability”) à l’usage de divers acteurs gouvernementaux. Ils examinent les échecs de la réglementation pour remettre en cause de manière significative la construction de ce système, voire pour façonner son architecture technique ou institutionnelle.

L’économie (et la pratique réglementaire) que la biométrie inspire : Une étude du projet Aadhaar (p.52)

Nayantara Ranganathan (avocate et chercheuse indépendante, Inde) explique comment le droit et la politique autour du projet indien d’identification biométrique (“Aadhaar”) ont finalement servi à construire des données biométriques comme ressource pour l’extraction de données de valeur par des entreprises privées. Elle explore comment la réglementation a été influencée par les logiques et les cultures du projet qu’elle cherchait à réglementer.

Une première tentative de réglementation des données biométriques dans l’Union européenne (p.62)

Els Kindt (KU Leuven) fournit un compte-rendu détaillé de l’approche du Règlement général sur la protection des données (RGPD) de l’Union européenne en matière de réglementation des données biométriques. Comme de nombreux pays sont sur le point de mettre en œuvre des lois nationales rédigées de manière similaire, elle identifie les lacunes potentielles et souligne les domaines clés pour la réforme.

Réflexion sur la politique biométrique du Comité international de la Croix-Rouge : Réduire au minimum les bases de données centralisées (p.70)

Ben Hayes (Agence AWO, conseiller juridique consultant auprès du Comité international de la Croix-Rouge [CICR]) et Massimo Marelli (chef du Bureau de la protection des données du CICR) expliquent le processus décisionnel du CICR pour formuler sa première politique en matière de biométrie, qui visait à éviter la création de bases de données et à minimiser les risques pour les populations vulnérables dans les contextes humanitaires.

Utilisation par la police de la reconnaissance faciale en live au Royaume-Uni (p.78)

Peter Fussey (Université d’Essex) et Daragh Murray (Université d’Essex), principaux auteurs de l’étude empirique indépendante du procès de la police métropolitaine de Londres sur la reconnaissance faciale en live (LFR-Live Facial Recognition), expliquent comment les normes juridiques et les outils de régulation existants n’ont pas réussi à empêcher la prolifération d’un système dont les effets néfastes ont été démontrés. Ils tirent ainsi des enseignements plus larges pour la réglementation de la LFR au Royaume-Uni et des technologies similaires ailleurs.

Une taxonomie des approches législatives pour la reconnaissance faciale aux États-Unis (p.86)

Jameson Spivack et Clare Garvie (Georgetown Center on Privacy and Technology) écrivent sur les dizaines de lois d’interdiction et de moratoires sur l’utilisation de la reconnaissance faciale par la police aux États-Unis, la plupart d’entre elles menées par des avocats et des organisations communautaires. Les auteurs fournissent une taxonomie détaillée qui va au-delà des grandes catégories d’interdiction et de moratoire, et réfléchissent aux leçons tirées de leur mise en œuvre.

BIPA : La plus importante loi biométrique sur la protection de la vie privée aux États-Unis ? (p.96)

Woodrow Hartzog (Northeastern University) explore les promesses et les pièges de la loi sur la confidentialité des informations biométriques (BIPA) de l’État de l’Illinois et, plus largement, du droit des particuliers à engager leurs propres actions contre des entreprises privées. Il s’interroge sur les limites inévitables d’une loi centrée sur le “consentement éclairé”, un système qui donne l’illusion d’un contrôle tout en justifiant des pratiques douteuses que les gens n’ont pas assez de temps ou de ressources pour comprendre et agir.

Réglementation biométrique ascendante : La réponse de la Communauté à l’utilisation de la surveillance faciale dans les écoles (p.104)

Stefanie Coyle (NYCLU) et Rashida Richardson (Rutgers Law School ; AI Now Institute, NYU) examinent la décision controversée d’un district scolaire de Lockport, New York, de mettre en place un système de reconnaissance faciale et d’objets pour surveiller les élèves. Elles mettent en lumière la réponse de la communauté qui a suscité un débat national et a conduit à une législation à l’échelle de l’État réglementant l’utilisation des technologies biométriques dans les écoles.

Lire le rapport complet (PDF)

Un projet de loi américain vise à interdire l’utilisation de la reconnaissance faciale par la police

Les législateurs américains ont présenté un projet de loi, The Facial Recognition and Biometric Technology Moratorium Act, qui interdirait l’utilisation de la technologie de reconnaissance faciale par les agences fédérales de maintien de l’ordre.

Plus précisément, il rendrait illégal pour toute agence fédérale ou tout fonctionnaire “d’acquérir, de posséder, d’accéder ou d’utiliser” la technologie de surveillance biométrique aux États-Unis. Il exigerait également que les services de police des États et des collectivités locales instaurent des interdictions similaires afin de pouvoir bénéficier d’un financement fédéral.

La proposition de loi est arrivée à un stade où l’utilisation de la technologie de reconnaissance faciale par la police fait l’objet d’une attention accrue dans le cadre des protestations qui ont suivi l’assassinat de George Floyd fin mai. Des études ont montré à plusieurs reprises que la technologie est moins précise pour les Noirs, et au début de cette semaine, le New York Times a rapporté qu’un homme noir innocent du Michigan avait été arrêté après avoir été mal identifié par un logiciel de reconnaissance faciale.

L’activisme fonctionne

La décision de restreindre l’utilisation de la technologie de reconnaissance faciale est en partie due à la pression exercée par les entreprises technologiques elles-mêmes, après avoir été soumises au lobbying des militants pendant des années.

Il y a deux semaines, Amazon a annoncé qu’elle imposerait un moratoire d’un an sur l’utilisation par la police de son système de reconnaissance faciale, Rekognition, après qu’IBM ait décidé de mettre fin à son système de reconnaissance faciale à usage général. Le lendemain, Microsoft a annoncé qu’il cesserait de vendre son système aux services de police jusqu’à ce que la loi fédérale réglemente la technologie.

Il appartient maintenant aux législateurs de décider s’ils peuvent obtenir un soutien suffisant pour l’adopter.

On en sait plus sur les algorithmes de Palantir

UCIPT, CNET, Fortune, MIT

L’UE vient de publier de nouvelles lignes directrices pour réglementer l’IA

Le nouveau livre blanc de l’Union européenne contenant des lignes directrices pour la réglementation de l’intelligence artificielle reconnaît que l’intelligence artificielle peut entraîner la violation des droits fondamentaux, comme la partialité, la suppression de la dissidence et l’absence de vie privée. Il suggère des exigences légales telles que :

– S’assurer que l’IA est formée sur des données représentatives
– L’obligation pour les entreprises de conserver une documentation détaillée sur la manière dont l’IA a été élaborée
– Apporter des informations aux citoyens lorsqu’ils interagissent avec une IA
– Exiger une surveillance humaine des systèmes d’IA

La critique

Les nouveaux critères sont beaucoup plus faibles que ceux suggérés dans la version du livre blanc qui a fait l’objet d’une fuite en janvier. Ce projet suggérait un moratoire de cinq ans sur la reconnaissance faciale dans les espaces publics, alors que celui-ci n’appelle qu’à un “large débat européen” sur la politique de reconnaissance faciale. Michael Veale, professeur en droits numériques à l’University College London, note que la commission adopte souvent des positions plus extrêmes dans les premières ébauches comme tactique politique, il n’est donc pas surprenant que le document officiel ne suggère pas de moratoire. Cependant, il estime que c’est quand même décevant parce que cela fait suite à un rapport tout aussi terne du groupe d’experts de haut niveau sur l’intelligence artificielle, qui a été considéré comme “fortement influencé par l’industrie”.

En attendant, les lignes directrices du document pour l’IA ne s’appliquent qu’aux technologies qu’il considère comme des technologies “à haut risque”, explique Frederike Kaltheuner, chargé de la politique technologique chez Mozilla. Le terme “à haut risque” peut inclure certaines industries, comme le secteur de la santé, ou certains types de technologies, comme la surveillance biométrique. Mais les suggestions ne s’appliqueraient pas à la technologie de la publicité ou à la vie privée des consommateurs, qui, selon Kaltheuner, peuvent avoir des effets importants et qui ne sont pas pris en compte dans le cadre du RGPD.

Le livre blanc n’est qu’un ensemble de lignes directrices. La Commission européenne commencera à élaborer une législation basée sur ces propositions et commentaires à la fin de l’année 2020.

L’UE a également publié un document sur la “stratégie européenne pour les données” qui suggère qu’elle veut créer un “espace européen unique des données” – c’est-à-dire un géant européen des données qui défiera les grandes entreprises technologiques de la Silicon Valley.

L’UE abandonne l’idée d’interdire la reconnaissance faciale dans les lieux publics

Selon le dernier draft de la stratégie de l’UE en matière d’intelligence artificielle vu par Reuters et EURACTIV, l’Union européenne n’est plus intéressée par la possibilité d’une interdiction de la reconnaissance faciale dans les espaces publics ; cependant, il devrait y avoir des “critères clairs” dans le futur déploiement à grande échelle des systèmes d’identification biométriques dans l’UE.

Un précédent projet de la Commission européenne avait évoqué l’idée d’un moratoire pouvant aller jusqu’à cinq ans afin de se donner le temps de réfléchir aux moyens de prévenir les abus.

Selon EURACTIV, le document indique “Cette évaluation dépendra de l’objectif pour lequel la technologie est utilisée et des garanties mises en place pour protéger les personnes. Dans le cas où des données biométriques sont utilisées pour la surveillance de masse, il doit y avoir des critères clairs quant aux personnes qui doivent être identifiées”.

L’utilisation de la reconnaissance faciale dans les investigations policières a suscité des inquiétudes, car les défenseurs des libertés civiles et de la vie privée craignent que cette technologie ne soit utilisée pour une surveillance massive et discriminatoire, violant ainsi les droits des personnes à la confidentialité des données.

Le projet de moratoire faisait partie d’un ensemble de mesures plus larges visant à réglementer l’intelligence artificielle et ses défis, en particulier dans les secteurs à haut risque, tels que les domaines de la santé et des transports. La proposition est actuellement en cours de révision et la Commission a l’intention de la présenter le 19 février.

Au début du mois, le gouvernement américain a dévoilé ses propres lignes directrices en matière de réglementation de l’IA, visant à limiter la portée excessive des autorités et a exhorté l’Europe à éviter les approches agressives.

Le président de Microsoft, Brad Smith, a déclaré qu’une interdiction de l’IA par reconnaissance faciale équivaut à utiliser un hachoir au lieu d’un scalpel pour résoudre des problèmes potentiels, tandis que le PDG d’Alphabet, Sundar Pichai, a exprimé son soutien.

Reconnaissance faciale : L’UE envisage une interdiction jusqu’à cinq ans

La Commission européenne a révélé qu’elle envisageait d’interdire l’utilisation de la reconnaissance faciale dans les lieux publics pour une durée maximale de cinq ans. Les autorités de réglementation veulent disposer de temps pour trouver des moyens d’empêcher les abus de cette technologie.

Cette technologie permet de vérifier en temps réel les visages capturés par les caméras de surveillance en les comparant à des listes de surveillance, souvent établies par la police. Des exceptions à l’interdiction pourraient être faites pour les projets de sécurité ainsi que pour la recherche et le développement.

Selon un projet de livre blanc sur l’intelligence artificielle obtenu par EURACTIV, la Commission a présenté ses plans dans un document de 18 pages, suggérant que de nouvelles règles soient introduites pour renforcer la réglementation existante en matière de droits à la vie privée et aux données.

Elle a proposé d’imposer des obligations aux développeurs et aux utilisateurs d’intelligence artificielle, et a exhorté les pays de l’UE à créer une autorité chargée de contrôler les nouvelles règles. Dans le cadre de l’interdiction, qui durerait entre trois et cinq ans, “une méthodologie solide pour évaluer les impacts de cette technologie et les mesures possibles de gestion des risques pourrait être identifiée et développée”.

Ces propositions font suite à une période de débat public sur la manière de relever les défis futurs de l’intelligence artificielle. Les militants affirment que la technologie actuelle est inexacte, intrusive et qu’elle porte atteinte au droit à la vie privée des individus. Une étude récente a suggéré que les algorithmes de reconnaissance faciale sont beaucoup moins précis pour identifier les visages noirs et asiatiques que les visages blancs.

Les systèmes de reconnaissance faciale sont racistes

Entre-temps, le gouvernement chinois a commencé à mettre en place un système de reconnaissance faciale dans les pharmacies de Shanghai pour les personnes qui achètent certains médicaments. Les personnes qui achètent des médicaments contrôlés, comme ceux qui contiennent des substances psychotropes, seront invitées à vérifier leur identité en balayant leur visage.

Il s’agit de la dernière d’une série de mesures prises par l’État chinois pour empêcher les usagers de mettre la main sur certains médicaments pouvant être utilisés pour produire des drogues illégales.

Le pays est un grand partisan de la reconnaissance faciale, et si l’Occident reste prudent, la Chine continue d’adopter cette technologie.

Euractiv, The Guardian, BBC, Capital

> Reuters : Le PDG d’Alphabet soutient l’interdiction temporaire de la reconnaissance faciale, mais Microsoft n’est pas d’accord.

Les systèmes de reconnaissance faciale sont racistes

Une étude du gouvernement américain confirme que la plupart des systèmes de reconnaissance faciale sont racistes

Près de 200 algorithmes de reconnaissance faciale – la majorité dans l’industrie – ont de moins bonnes performances sur les visages non blancs, selon une étude qui fait autorité. Les résultats saisis dans le rapport, Face Recognition Vendor Test (FRVT) Part 3 : Demographic Effects (NISTIR 8280), sont destinés à informer les décideurs politiques et à aider les développeurs de logiciels à mieux comprendre la performance de leurs algorithmes. La technologie de reconnaissance faciale a inspiré le débat public en partie en raison de la nécessité de comprendre l’effet de la démographie sur les algorithmes de reconnaissance faciale.

Ce qu’ils ont testé :

Le National Institute of Standards and Technology (NIST) des États-Unis a testé chaque algorithme sur deux des tâches les plus courantes de la reconnaissance faciale.

La première, connue sous le nom de comparaison 1 : 1 ou “one-to-one matching”, consiste à faire correspondre la photo d’une personne à une autre photo de la même personne dans une base de données. Elle est utilisée pour déverrouiller les téléphones intelligents ou vérifier les passeports, par exemple.

La seconde, appelée recherche un-à-plusieurs ou “one-to-many”, consiste à déterminer si la photo de cette personne a une correspondance avec une autre dans une base de données. Cette méthode est souvent utilisée par les services de police pour identifier des suspects dans le cadre d’une enquête.

L’agence a étudié quatre ensembles de données sur les visages actuellement utilisés dans les formalités du gouvernement américain : les photos d’identité de personnes vivant aux États-Unis, les photos des personnes qui déposent une demande d’immigration, les photos de demandes de visas et les photos de personnes traversant la frontière américaine. Au total, les ensembles de données comprenaient 18,27 millions d’images de 8,49 millions de personnes.

Pour évaluer la performance de chaque algorithme, l’équipe du NIST a mesuré les deux classes d’erreurs que le programme peut faire : les faux positifs et les faux négatifs. Un faux positif signifie que le logiciel a considéré à tort que des photos de deux personnes différentes montraient la même personne, tandis qu’un faux négatif signifie que le logiciel n’a pas réussi à faire correspondre deux photos qui, en fait, montrent la même personne.

Le NIST a partagé certains résultats importants de l’étude. Voici les principaux :

1. Pour ce qui est de la comparaison 1 : 1, la plupart des systèmes affichaient un taux de faux positifs plus élevé pour les visages asiatiques et afro-américains que pour les visages caucasiens, parfois par un facteur de 10 allant même jusqu’à 100. En d’autres termes, il y avait plus de chances de trouver une correspondance alors qu’il n’y en avait pas.

2. Cela a changé pour les algorithmes de reconnaissance développés dans les pays asiatiques, qui ont produit très peu de différence de faux positifs entre les visages asiatiques et caucasiens.

3. Les algorithmes développés aux États-Unis étaient tous systématiquement mauvais pour faire correspondre les visages asiatiques, afro-américains et amérindiens. Les Amérindiens ont subi les taux de faux positifs les plus élevés.

4. Les systèmes de correspondance un-à-plusieurs présentaient les pires taux de faux positifs pour les Afro-Américains, ce qui fait que cette population est la plus à risque d’être faussement accusée d’un crime.

On en sait plus sur les algorithmes de Palantir

Pourquoi c’est important ?

L’utilisation des systèmes de reconnaissance faciale se développe rapidement dans les domaines de la lutte contre la criminalité, du contrôle des frontières et d’autres applications dans la société. Bien que plusieurs études universitaires aient déjà démontré que les systèmes commerciaux populaires étaient biaisés en fonction de la race et du sexe, l’étude du NIST est l’évaluation la plus complète à ce jour et confirme les résultats antérieurs. Les conclusions remettent en question la nécessité de continuer à utiliser ces systèmes à une aussi grande échelle.

Prochaines étapes :

Il appartient maintenant aux décideurs politiques de trouver la meilleure façon de réglementer ces technologies. Le NIST exhorte également les développeurs de reconnaissance faciale à mener davantage de recherches sur la façon dont ces biais pourraient être atténués.

Qui a besoin de la démocratie quand on a des données ?

Microsoft a battu Amazon pour le contrat de $10 milliards du Pentagone

Vendredi, le ministère de la Défense a annoncé qu’il accordera à Microsoft un contrat de 10 milliards de dollars sur 10 ans pour transformer ses systèmes de cloud computing.

Amazon avait été considérée comme le chef de file de l’opération pendant une grande partie des 15 mois du processus d’appel d’offres. Oracle et Google ont également soumis des offres.

Rencontrez le nouveau géant militaire américain : Amazon

Le président Donald Trump a publiquement minimisé à plusieurs reprises les perspectives d’Amazon, et un rédacteur de discours pour l’ancien ministre de la Défense Jim Mattis a déclaré au Washington Post que Trump était intervenu pour mettre l’entreprise hors contrat.

L’intention est de mettre à jour la panoplie technologique du ministère de la Défense en remplaçant ses réseaux informatiques complexes, vieux de plusieurs décennies, par un unique système de cloud computing. C’est un coup de force pour l’entreprise, bien qu’il soit susceptible de causer des tensions parmi le personnel de Microsoft.

Compte tenu de certaines allégations concernant une intervention politique potentielle dans le processus d’appel d’offres et de l’énorme valeur financière du contrat, Amazon pourrait choisir de poursuivre le ministère de la Défense en justice. Il a un peu plus d’une semaine pour se prononcer.

Dans un communiqué, un porte-parole d’Amazon Web Services (AWS) a déclaré que l’entreprise était “surprise par cette conclusion”.

MIT Technology Review, Reuters

Rencontrez le nouveau géant militaire américain : Amazon

L’accord controversé du Pentagone sur le cloud computing JEDI (Joint Enterprise Defense Infrastructure), d’une valeur de 10 milliards de dollars, est l’un des contrats de défense les plus lucratifs jamais conclus. Amazon est en pole position pour gagner – et son entrée dans l’armée a été longue à venir.

En juillet, alors que le président Donald Trump était dans le Bureau ovale avec le premier ministre néerlandais, il a pris quelques instants pour répondre aux questions des journalistes. Ses commentaires, d’une manière typique, couvraient des sujets disparates – de la création d’emplois à l’escouade des femmes du Congrès qu’il attaque régulièrement en passant par les sanctions contre la Turquie. Puis un journaliste lui a posé des questions sur un obscur contrat du Pentagone appelé JEDI et lui a demandé s’il avait l’intention d’intervenir.

“Lequel est-ce ?” Demanda Trump. “Amazon ?”

Le journaliste faisait référence à un contrat lucratif et bientôt attribué pour fournir des services de cloud computing au ministère de la Défense. Il vaut jusqu’à 10 milliards de dollars, et Amazon a longtemps été considéré comme le chef de file. Mais l’accord a fait l’objet d’un examen minutieux de la part de ses rivaux qui ont déclaré que le processus d’appel d’offres était biaisé en faveur du géant du commerce électronique.

“C’est un très gros contrat”, a déclaré Trump. “L’un des plus gros jamais vu concernant le cloud et beaucoup d’autres choses. Et nous recevons beaucoup de plaintes de la part de nombreuses autres entreprises, et de grandes entreprises. Certaines des plus grandes entreprises du monde s’en plaignent.”

“Microsoft, Oracle et IBM”, a-t-il poursuivi, “étaient tous hérissés”.

“Alors on va y jeter un coup d’œil. Nous allons y jeter un coup d’œil très attentif.”

Peu de temps après, le Pentagone a fait une annonce : le contrat a été suspendu jusqu’à ce que le processus d’appel d’offres ait fait l’objet d’un examen approfondi.

Beaucoup l’ont vu comme un autre coup de poing de Trump chez son ennemi juré Jeff Bezos, le PDG d’Amazon et propriétaire du Washington Post. Depuis son arrivée à la Maison-Blanche, Trump s’en prend régulièrement à Bezos sur Twitter, lui reprochant une couverture médiatique négative, critiquant les affaires fiscales d’Amazon, et même l’impact de l’entreprise sur le service postal américain.

Après tout, jusqu’à il y a quelques mois à peine, la plupart des Américains n’avaient jamais entendu parler de JEDI et s’en souciaient encore moins. Comparativement aux efforts de construction de gros avions de chasse ou de missiles hypersoniques – le genre de projets militaires dont nous avons l’habitude d’entendre parler -, le programme Joint Enterprise Defense Infrastructure semblait carrément ennuyeux. Ses dispositions les plus intéressantes comprennent les centres de données hors site, les systèmes informatiques et les applications Web.

C’est peut-être tout aussi banal qu’Amazon soit en lice pour un tel contrat. Après tout, c’est le premier fournisseur mondial de cloud computing ; sa division Amazon Web Services (AWS) a généré plus de 25 milliards de dollars de revenus en 2018.

Mais la diatribe de Trump ne concernait pas seulement une guerre contractuelle entre une poignée d’entreprises technologiques. Il mettait en lumière la nature changeante d’Amazon et son rôle dans la sécurité nationale et la politique. L’entreprise a passé la dernière décennie à travailler avec soin vers le cœur de Washington, et aujourd’hui – non content d’être le plus grand détaillant en ligne du monde – elle est sur le point de devenir l’un des plus grands entrepreneurs de la défense des États-Unis.

Qui a besoin de la démocratie quand on a des données ?

Retour sur le JEDI

Le Sheraton Hotel à Pentagon City, un quartier adjacent du ministère de la Défense, est loin de l’esprit de la Silicon Valley et de sa culture de startup. En mars 2018, la salle de bal de 1 000 places de cet hôtel des années 1970 regorgeait de fournisseurs intéressés à faire une offre sur le JEDI. Alors que les participants étaient assis dans des fauteuils de style Louis XIV, un défilé de responsables du Pentagone en uniforme a parlé de la stratégie d’approvisionnement.

Pour les soumissionnaires habituels du Beltway, ce spectacle était familier jusqu’à ce que Chris Lynch monte sur scène. Lynch, décrit par une publication de la défense comme le “gourou du numérique du Pentagone vêtu d’un sweat à capuche”, portait des lunettes de soleil à monture rouge sur le front et un t-shirt Star Wars portant l’emblème “Cloud City”.

Il était arrivé au Pentagone trois ans plus tôt pour rafraîchir la bureaucratie militaire moribonde. Entrepreneur en série travaillant dans les domaines de l’ingénierie et du marketing à Seattle, il a rapidement gagné l’hostilité des entrepreneurs fédéraux méfiants à l’égard de ce que le Pentagone avait l’intention de faire. Certains ont pris sa tenue décontractée comme un ricanement délibéré à la communauté boutonnée de Beltway.

“Il y a une place pour cela et ce n’est pas dans le Pentagone”, déclare John Weiler, directeur exécutif du Conseil consultatif sur l’acquisition des technologies de l’information (IT Acquisition Advisory Council), une association industrielle qui compte parmi ses membres des sociétés souhaitant soumissionner pour JEDI. “Je suis désolé de porter un sweat à capuche et toutes ces choses stupides. [Il porte] un genre d’uniforme pour déclarer en quelque sorte qu’il est un geek, mais en réalité, il ne l’est pas.”

Même ceux qui n’ont pas été offensés pensaient que Lynch avait clairement indiqué où se situaient ses préférences – et ce n’était pas avec les entrepreneurs fédéraux traditionnels.

“Et si nous devions tirer parti de toutes ces solutions incroyables qui ont été développées et conduites par des personnes qui n’ont rien à voir avec le gouvernement fédéral ?” A-t-il demandé lors de son discours devant la salle bondée. “Et si nous devions débloquer ces capacités pour accomplir la mission de défense nationale ? Et si nous tirions parti des marketplaces à longue traîne qui se sont développés dans les industries du cloud commercial ? C’est ce que JEDI est.”

Le Pentagone avait certainement décidé de prendre des mesures non conventionnelles avec ce contrat. Tout cela a été confié à un seul contractant, selon un calendrier accéléré, qui permettrait d’attribuer le contrat d’ici quelques mois. De nombreux membres du public ont déduit que l’accord était signé pour Amazon.

M. Weiler affirme que le contrat comporte de “grands défauts” et que l’approche du Pentagone finira par faire perdre de la rentabilité potentielle. Au lieu d’avoir plusieurs entreprises en concurrence pour réduire les coûts, il n’y aura qu’un cloud unique provenant d’un seul fournisseur.

Cette approche unique n’a pas fonctionné pour la CIA, – qui a annoncé son intention de faire appel à plusieurs fournisseurs plus tôt cette année, – et elle ne fonctionnera pas pour le ministère de la Défense, a-t-il déclaré. Et il ajoute que cet accord signifie que toutes les applications existantes devront migrer vers le cloud, que cela soit approprié ou non. “Certaines choses n’ont rien à y faire”, dit-il. “Certaines choses n’étaient pas conçues pour en tirer profit.”

En août 2018, Oracle a déposé une réclamation auprès du Government Accountability Office, affirmant que le contrat était “conçu autour d’un service cloud particulier”. (IBM a emboîté le pas peu de temps après.) Le même mois, la publication Defence One révélait que RosettiStarr, une firme d’enquêteur de Washington, préparait un dossier avec des reporters affirmant que Sally Donnelly, haut responsable du Pentagone et ancien consultant externe d’Amazon, avait tenté de favoriser la société de commerce électronique. RosettiStarr a refusé d’identifier le client qui a payé pour son travail.

Le logiciel de reconnaissance faciale en cloud de l’entreprise, qui permet de détecter l’âge, le sexe et certaines émotions ainsi que d’identifier les visages, est déjà utilisé par certains services de police, et en 2018 Amazon a acheté Ring, qui fait des sonnettes intelligentes qui capturent des vidéos.

Le FBI teste la biométrie faciale Amazon

Le drame a continué. En décembre 2018, Oracle, qui n’a pas été retenu pour l’étape finale de l’appel d’offres, a déposé de nouveaux documents alléguant un conflit d’intérêts. Deap Ubhi, qui travaillait avec Lynch au bureau des services numériques de défense du Pentagone, avait négocié un emploi avec Amazon alors qu’il travaillait pour JEDI, selon Oracle.

Des questions ont également été soulevées au sujet d’une visite de James Mattis, alors secrétaire à la Défense, sur la côte Ouest en 2017, qui comprenait une visite dans la Silicon Valley et une visite au siège d’Amazon à Seattle. En chemin, Mattis s’est déclaré “un grand admirateur de ce qu’ils font là-bas”, et il a ensuite été photographié marchant côte à côte avec Bezos.

(L’admiration de Mattis pour l’innovation n’a pas toujours été égalée par son discernement; jusqu’en 2017, il siégeait au conseil d’administration de Theranos, la firme de diagnostic du sang présentée comme une fraude).

Amazon et le Pentagone ont nié toute allégation de comportement abusif et ont reçu en juillet le soutien d’un juge fédéral, qui avait estimé que la société n’avait pas influencé indûment le contrat. C’était avant que le président Trump n’intervienne.

“Dès le premier jour, nous avons concouru pour JEDI en raison de l’ampleur et de la profondeur de nos services et sur le niveau de sécurité et de performance opérationnelle correspondant”, a déclaré un porte-parole d’AWS à MIT Technology Review.

Quel que soit le résultat de la révision de JEDI, il est clair que la dépendance du Pentagone à l’égard de la Silicon Valley augmente.

L’une des raisons pourrait être liée aux priorités du ministère de la Défense lui-même. Autrefois, elle a ouvert la voie à la science informatique – bon nombre des technologies qui ont rendu possible le cloud computing, y compris l’Internet lui-même, provenaient de la recherche commanditée par l’armée. Aujourd’hui, cependant, l’argent que les grandes entreprises de technologie apportent à la technologie de l’information est inférieur à ce que le Pentagone dépense pour la recherche informatique. DARPA, qui a financé la création de l’Arpanet (le précurseur de l’Internet) à partir des années 1960, est toujours impliqué dans le science informatique, mais quand il s’agit de cloud computing, il ne construit pas sa propre version.

Jonathan Smith, un responsable de programme DARPA, a déclaré que le travail de l’agence sur le cloud se concentre aujourd’hui sur le développement de prototypes sécurisés et open-source pouvant être adoptés par quiconque, qu’il s’agisse de gouvernements, d’un milieu universitaire ou de sociétés commerciales, comme Amazon.

Une force se réveille

Il s’agit d’un revirement rapide par rapport à il y a un peu plus d’une décennie, lorsque Amazon avait obtenu une assignation à comparaître devant le gouvernement pour obtenir les dossiers de quelque 24 000 livres dans le cadre d’une affaire de fraude. “Les rumeurs, fondées ou non, d’une enquête criminelle fédérale orwellienne sur les habitudes de lecture des clients d’Amazon pourraient effrayer d’innombrables clients potentiels en les dissuadant d’annuler des achats de livres en ligne”, a écrit le juge dans son jugement de 2007 en faveur d’Amazon. Ceux qui connaissaient bien la culture organisationnelle à l’époque disent qu’elle était généralement hostile à l’idée de travailler avec le gouvernement. Contrairement à Larry Ellison, qui s’est ouvertement vanté que la CIA était le client de lancement d’Oracle, Bezos faisait partie d’une deuxième vague de magnats de la technologie qui se méfiaient des liens avec les autorités fédérales.

Pourtant, l’entreprise faisait déjà ses premiers pas dans les services de cloud computing, ce qui en ferait un partenaire gouvernemental évident. En 2003, deux employés, Benjamin Black et Chris Pinkham, ont rédigé un article décrivant un système de serveur virtuel normalisé pour fournir puissance de calcul, stockage de données et infrastructure sur demande. Si Amazon trouvait ce système utile, ont-ils suggéré, d’autres entreprises le feraient aussi. Un jour, ceux qui ne voulaient pas exploiter leurs propres serveurs n’auraient plus à le faire : ils pourraient simplement les louer.

Le duo a présenté l’idée à Bezos, qui leur a dit de la suivre. Lancé publiquement en mars 2006, bien avant des services concurrents comme Microsoft Azure et Google Cloud, AWS domine désormais le marché. Les services cloud ont fourni à Amazon 13 % de son activité globale en 2018 et une part disproportionnée de ses bénéfices. AWS compte des millions de clients, dont Netflix, Airbnb et GE.

Le fait de fournir une infrastructure à d’autres entreprises a ouvert la porte aux organismes gouvernementaux. En 2013, AWS a remporté une victoire surprise en devenant le fournisseur de cloud computing de la CIA. Cet accord, d’une valeur de 600 millions de dollars, a fait d’Amazon un important entrepreneur en matière de sécurité nationale du jour au lendemain.

Depuis, les choses se sont accélérées. Amazon a investi massivement dans de nouveaux centres de données en Virginie du Nord, et en février 2019, après un concours très médiatisé, la société a annoncé qu’elle avait choisi Crystal City, en Virginie – une banlieue de Washington, DC, à moins d’un mile du Pentagone – comme site pour son deuxième siège social. (New York a également été choisie comme ville gagnante, mais Amazon a par la suite abandonné ses projets à la suite de l’opposition du public aux allégements fiscaux que la ville avait accordés à la société).

Tout cela s’est déroulé sans grande friction, alors que d’autres géants de la technologie ont eu des relations chaotiques avec l’appareil de la sécurité nationale. En 2015, Apple a publiquement défié le FBI lorsqu’on lui a demandé d’entrer par effraction dans un téléphone appartenant à l’un des auteurs d’une fusillade de masse à San Bernardino, en Californie (le FBI a retiré sa demande après avoir versé près de 1 million de dollars à des hackers pour pouvoir y accéder). Et Google s’est retiré de l’appel d’offres pour JEDI l’année dernière après qu’un employé se soit révolté à propos de son travail sur un contrat d’intelligence artificielle du Pentagone, Project Maven.

Le Pentagone cache des informations des travaux de Google sur les drones militaires

Amazon n’a pas connu le même type de réaction de la part du personnel – peut-être parce qu’il est notoire pour une approche dure des négociations de travail. Et même lorsque ses employés sont devenus agités, ce n’était pas à cause des liens d’Amazon avec la CIA ou le Pentagone, mais parce qu’elle vendait des services Web à Palantir, la société d’analyse de données qui collabore avec Immigration and Customs Enforcement. Les employés d’Amazon ont écrit une lettre ouverte à Bezos pour protester contre la “politique immorale des États-Unis”, mais cela n’a guère eu d’effet.

Microsoft et Amazon sous le feu de la technologie de reconnaissance faciale

Et ce serait une surprise si cela se produisait. Il est difficile d’imaginer qu’après plus de cinq années consacrées à fournir la base informatique à la CIA, alors qu’elle menait des frappes de drones dans le monde entier, Amazon hésiterait soudainement à travailler à la lutte contre la fraude en matière d’immigration.

L’Empire contre-attaque

Alors pourquoi Amazon s’est-elle lancée dans la sécurité nationale ? Beaucoup pensent qu’il s’agit d’argent sale. Stephen E. Arnold, spécialiste des logiciels de renseignement et d’application de la loi, a utilisé une série de vidéos en ligne pour retracer l’évolution d’Amazon depuis 2007, alors qu’elle n’avait “en fait aucune présence” dans le gouvernement IT, jusqu’à aujourd’hui, où elle semble destinée à dominer. “Amazon veut neutraliser puis déplacer les fournisseurs traditionnels du Département de la Défense et devenir l’IBM du 21ème siècle pour le gouvernement américain”, dit-il.

Trey Hodgkins est d’accord. “Le gagnant du contrat [JEDI] va contrôler une partie importante des clouds dans l’ensemble du gouvernement fédéral”, a déclaré Hodgkins, qui était jusqu’à récemment vice-président principal de l’Alliance de la technologie de l’information pour le secteur public, une association d’entrepreneurs en IT. L’alliance s’est dissoute en 2018 après avoir soulevé des préoccupations au sujet du JEDI, après quoi Amazon, l’un de ses membres, a quitté et formé sa propre association. Les agences civiles, dit-il, se tournent vers le Pentagone et disent : “Vous savez quoi ? Si c’est assez bon et assez substantiel pour eux – à l’échelle – alors ça va probablement aller pour nous.”

“Et si nous tirions parti de toutes ces solutions incroyables qui ont été développées et conduites par des personnes qui n’ont rien à voir avec le gouvernement fédéral ?”

Mais Arnold croit qu’Amazon est en train de s’engager davantage dans le commerce mondial du maintien de l’ordre public et de la sécurité. Le logiciel de reconnaissance faciale en cloud de l’entreprise, Rekognition, qui permet de détecter l’âge, le sexe et certaines émotions ainsi que d’identifier les visages, est déjà utilisé par certains services de police, et en 2018 Amazon a acheté Ring, qui fait des sonnettes intelligentes qui capturent la vidéo.

Le FBI teste la biométrie faciale Amazon

Ring pourrait sembler être un bon investissement en tant que consommateur, mais selon Arnold, la société crée une technologie qui peut exploiter son trésor de données relatives aux consommateurs, aux finances et au maintien de l’ordre. “Amazon souhaite devenir le fournisseur privilégié du gouvernement fédéral, des États, des comtés et des collectivités locales lorsque des solutions en matière de police et de renseignement sont nécessaires”, a-t-il déclaré. Cet été, Vice News a révélé que Ring aidait à fournir une vidéo aux services de police locaux.

Mais ce n’est que le début. Arnold prédit qu’Amazon ira au-delà des marchés américains du renseignement et du maintien de l’ordre et se tournera vers le monde. Cela, prédit-il, vaut des dizaines de milliards de dollars.

Le résultat net n’est pas la seule préoccupation, cependant : il y a aussi l’influence. Un ancien responsable du renseignement avec qui j’ai parlé m’a dit que les contrats du gouvernement et l’achat du Washington Post ne sont pas deux mesures distinctes pour Bezos, mais font partie d’une poussée plus large dans la capitale. Loin d’une conspiration, dit-il, c’est ce que les capitaines d’industrie ont toujours fait. “Il n’y a rien de tordu là-dedans”, a dit l’ancien fonctionnaire. “Bezos ne fait que défendre ses intérêts.”

Et peut-être que l’objectif ultime n’est pas seulement d’augmenter le nombre de contrats gouvernementaux, mais aussi d’influencer les réglementations qui pourraient affecter Amazon. Aujourd’hui, certaines de ses plus grandes menaces ne sont pas des concurrents, mais des législateurs et des politiciens qui défendent les mesures antitrust contre les géants de la technologie. (Ou, peut-être, un président soutenant qu’il devrait payer plus d’impôts.) Et Bezos comprend clairement qu’opérer à Washington nécessite d’avoir accès à qui que ce soit à la Maison-Blanche et d’exercer une influence sur lui ; en 2015, il a engagé Jay Carney, l’ancien attaché de presse du président Obama, comme cadre supérieur, et plus tôt cette année AWS a engagé Jeff Miller, un collecteur de fonds, pour faire pression en son nom.

Amazon a déclaré au MIT Technology Review que l’accent mis sur la sécurité nationale s’inscrit dans le cadre d’un mouvement plus large vers le secteur public.

“Nous sommes convaincus que les milieux de la défense, du renseignement et de la sécurité nationale méritent d’avoir accès à la meilleure technologie au monde”, a déclaré un porte-parole. “Et nous nous engageons à soutenir leurs missions essentielles de protection de nos citoyens et de défense de notre pays.”

Tout le monde n’est pas d’accord. Steve Aftergood, qui dirige le Project on Government Secrecy à la Federation of American Scientists, suit les dépenses en matière de renseignement et les questions de protection de la vie privée depuis des décennies. Je lui ai demandé s’il s’inquiétait de l’expansion rapide d’Amazon dans le domaine de la sécurité nationale. “Nous semblons courir vers une nouvelle configuration du gouvernement et de l’industrie sans avoir bien réfléchi à toutes les implications. Et certaines de ces implications ne sont peut-être pas entièrement prévisibles”, a-t-il écrit dans un courriel. “Mais chaque fois que vous établissez une nouvelle concentration de pouvoir et d’influence, vous devez également créer une structure compensatoire qui aura l’autorité et la capacité d’exercer une surveillance efficace. Jusqu’à présent, cette structure de surveillance ne semble pas recevoir l’attention qu’elle mérite.”

Si les observateurs et les critiques ont raison, le contrat JEDI du Pentagone n’est qu’un tremplin pour qu’Amazon qui finira par prendre le contrôle de l’ensemble du cloud gouvernemental, servant de centre de stockage de données pour tout, des casiers judiciaires aux audits fiscaux. Si cela concerne certains de l’extérieur qui regardent, c’est comme à l’habitude pour ceux qui se trouvent à l’intérieur du Beltway, où le gouvernement a toujours été le client le plus important et le plus lucratif.

“Bezos est malin d’arriver au début”, dit l’ancien responsable du renseignement. “Il a vu qu’il y avait de l’or dans ces collines”.

MIT Technology Review, Nextgov

Sharon Weinberger est chef du bureau de Washington pour Yahoo News et l’auteur de The Imagineers of War: The Untold Story of DARPA, the Pentagon Agency That Changed the World. Imagineers of War est une histoire fascinante et révolutionnaire dans laquelle la science, la technologie et la politique se rencontrent.

Le Pentagone cache des informations des travaux de Google sur les drones militaires

Les 5 000 pages de documents du projet ont été jugées trop sensibles pour être divulguées.

Neuf mois après les protestations internes et le tollé général du public qui ont poussé Google à cesser de développer l’IA pour les drones militaires, le Département de la Défense garde secret tous les dossiers du mystérieux projet Maven, de l’intelligence artificielle avancée pour une guerre algorithmique – également appelé Algorithmic Warfare Cross-Functional Team (AWCFT).

Maven a pour mission “d’accélérer l’intégration du Big Data et du Machine Learning au Département de la Défense”. Au total, le Département de la Défense a dépensé 7,4 milliards de dollars dans des domaines liés à l’intelligence artificielle en 2017, a rapporté le Wall Street Journal.

“Les personnes et les ordinateurs travailleront en symbiose pour augmenter la capacité des systèmes d’armes à détecter des objets”, a déclaré le colonel Drew Cukor, chef du corps des marines et du AWCFT. “Nous espérons qu’un analyste sera capable de faire deux fois plus de travail, voire trois fois plus, qu’il le fait actuellement. C’est notre objectif.”

“Nous sommes dans une course aux armements d’intelligence artificielle”, a déclaré Cukor. “… C’est ce qui se passe dans l’industrie et les cinq grandes sociétés Internet s’y emploient activement.”

Il y a plus d’un an, le journaliste de The Intercept, Sam Biddle, a essayé d’utiliser le droit de l’information publique pour en savoir plus sur les drones. Biddle écrit que le Département de la Défense a identifié 5 000 pages de documents et de dossiers pertinents – mais a jugé que chaque phrase était trop sensible pour être divulguée au public.

The Intercept rapporte que le Département de la Défense a affirmé que chaque enregistrement de la participation de Google dans le projet Maven, qui a depuis lors changé de mains de Google à la société de défense Anduril Industries, contient des “informations critiques sur la sécurité des infrastructures”.

Le Département de la Défense a envoyé à The Intercept une note de service de Lisa Hershman, Chief Management Officer, qui a écrit que la divulgation des archives du Projet Maven “fournirait à un adversaire des informations pour perturber, détruire ou endommager la technologie, les opérations et les installations militaires du DoD et mettre en danger la vie de son personnel”.

Malheureusement pour les journalistes, le gouvernement a recours à une série d’astuces un peu obscurs pour refuser les demandes de documents publics. Dans ce cas, les lois qui protègent les informations sur les ” infrastructures critiques” ont été rédigées pour protéger les usines de produits chimiques ou les installations de stockage d’explosifs – et non un logiciel d’IA permettant de guider les drones.

Biddle écrit que l’équipe juridique de The Intercept a l’intention de combattre le Département de la Défense parce qu’il a refusé l’accès aux archives de manière trop agressive, de sorte qu’il y a une chance que nous puissions bientôt en apprendre davantage sur les recherches militaires insaisissables.

The Intercept, Gizmodo