Microsoft a battu Amazon pour le contrat de $10 milliards du Pentagone

Vendredi, le ministère de la Défense a annoncé qu’il accordera à Microsoft un contrat de 10 milliards de dollars sur 10 ans pour transformer ses systèmes de cloud computing.

Amazon avait été considérée comme le chef de file de l’opération pendant une grande partie des 15 mois du processus d’appel d’offres. Oracle et Google ont également soumis des offres.

Rencontrez le nouveau géant militaire américain : Amazon

Le président Donald Trump a publiquement minimisé à plusieurs reprises les perspectives d’Amazon, et un rédacteur de discours pour l’ancien ministre de la Défense Jim Mattis a déclaré au Washington Post que Trump était intervenu pour mettre l’entreprise hors contrat.

L’intention est de mettre à jour la panoplie technologique du ministère de la Défense en remplaçant ses réseaux informatiques complexes, vieux de plusieurs décennies, par un unique système de cloud computing. C’est un coup de force pour l’entreprise, bien qu’il soit susceptible de causer des tensions parmi le personnel de Microsoft.

Compte tenu de certaines allégations concernant une intervention politique potentielle dans le processus d’appel d’offres et de l’énorme valeur financière du contrat, Amazon pourrait choisir de poursuivre le ministère de la Défense en justice. Il a un peu plus d’une semaine pour se prononcer.

Dans un communiqué, un porte-parole d’Amazon Web Services (AWS) a déclaré que l’entreprise était “surprise par cette conclusion”.

MIT Technology Review, Reuters

Rencontrez le nouveau géant militaire américain : Amazon

L’accord controversé du Pentagone sur le cloud computing JEDI (Joint Enterprise Defense Infrastructure), d’une valeur de 10 milliards de dollars, est l’un des contrats de défense les plus lucratifs jamais conclus. Amazon est en pole position pour gagner – et son entrée dans l’armée a été longue à venir.

En juillet, alors que le président Donald Trump était dans le Bureau ovale avec le premier ministre néerlandais, il a pris quelques instants pour répondre aux questions des journalistes. Ses commentaires, d’une manière typique, couvraient des sujets disparates – de la création d’emplois à l’escouade des femmes du Congrès qu’il attaque régulièrement en passant par les sanctions contre la Turquie. Puis un journaliste lui a posé des questions sur un obscur contrat du Pentagone appelé JEDI et lui a demandé s’il avait l’intention d’intervenir.

“Lequel est-ce ?” Demanda Trump. “Amazon ?”

Le journaliste faisait référence à un contrat lucratif et bientôt attribué pour fournir des services de cloud computing au ministère de la Défense. Il vaut jusqu’à 10 milliards de dollars, et Amazon a longtemps été considéré comme le chef de file. Mais l’accord a fait l’objet d’un examen minutieux de la part de ses rivaux qui ont déclaré que le processus d’appel d’offres était biaisé en faveur du géant du commerce électronique.

“C’est un très gros contrat”, a déclaré Trump. “L’un des plus gros jamais vu concernant le cloud et beaucoup d’autres choses. Et nous recevons beaucoup de plaintes de la part de nombreuses autres entreprises, et de grandes entreprises. Certaines des plus grandes entreprises du monde s’en plaignent.”

“Microsoft, Oracle et IBM”, a-t-il poursuivi, “étaient tous hérissés”.

“Alors on va y jeter un coup d’œil. Nous allons y jeter un coup d’œil très attentif.”

Peu de temps après, le Pentagone a fait une annonce : le contrat a été suspendu jusqu’à ce que le processus d’appel d’offres ait fait l’objet d’un examen approfondi.

Beaucoup l’ont vu comme un autre coup de poing de Trump chez son ennemi juré Jeff Bezos, le PDG d’Amazon et propriétaire du Washington Post. Depuis son arrivée à la Maison-Blanche, Trump s’en prend régulièrement à Bezos sur Twitter, lui reprochant une couverture médiatique négative, critiquant les affaires fiscales d’Amazon, et même l’impact de l’entreprise sur le service postal américain.

Après tout, jusqu’à il y a quelques mois à peine, la plupart des Américains n’avaient jamais entendu parler de JEDI et s’en souciaient encore moins. Comparativement aux efforts de construction de gros avions de chasse ou de missiles hypersoniques – le genre de projets militaires dont nous avons l’habitude d’entendre parler -, le programme Joint Enterprise Defense Infrastructure semblait carrément ennuyeux. Ses dispositions les plus intéressantes comprennent les centres de données hors site, les systèmes informatiques et les applications Web.

C’est peut-être tout aussi banal qu’Amazon soit en lice pour un tel contrat. Après tout, c’est le premier fournisseur mondial de cloud computing ; sa division Amazon Web Services (AWS) a généré plus de 25 milliards de dollars de revenus en 2018.

Mais la diatribe de Trump ne concernait pas seulement une guerre contractuelle entre une poignée d’entreprises technologiques. Il mettait en lumière la nature changeante d’Amazon et son rôle dans la sécurité nationale et la politique. L’entreprise a passé la dernière décennie à travailler avec soin vers le cœur de Washington, et aujourd’hui – non content d’être le plus grand détaillant en ligne du monde – elle est sur le point de devenir l’un des plus grands entrepreneurs de la défense des États-Unis.

Qui a besoin de la démocratie quand on a des données ?

Retour sur le JEDI

Le Sheraton Hotel à Pentagon City, un quartier adjacent du ministère de la Défense, est loin de l’esprit de la Silicon Valley et de sa culture de startup. En mars 2018, la salle de bal de 1 000 places de cet hôtel des années 1970 regorgeait de fournisseurs intéressés à faire une offre sur le JEDI. Alors que les participants étaient assis dans des fauteuils de style Louis XIV, un défilé de responsables du Pentagone en uniforme a parlé de la stratégie d’approvisionnement.

Pour les soumissionnaires habituels du Beltway, ce spectacle était familier jusqu’à ce que Chris Lynch monte sur scène. Lynch, décrit par une publication de la défense comme le “gourou du numérique du Pentagone vêtu d’un sweat à capuche”, portait des lunettes de soleil à monture rouge sur le front et un t-shirt Star Wars portant l’emblème “Cloud City”.

Il était arrivé au Pentagone trois ans plus tôt pour rafraîchir la bureaucratie militaire moribonde. Entrepreneur en série travaillant dans les domaines de l’ingénierie et du marketing à Seattle, il a rapidement gagné l’hostilité des entrepreneurs fédéraux méfiants à l’égard de ce que le Pentagone avait l’intention de faire. Certains ont pris sa tenue décontractée comme un ricanement délibéré à la communauté boutonnée de Beltway.

“Il y a une place pour cela et ce n’est pas dans le Pentagone”, déclare John Weiler, directeur exécutif du Conseil consultatif sur l’acquisition des technologies de l’information (IT Acquisition Advisory Council), une association industrielle qui compte parmi ses membres des sociétés souhaitant soumissionner pour JEDI. “Je suis désolé de porter un sweat à capuche et toutes ces choses stupides. [Il porte] un genre d’uniforme pour déclarer en quelque sorte qu’il est un geek, mais en réalité, il ne l’est pas.”

Même ceux qui n’ont pas été offensés pensaient que Lynch avait clairement indiqué où se situaient ses préférences – et ce n’était pas avec les entrepreneurs fédéraux traditionnels.

“Et si nous devions tirer parti de toutes ces solutions incroyables qui ont été développées et conduites par des personnes qui n’ont rien à voir avec le gouvernement fédéral ?” A-t-il demandé lors de son discours devant la salle bondée. “Et si nous devions débloquer ces capacités pour accomplir la mission de défense nationale ? Et si nous tirions parti des marketplaces à longue traîne qui se sont développés dans les industries du cloud commercial ? C’est ce que JEDI est.”

Le Pentagone avait certainement décidé de prendre des mesures non conventionnelles avec ce contrat. Tout cela a été confié à un seul contractant, selon un calendrier accéléré, qui permettrait d’attribuer le contrat d’ici quelques mois. De nombreux membres du public ont déduit que l’accord était signé pour Amazon.

M. Weiler affirme que le contrat comporte de “grands défauts” et que l’approche du Pentagone finira par faire perdre de la rentabilité potentielle. Au lieu d’avoir plusieurs entreprises en concurrence pour réduire les coûts, il n’y aura qu’un cloud unique provenant d’un seul fournisseur.

Cette approche unique n’a pas fonctionné pour la CIA, – qui a annoncé son intention de faire appel à plusieurs fournisseurs plus tôt cette année, – et elle ne fonctionnera pas pour le ministère de la Défense, a-t-il déclaré. Et il ajoute que cet accord signifie que toutes les applications existantes devront migrer vers le cloud, que cela soit approprié ou non. “Certaines choses n’ont rien à y faire”, dit-il. “Certaines choses n’étaient pas conçues pour en tirer profit.”

En août 2018, Oracle a déposé une réclamation auprès du Government Accountability Office, affirmant que le contrat était “conçu autour d’un service cloud particulier”. (IBM a emboîté le pas peu de temps après.) Le même mois, la publication Defence One révélait que RosettiStarr, une firme d’enquêteur de Washington, préparait un dossier avec des reporters affirmant que Sally Donnelly, haut responsable du Pentagone et ancien consultant externe d’Amazon, avait tenté de favoriser la société de commerce électronique. RosettiStarr a refusé d’identifier le client qui a payé pour son travail.

Le logiciel de reconnaissance faciale en cloud de l’entreprise, qui permet de détecter l’âge, le sexe et certaines émotions ainsi que d’identifier les visages, est déjà utilisé par certains services de police, et en 2018 Amazon a acheté Ring, qui fait des sonnettes intelligentes qui capturent des vidéos.

Le FBI teste la biométrie faciale Amazon

Le drame a continué. En décembre 2018, Oracle, qui n’a pas été retenu pour l’étape finale de l’appel d’offres, a déposé de nouveaux documents alléguant un conflit d’intérêts. Deap Ubhi, qui travaillait avec Lynch au bureau des services numériques de défense du Pentagone, avait négocié un emploi avec Amazon alors qu’il travaillait pour JEDI, selon Oracle.

Des questions ont également été soulevées au sujet d’une visite de James Mattis, alors secrétaire à la Défense, sur la côte Ouest en 2017, qui comprenait une visite dans la Silicon Valley et une visite au siège d’Amazon à Seattle. En chemin, Mattis s’est déclaré “un grand admirateur de ce qu’ils font là-bas”, et il a ensuite été photographié marchant côte à côte avec Bezos.

(L’admiration de Mattis pour l’innovation n’a pas toujours été égalée par son discernement; jusqu’en 2017, il siégeait au conseil d’administration de Theranos, la firme de diagnostic du sang présentée comme une fraude).

Amazon et le Pentagone ont nié toute allégation de comportement abusif et ont reçu en juillet le soutien d’un juge fédéral, qui avait estimé que la société n’avait pas influencé indûment le contrat. C’était avant que le président Trump n’intervienne.

“Dès le premier jour, nous avons concouru pour JEDI en raison de l’ampleur et de la profondeur de nos services et sur le niveau de sécurité et de performance opérationnelle correspondant”, a déclaré un porte-parole d’AWS à MIT Technology Review.

Quel que soit le résultat de la révision de JEDI, il est clair que la dépendance du Pentagone à l’égard de la Silicon Valley augmente.

L’une des raisons pourrait être liée aux priorités du ministère de la Défense lui-même. Autrefois, elle a ouvert la voie à la science informatique – bon nombre des technologies qui ont rendu possible le cloud computing, y compris l’Internet lui-même, provenaient de la recherche commanditée par l’armée. Aujourd’hui, cependant, l’argent que les grandes entreprises de technologie apportent à la technologie de l’information est inférieur à ce que le Pentagone dépense pour la recherche informatique. DARPA, qui a financé la création de l’Arpanet (le précurseur de l’Internet) à partir des années 1960, est toujours impliqué dans le science informatique, mais quand il s’agit de cloud computing, il ne construit pas sa propre version.

Jonathan Smith, un responsable de programme DARPA, a déclaré que le travail de l’agence sur le cloud se concentre aujourd’hui sur le développement de prototypes sécurisés et open-source pouvant être adoptés par quiconque, qu’il s’agisse de gouvernements, d’un milieu universitaire ou de sociétés commerciales, comme Amazon.

Une force se réveille

Il s’agit d’un revirement rapide par rapport à il y a un peu plus d’une décennie, lorsque Amazon avait obtenu une assignation à comparaître devant le gouvernement pour obtenir les dossiers de quelque 24 000 livres dans le cadre d’une affaire de fraude. “Les rumeurs, fondées ou non, d’une enquête criminelle fédérale orwellienne sur les habitudes de lecture des clients d’Amazon pourraient effrayer d’innombrables clients potentiels en les dissuadant d’annuler des achats de livres en ligne”, a écrit le juge dans son jugement de 2007 en faveur d’Amazon. Ceux qui connaissaient bien la culture organisationnelle à l’époque disent qu’elle était généralement hostile à l’idée de travailler avec le gouvernement. Contrairement à Larry Ellison, qui s’est ouvertement vanté que la CIA était le client de lancement d’Oracle, Bezos faisait partie d’une deuxième vague de magnats de la technologie qui se méfiaient des liens avec les autorités fédérales.

Pourtant, l’entreprise faisait déjà ses premiers pas dans les services de cloud computing, ce qui en ferait un partenaire gouvernemental évident. En 2003, deux employés, Benjamin Black et Chris Pinkham, ont rédigé un article décrivant un système de serveur virtuel normalisé pour fournir puissance de calcul, stockage de données et infrastructure sur demande. Si Amazon trouvait ce système utile, ont-ils suggéré, d’autres entreprises le feraient aussi. Un jour, ceux qui ne voulaient pas exploiter leurs propres serveurs n’auraient plus à le faire : ils pourraient simplement les louer.

Le duo a présenté l’idée à Bezos, qui leur a dit de la suivre. Lancé publiquement en mars 2006, bien avant des services concurrents comme Microsoft Azure et Google Cloud, AWS domine désormais le marché. Les services cloud ont fourni à Amazon 13 % de son activité globale en 2018 et une part disproportionnée de ses bénéfices. AWS compte des millions de clients, dont Netflix, Airbnb et GE.

Le fait de fournir une infrastructure à d’autres entreprises a ouvert la porte aux organismes gouvernementaux. En 2013, AWS a remporté une victoire surprise en devenant le fournisseur de cloud computing de la CIA. Cet accord, d’une valeur de 600 millions de dollars, a fait d’Amazon un important entrepreneur en matière de sécurité nationale du jour au lendemain.

Depuis, les choses se sont accélérées. Amazon a investi massivement dans de nouveaux centres de données en Virginie du Nord, et en février 2019, après un concours très médiatisé, la société a annoncé qu’elle avait choisi Crystal City, en Virginie – une banlieue de Washington, DC, à moins d’un mile du Pentagone – comme site pour son deuxième siège social. (New York a également été choisie comme ville gagnante, mais Amazon a par la suite abandonné ses projets à la suite de l’opposition du public aux allégements fiscaux que la ville avait accordés à la société).

Tout cela s’est déroulé sans grande friction, alors que d’autres géants de la technologie ont eu des relations chaotiques avec l’appareil de la sécurité nationale. En 2015, Apple a publiquement défié le FBI lorsqu’on lui a demandé d’entrer par effraction dans un téléphone appartenant à l’un des auteurs d’une fusillade de masse à San Bernardino, en Californie (le FBI a retiré sa demande après avoir versé près de 1 million de dollars à des hackers pour pouvoir y accéder). Et Google s’est retiré de l’appel d’offres pour JEDI l’année dernière après qu’un employé se soit révolté à propos de son travail sur un contrat d’intelligence artificielle du Pentagone, Project Maven.

Le Pentagone cache des informations des travaux de Google sur les drones militaires

Amazon n’a pas connu le même type de réaction de la part du personnel – peut-être parce qu’il est notoire pour une approche dure des négociations de travail. Et même lorsque ses employés sont devenus agités, ce n’était pas à cause des liens d’Amazon avec la CIA ou le Pentagone, mais parce qu’elle vendait des services Web à Palantir, la société d’analyse de données qui collabore avec Immigration and Customs Enforcement. Les employés d’Amazon ont écrit une lettre ouverte à Bezos pour protester contre la “politique immorale des États-Unis”, mais cela n’a guère eu d’effet.

Microsoft et Amazon sous le feu de la technologie de reconnaissance faciale

Et ce serait une surprise si cela se produisait. Il est difficile d’imaginer qu’après plus de cinq années consacrées à fournir la base informatique à la CIA, alors qu’elle menait des frappes de drones dans le monde entier, Amazon hésiterait soudainement à travailler à la lutte contre la fraude en matière d’immigration.

L’Empire contre-attaque

Alors pourquoi Amazon s’est-elle lancée dans la sécurité nationale ? Beaucoup pensent qu’il s’agit d’argent sale. Stephen E. Arnold, spécialiste des logiciels de renseignement et d’application de la loi, a utilisé une série de vidéos en ligne pour retracer l’évolution d’Amazon depuis 2007, alors qu’elle n’avait “en fait aucune présence” dans le gouvernement IT, jusqu’à aujourd’hui, où elle semble destinée à dominer. “Amazon veut neutraliser puis déplacer les fournisseurs traditionnels du Département de la Défense et devenir l’IBM du 21ème siècle pour le gouvernement américain”, dit-il.

Trey Hodgkins est d’accord. “Le gagnant du contrat [JEDI] va contrôler une partie importante des clouds dans l’ensemble du gouvernement fédéral”, a déclaré Hodgkins, qui était jusqu’à récemment vice-président principal de l’Alliance de la technologie de l’information pour le secteur public, une association d’entrepreneurs en IT. L’alliance s’est dissoute en 2018 après avoir soulevé des préoccupations au sujet du JEDI, après quoi Amazon, l’un de ses membres, a quitté et formé sa propre association. Les agences civiles, dit-il, se tournent vers le Pentagone et disent : “Vous savez quoi ? Si c’est assez bon et assez substantiel pour eux – à l’échelle – alors ça va probablement aller pour nous.”

“Et si nous tirions parti de toutes ces solutions incroyables qui ont été développées et conduites par des personnes qui n’ont rien à voir avec le gouvernement fédéral ?”

Mais Arnold croit qu’Amazon est en train de s’engager davantage dans le commerce mondial du maintien de l’ordre public et de la sécurité. Le logiciel de reconnaissance faciale en cloud de l’entreprise, Rekognition, qui permet de détecter l’âge, le sexe et certaines émotions ainsi que d’identifier les visages, est déjà utilisé par certains services de police, et en 2018 Amazon a acheté Ring, qui fait des sonnettes intelligentes qui capturent la vidéo.

Le FBI teste la biométrie faciale Amazon

Ring pourrait sembler être un bon investissement en tant que consommateur, mais selon Arnold, la société crée une technologie qui peut exploiter son trésor de données relatives aux consommateurs, aux finances et au maintien de l’ordre. “Amazon souhaite devenir le fournisseur privilégié du gouvernement fédéral, des États, des comtés et des collectivités locales lorsque des solutions en matière de police et de renseignement sont nécessaires”, a-t-il déclaré. Cet été, Vice News a révélé que Ring aidait à fournir une vidéo aux services de police locaux.

Mais ce n’est que le début. Arnold prédit qu’Amazon ira au-delà des marchés américains du renseignement et du maintien de l’ordre et se tournera vers le monde. Cela, prédit-il, vaut des dizaines de milliards de dollars.

Le résultat net n’est pas la seule préoccupation, cependant : il y a aussi l’influence. Un ancien responsable du renseignement avec qui j’ai parlé m’a dit que les contrats du gouvernement et l’achat du Washington Post ne sont pas deux mesures distinctes pour Bezos, mais font partie d’une poussée plus large dans la capitale. Loin d’une conspiration, dit-il, c’est ce que les capitaines d’industrie ont toujours fait. “Il n’y a rien de tordu là-dedans”, a dit l’ancien fonctionnaire. “Bezos ne fait que défendre ses intérêts.”

Et peut-être que l’objectif ultime n’est pas seulement d’augmenter le nombre de contrats gouvernementaux, mais aussi d’influencer les réglementations qui pourraient affecter Amazon. Aujourd’hui, certaines de ses plus grandes menaces ne sont pas des concurrents, mais des législateurs et des politiciens qui défendent les mesures antitrust contre les géants de la technologie. (Ou, peut-être, un président soutenant qu’il devrait payer plus d’impôts.) Et Bezos comprend clairement qu’opérer à Washington nécessite d’avoir accès à qui que ce soit à la Maison-Blanche et d’exercer une influence sur lui ; en 2015, il a engagé Jay Carney, l’ancien attaché de presse du président Obama, comme cadre supérieur, et plus tôt cette année AWS a engagé Jeff Miller, un collecteur de fonds, pour faire pression en son nom.

Amazon a déclaré au MIT Technology Review que l’accent mis sur la sécurité nationale s’inscrit dans le cadre d’un mouvement plus large vers le secteur public.

“Nous sommes convaincus que les milieux de la défense, du renseignement et de la sécurité nationale méritent d’avoir accès à la meilleure technologie au monde”, a déclaré un porte-parole. “Et nous nous engageons à soutenir leurs missions essentielles de protection de nos citoyens et de défense de notre pays.”

Tout le monde n’est pas d’accord. Steve Aftergood, qui dirige le Project on Government Secrecy à la Federation of American Scientists, suit les dépenses en matière de renseignement et les questions de protection de la vie privée depuis des décennies. Je lui ai demandé s’il s’inquiétait de l’expansion rapide d’Amazon dans le domaine de la sécurité nationale. “Nous semblons courir vers une nouvelle configuration du gouvernement et de l’industrie sans avoir bien réfléchi à toutes les implications. Et certaines de ces implications ne sont peut-être pas entièrement prévisibles”, a-t-il écrit dans un courriel. “Mais chaque fois que vous établissez une nouvelle concentration de pouvoir et d’influence, vous devez également créer une structure compensatoire qui aura l’autorité et la capacité d’exercer une surveillance efficace. Jusqu’à présent, cette structure de surveillance ne semble pas recevoir l’attention qu’elle mérite.”

Si les observateurs et les critiques ont raison, le contrat JEDI du Pentagone n’est qu’un tremplin pour qu’Amazon qui finira par prendre le contrôle de l’ensemble du cloud gouvernemental, servant de centre de stockage de données pour tout, des casiers judiciaires aux audits fiscaux. Si cela concerne certains de l’extérieur qui regardent, c’est comme à l’habitude pour ceux qui se trouvent à l’intérieur du Beltway, où le gouvernement a toujours été le client le plus important et le plus lucratif.

“Bezos est malin d’arriver au début”, dit l’ancien responsable du renseignement. “Il a vu qu’il y avait de l’or dans ces collines”.

MIT Technology Review, Nextgov

Sharon Weinberger est chef du bureau de Washington pour Yahoo News et l’auteur de The Imagineers of War: The Untold Story of DARPA, the Pentagon Agency That Changed the World. Imagineers of War est une histoire fascinante et révolutionnaire dans laquelle la science, la technologie et la politique se rencontrent.

Ginni Rometty sur l’avenir du travail et de l’IA

L’intelligence artificielle d’IBM permet de prédire avec une précision de 95 % quels travailleurs sont sur le point de quitter leur emploi.

IBM reçoit plus de 8.000 CV par jour. Mais, ce n’est pas la seule façon pour IBM, qui emploie environ 350 000 personnes, de savoir qui cherche actuellement un nouveau poste. La technologie d’intelligence artificielle d’IBM est maintenant précise à 95 % pour prédire les salariés qui comptent quitter leurs emplois, a déclaré Ginni Rometty.

Depuis les sept années où Rometty occupe le poste de PDG, IBM a amélioré son travail d’intelligence artificielle consacré à la fidélisation de ses employés.

“Le meilleur moment pour récupérer un employé, c’est avant qu’il ne parte”, a-t-elle déclaré.

IBM HR dispose d’un brevet pour son “programme d’attrition prédictive” qui a été développé avec Watson pour prédire le risque de fuite des employés et préconiser des actions pour que les managers engagent des employés.

Rometty ne peut pas expliquer ce qui a permis à l’IA de travailler si efficacement dans l’identification des travailleurs sur le point de partir. Elle se contente de dire que son succès passe par l’analyse de nombreux points de données. L’IA a jusqu’à présent permis à IBM d’économiser près de 300 millions de dollars en coûts de rétention, a-t-elle affirmé.

L’outil de rétention de l’IA fait partie d’une suite de produits IBM conçus pour améliorer l’approche traditionnelle de la gestion des ressources humaines. Rometty a décrit le modèle classique des ressources humaines comme ayant besoin d’une refonte, et a dit que c’est l’une des professions où les humains ont besoin de l’IA pour améliorer leur travail.

Rometty a déclaré que depuis qu’IBM a déployé la technologie sur une plus grande échelle, y compris les services cloud et d’autres modernisations, le géant de la technologie a réduit la taille de son département mondial des ressources humaines de 30 %. Mais elle a ajouté que les postes restants sont mieux rémunérés et capables d’effectuer un travail de plus grande valeur.

Un cheminement de carrière plus clair est nécessaire pour de nombreuses personnes

Parmi les tâches pour lesquelles les DRH et les responsables d’entreprise n’ont pas toujours fait la preuve de leur efficacité et pour lesquelles l’intelligence artificielle jouera un rôle plus important à l’avenir, figurent le maintien des employés sur un parcours professionnel clair et l’identification de leurs compétences.

Rometty a déclaré que la transparence avec les employés au sujet de leur cheminement de carrière est un problème dans lequel de nombreuses entreprises échouent encore. Et cela va devenir plus critique. “Je m’attends à ce que l’IA change 100 % des emplois au cours des 5 à 10 prochaines années “, a déclaré la PDG d’IBM.

Être transparent avec les employés signifie être honnête au sujet des compétences nécessaires, surtout lorsque les travailleurs ne les possèdent pas. Les dirigeants d’IBM parlent aux employés des compétences rares ou abondantes sur le marché.

“Si vous avez une compétence qui n’est pas nécessaire pour l’avenir, qui est abondante sur le marché et qui ne correspond pas à une stratégie dont mon entreprise a besoin, vous n’êtes pas fait pour rester à l’intérieur de mon entreprise”, a déclaré Rometty. “Je crois vraiment qu’il faut être transparent sur l’emplacement des compétences. Je crois vraiment qu’il faut être transparent pour savoir où sont les compétences.”

En comprenant mieux les modèles de données et les compétences adjacentes, l’IA d’IBM peut se concentrer sur les forces d’un individu. En retour, cela peut permettre à un manager d’orienter un employé vers des opportunités futures qu’il n’a peut-être pas vues à l’aide des méthodes traditionnelles.

“Nous avons constaté que les sondages auprès des managers n’étaient pas exacts”, a déclaré Rometty, faisant référence aux évaluations formelles des compétences. “Les managers sont subjectifs en matière d’évaluation. Nous pouvons déduire et être plus précis à partir des données.”

La technologie IBM permet de visualiser les tâches accomplies par les employés, les cours qu’ils ont suivis et les résultats qu’ils ont obtenus. Grâce à ces points de données, l’inférence de compétences en IA et les responsables des ressources humaines peuvent mieux comprendre l’ensemble des compétences d’un employé qu’ils ne le feraient en évaluant le retour d’information provenant des enquêtes auprès des responsables.

IBM a également abandonné un autre élément fondamental des ressources humaines classiques : l’évaluation annuelle des performances, où Rometty a résisté au début, mais la persévérance des responsables des ressources humaines lui a prouvé sa nécessité. La société évalue la croissance des compétences des employés dans le cadre de leurs vérifications trimestrielles avec la direction.

L’IA parvient de mieux en mieux à informer les employés sur leur carrière. L’assistant virtuel MYCA (My Career Advisor) d’IBM utilise Watson pour aider les employés à identifier les domaines où ils ont besoin d’améliorer leurs compétences. La technologie Blue Match, offre des possibilités d’emploi aux employés en fonction de leurs données sur les compétences acquises grâce à l’IA (les employés choisissent de participer au service). Rometty a déclaré que certains des 27 % des travailleurs d’IBM qui ont obtenu un nouvel emploi ou une promotion en 2018 ont été aidés par Blue Match.

“L’IA changera tous les emplois une fois qu’elle sera dans le flux de travail, et c’est la forme la plus significative de l’IA. Oui, certains emplois seront remplacés, mais c’est un faux-fuyant”, affirme Rometty. “Il s’agit de faire travailler les gens à l’intersection de tout ça.”

Elle a ajouté : “Tout cela est un jeu d’habileté et de personnes ayant les bonnes compétences, et le travail de chacun est en train de changer.”

Se débarrasser du système RH actuel

Les départements traditionnels des ressources humaines, où les entreprises “sous-investissent généralement”, ont été divisés entre un système libre-service, où les employés sont forcés d’être leurs propres gestionnaires de carrière, et un système défensif pour faire face aux mauvais résultats.

“Nous devons amener l’IA partout et nous débarrasser du système de libre-service [existant]”, a déclaré Rometty. Les employés d’IBM n’ont plus besoin de déchiffrer quels programmes les aideront à améliorer leurs compétences ; l’IA suggère à chaque employé ce qu’il devrait apprendre afin de progresser dans sa carrière.

Dans le même temps, les mauvaises performances, quant à elles, ne seront pas un problème qui sera traité uniquement par les managers, les RH, le juridique et les finances, mais par les groupes de solutions – IBM utilise des centres de solutions “pop-up” pour aider les managers à rechercher les meilleures performances de leurs employés.

De nombreuses entreprises se sont appuyées sur des centres d’excellence – des groupes spécialisés ou des entités de collaboration créés pour se concentrer sur des domaines où il y a un manque de connaissances ou de compétences au sein d’une organisation ou d’une communauté. “Nous devons passer des centres d’excellence aux centres de solutions”, a-t-elle dit.

Le pari d’IBM est que l’avenir du travail est un avenir dans lequel une machine comprend l’individu mieux que l’individu RH ne peut le comprendre seul. Pour être clair, les observations du PDG d’IBM n’ont pas été présentées comme une attaque contre la profession des RH. En fait, elle a commencé ses remarques en décrivant les RH comme un “travail de passion” et en ajoutant qu’elle était “une grande fan de cette profession”.

Mais la nouvelle ère des ressources humaines centrées sur l’intelligence artificielle s’améliorera par rapport à quelque chose que beaucoup d’équipes de ressources humaines ne peuvent pas gérer aussi efficacement qu’une machine, qui peut créer des millions de points de données et apprendre de nouvelles choses. Il faut reconnaître le véritable potentiel des ressources des individus et servir de moteur de croissance pour les entreprises.

“C’est au niveau individuel. Vous devez connaître l’individu. Les compétences sont votre atout renouvelable, et vous devez les traiter comme ça”, a conclu Rometty.

Le FBI teste la biométrie faciale Amazon

Le FBI américain teste actuellement Amazon Rekognition pour trier les énormes quantités de séquences vidéo collectées au cours des enquêtes, rapporte Nextgov.

La directrice adjointe du FBI chargée de la lutte contre le terrorisme, Christine Halvorsen, a déclaré devant un auditoire d’Invent Web Services d’Invent à Las Vegas que le test avait commencé au début de 2018, après une série d’enquêtes sur la lutte antiterroriste ayant mis à rude épreuve la capacité technologique de l’agence. Le FBI a recueilli un pétaoctet de données provenant de téléphones portables et de caméras de surveillance après une tuerie de masse survenue en 2017 à Las Vegas par Stephen Paddock.

“Nous avions des agents et des analystes, huit par équipe, qui travaillaient 24 heures sur 24, sept jours sur sept, pendant trois semaines, visionnant des séquences vidéo où Stephen Paddock était le mois précédant son arrivée et sa fusillade”, a déclaré Halvorsen.

Microsoft et Amazon sous le feu de la technologie de reconnaissance faciale

Rekognition pourrait traiter la même quantité de vidéo en 24 heures, selon Halvorsen, libérant ainsi les agents pour qu’ils puissent effectuer d’autres tâches d’enquête.

Selon Nextgov, la CIA et le ministère de la Défense comptent parmi les clients d’Amazon Web Services (AWS), et le bureau du shérif du comté de Washington est le seul organisme répertorié sur la page client de la société. Le service de police d’Orlando a récemment lancé un deuxième test de Rekognition, qui devrait durer neuf mois.

Les discussions entre Amazon et Immigration and Customs Enforcement l’année dernière ont abouti à des plaintes de la part des employés de la société, de l’ACLU, et finalement à des lettres des membres du Congrès demandant des informations supplémentaires sur le service de reconnaissance faciale.

On en sait plus sur les algorithmes de Palantir

En quoi consiste Amazon Rekognition ?

Credit : Shutterstock

The New York Times, BuzzFeed News, BiometricUpdate

Qui a besoin de la démocratie quand on a des données ?

Big data : les algorithmes sont-ils les maitres de notre futur ?

Des données collectées, puis traitées par des algorithmes, permettent d’émettre certaines prédictions. Les champs d’application des algorithmes sont nombreux, par exemple dans la lutte contre la criminalité.

Prédire les crimes

2024 pourrait devenir 1984 sans réglementation biométrique

Le président de Microsoft a déclaré que nous devions réglementer la technologie de reconnaissance faciale avant que «l’année 2024 ne ressemble à celle du livre 1984 »

Brad Smith a annoncé la nécessité de réglementer la technologie de reconnaissance faciale, avertissant un auditoire d’acteurs de l’industrie de l’internet que 2024 pourrait ressembler au livre «1984» sans la mise en place rapide de garanties visant à limiter son utilisation par les entreprises et les gouvernements, rapporte Recode.

Smith a pris la parole lors de la conférence Web Summit au Portugal, où il a averti que la technologie pourrait bientôt permettre aux gouvernements de suivre tout le monde et de consigner toutes les actions, ce qui pourrait avoir de profondes répercussions sur les libertés civiles fondamentales sur lesquelles reposent les sociétés démocratiques.

« Cela signifie potentiellement que à chaque fois que vous entrez dans un magasin, un détaillant sait à quel moment vous y étiez, quels biens vous avez choisi, quels achats vous avez achetés », déclare Smith. « Je pense même que cela est franchement dérisoire par rapport à ce que cela pourrait produire dans les relations entre les individus et l’État. »

Microsoft construit une technologie de reconnaissance faciale, et Smith a déjà rendu public le besoin de réglementation. Facebook et Apple aussi. Amazon vend sa technologie de reconnaissance faciale aux forces de l’ordre, un arrangement qui a provoqué la colère de certains de ses employés qui s’inquiètent de la façon dont elle est utilisée à des fins de surveillance.

L’ancien Premier ministre britannique Tony Blair a rejoint Smith sur scène et a soutenu son appel à la réglementation.

« Je ne pense pas que les gouvernements soient encore équipés pour comprendre [ces problèmes], mais je pense qu’ils doivent l’être », a déclaré Blair. « Il est vraiment nécessaire pour ceux du monde de la technologie… d’éduquer les décideurs politiques sur ce que cela signifie. »

Blair a également suggéré que le premier groupe politique à exploiter la question dans un récit d’utilisation bénéfique pourrait représenter l’avenir de la politique.

Prédire les crimes

Des programmes informatiques sont aujourd’hui capables d’anticiper la survenue d’actes criminels.

Une aide précieuse pour la justice ou un risque réel pour nos libertés ?

Un logiciel capable de prédire le lieu et l’instant où un individu s’apprêtera à commettre un délit ne relève plus de la science-fiction. Dans certaines villes comme Chicago, Londres ou Munich, ces programmes sont en effet devenus réalité. Accompagnant l’évolution des sociétés modernes vers le tout-sécuritaire, la police expérimente de plus en plus ces nouveaux outils technologiques. Grâce à un algorithme capable d’analyser l’énorme masse de données personnelles que nous produisons et laissons en permanence sur le numérique, ces logiciels spécialisés peuvent en effet établir des listes d’individus susceptibles d’être mêlés à des actes répréhensibles.

Mais l’utilisation des nouvelles technologies à des fins prédictives pose un grand nombre de questions éthiques et morales. Sommes-nous prêts à abandonner notre liberté au nom de la sécurité ? Peut-on réellement faire confiance à un algorithme pour trier les individus et déterminer aujourd’hui qu’ils deviendront des criminels demain ? Fascinant et glaçant, ce documentaire part à la rencontre de professionnels qui utilisent déjà ces méthodes, mais donne également la parole à des victimes de ces logiciels, citoyens sans histoires que les ordinateurs ont identifiés un jour comme de potentiels criminels.

Hitachi : une IA capable de prédire les crimes avant qu’ils se produisent
On en sait plus sur les algorithmes de Palantir. Le département de police de Los Angeles a une nouvelle formule de surveillance, alimentée par Palantir
Des projets Chinois à la Minority Report utiliseront l’IA pour prédire des crimes
Tout votre historique de navigation sur Internet est maintenant en vente

Palantir Technologies

Palantir Technologies Inc. développe et construit des plates-formes de fusion de données pour l’intégration, la gestion et la sécurisation de tout type de données à grande échelle. Il propose Palantir Gotham, une plate-forme pour intégrer, gérer, sécuriser, et analyser les données de l’entreprise; et la plate-forme Palantir Metropolis pour enquête quantitative à grande échelle qui intègre à travers de multiples sources de données, rassemblant des informations disparates dans un environnement unifié d’analyse quantitative. La société apporte une réponse contre la fraude, marchés de capitaux, gestion de cas, intervention de crises, cyber-sécurité, défense,  préparation aux catastrophes, intervention de la maladie, livraison de soins de santé, menaces internes, analyse d’assurance, intelligence/renseignement, application de la loi, veille juridique, palantir verus, pharma R & D, supervision de trader et des solutions personnalisées.

L’entreprise travaille pour la communauté du renseignement des États-Unis, notamment pour la NSA, la CIA et le FBI, ainsi que pour différents acteurs du système de défense américain, comme les US Marines, l’US Air force et les Opérations spéciales. Elle s’est diversifiée dans les secteurs de la finance, de l’assurance, de la santé et des biens de consommation courante. Elle met par ailleurs sa technologie à disposition d’ONG comme Community solutions.

La société a été constituée en 2003 et est basée à Palo Alto, en Californie. Elle fait partie des valeurs sures de la Silicon Valley. Depuis sa création, l’entreprise a levé en tout et pour tout 2,3 milliards de dollars et sa valorisation pourrait prochainement atteindre 20 milliards de dollars. Parmi les investisseurs figure la CIA, qui y a injecté 2 millions de dollars au moment de son lancement. L’agence centrale de renseignement est alors séduite par le projet de Palantir : utiliser les algorithmes informatiques afin de déjouer d’éventuelles attaques terroristes. (ndlr)

Le cofondateur de Palantir, Peter Thiel, est également le co-fondateur de PayPal.

pour en savoir plus : Techcrunch

L’algorithme PredPol

PredPol est basé sur une décennie de recherches académiques détaillées sur les causes de la formation de schémas criminels. Cette recherche a permis de relier plusieurs aspects clés du comportement des délinquants à une structure mathématique utilisée qui permet de prédire l’évolution des schémas criminels au jour le jour. Qu’est-ce que PredPol et ce que PredPol n’est PAS ?

Pour en savoir plus : The PredPol Algorithm

Qui a besoin de la démocratie quand on a des données ?

Qui a besoin de la démocratie quand on a des données ?

Comment la Chine gouverne grâce aux données, à l’intelligence artificielle et à la surveillance Web.

En 1955, l’auteur de science-fiction Isaac Asimov a publié une nouvelle sur la « démocratie électronique », où un seul citoyen, choisi pour représenter une population entière, répondait aux questions générées par un ordinateur nommé Multivac. La machine recueillait ces données et calculait les résultats d’une élection qui, conséquemment, n’avait plus besoin d’avoir lieu. L’histoire d’Asimov se déroule à Bloomington, en Indiana, mais aujourd’hui, une machine semblable à Multivac est en construction en Chine.

Dans tout régime autoritaire, « le problème fondamental réside dans le fait que le centre ne comprend pas ce qui se passe aux niveaux inférieurs ni dans l’ensemble de la société », affirme Deborah Seligsohn, politologue et spécialiste de la politique chinoise à la Villanova University à Philadelphie. Comment peut-on gouverner efficacement un pays abritant un cinquième de la population planétaire et doté d’une économie et d’une société complexes si aucun débat public, aucun activisme civil ni aucune rétroaction ne sont permis ?

Comment recueille-t-on suffisamment de renseignements pour vraiment prendre des décisions ? Et comment un gouvernement qui n’invite pas ses citoyens à participer au débat peut-il encore susciter la confiance et modifier le comportement du public sans ingérence policière ?

Hu Jintao, leader de la Chine de 2002 à 2012, a tenté de régler ces problèmes en permettant un modeste dégel démocratique, où le peuple avait la possibilité de présenter ses griefs à la classe dirigeante. Son successeur, Xi Jinping, a inversé cette tendance. Sa stratégie pour comprendre et réagir à ce qui se passe chez une nation de 1,4 billion de citoyens repose plutôt sur une combinaison de surveillance, d’intelligence artificielle et de mégadonnées pour surveiller leur vie et leur comportement dans les moindres détails.

Cybersouveraineté 

Les deux dernières années dans les démocraties du monde ont été tumultueuses, ce qui a aidé l’élite politique chinoise à se sentir de plus en plus justifier de faire taire les électeurs. Des évènements comme l’élection de Donald Trump, le Brexit, la montée de parties de l’extrême droite en Europe et le règne de terreur de Rodrigo Duterte aux Philippines ont mis en évidence ce que les critiques voient comme un problème propre à la démocratie, plus particulièrement le populisme, l’instabilité et le leadership dangereusement personnalisé.

Depuis qu’il est devenu secrétaire général du Parti communiste chinois en 2012, Xi a établi de nombreux plans ambitieux pour le pays, dont bon nombre sont enracinés dans la technologie — y compris l’objectif de devenir le leader mondial en intelligence artificielle d’ici 2030. Xi revendique une « cybersouveraineté » pour améliorer la censure et exercer un contrôle total sur l’Internet dans les foyers. En mai, il a déclaré lors d’une réunion de l’académie chinoise des sciences que la technologie était la clé pour atteindre « l’objectif ultime d’édification d’une nation socialiste et modernisée ».

En janvier, lorsqu’il s’est adressé à la nation via la télévision, on pouvait voir dans les étagères de sa bibliothèque des classiques comme ceux de Das Kapital et de nouveaux ajouts, notamment deux ouvrages sur l’intelligence artificielle : The Master Algorithm de Pedro Domingos et Augmented: Life in the Smart Lane de Brett King.

La Chine, prochaine superpuissance de l’intelligence artificielle?

« Aucun gouvernement n’a un plan plus ambitieux et de plus grande envergure que le gouvernement chinois pour exploiter le pouvoir des données afin de changer la façon dont il gouverne », affirme Martin Chorzempa de la Peterson Institute for International Economics de Washington, DC. Même certains observateurs étrangers, observant de loin, pourraient bien se demander si une telle gouvernance axée sur les données n’offre pas une solution viable au modèle électoral, qui semble de plus en plus dysfonctionnel. Mais se fier indûment à la sagesse de la technologie et des données comporte des risques.

Des données plutôt qu’un dialogue

Les leaders chinois ont depuis longtemps voulu exploiter l’opinion publique sans ouvrir la porte des débats houleux et à des critiques à l’égard des autorités. Pendant la plus grande partie de l’histoire de la Chine impériale et moderne, des citoyens mécontents provenant du milieu rural ont fait le voyage jusqu’à Pékin et ont organisé des manifestations en tant que « requérants » publics. Ils croyaient que si les autorités locales ne comprenaient pas ou ignoraient leurs griefs, l’empereur pourrait faire preuve d’un meilleur jugement.

Sous l’autorité de Hu Jintao, certains membres du Parti communiste ont vu cette ouverture limitée comme une façon d’exposer et de résoudre certains types de problèmes. Blogueurs, journalistes anti-corruption, avocats des droits de la personne et critiques en ligne mettant en lumière la corruption locale ont suscité un débat public vers la fin du règne de Hu. Selon un ancien officier américain au courant de l’affaire, Xi a, au début de son mandat, été informé quotidiennement des préoccupations du public et des perturbations des médias sociaux. Au cours des dernières années, des requérants se sont amenés dans la capitale pour attirer l’attention sur des scandales comme la saisie illégale de propriétés par les autorités locales et le lait en poudre contaminé.

Mais la police empêche de plus en plus les requérants d’atteindre Pékin. « Il faut maintenant présenter des pièces d’identité nationale pour acheter des billets de trains, ce qui permet aux autorités d’identifier plus facilement les « trouble-fêtes » potentiels comme ceux qui ont protesté contre le gouvernement dans le passé », explique Maya Wang, chercheuse principale de la Chine chez Human Rights Watch.

« Plusieurs requérants nous ont affirmé avoir été arrêtés dans des gares. » Des blogueurs, activistes et avocats sont aussi systématiquement réduits au silence ou emprisonnés, comme si les données pouvaient donner au gouvernement les mêmes renseignements sans les problèmes épineux de la liberté.

L’idée d’utiliser la technologie en réseau en tant qu’outil de gouvernance en Chine remonte au moins au milieu des années 80. Comme l’explique l’historien Julian Gewirtz de la Harvard University, « Quand le gouvernement chinois a vu que les technologies de l’information devenaient partie prenante du quotidien, il a compris qu’il aurait un nouvel outil puissant pour à la fois recueillir de l’information et contrôler la culture et pour rendre le peuple chinois plus « moderne » et plus « gouvernable » — éternelle obsession du leadership. » Par la suite, les avancées technologiques dans le domaine de l’intelligence artificielle et l’amélioration des processeurs ont rapproché cette vision de la réalité.

Pour autant que nous le sachions, il n’existe pas de schéma directeur unique liant technologie et gouvernance en Chine. Mais il existe plusieurs initiatives qui partagent une stratégie commune de collecte de données sur les personnes et les entreprises pour éclairer la prise de décision et créer des systèmes d’incitations et de sanctions pour influencer les comportements.

Ces initiatives comprennent le « système de crédit social » de 2014 du Conseil d’État, la loi de 2016 sur la cybersécurité, diverses expériences sur le plan local et corporatif en matière de « crédit social », des plans de « villes intelligentes » et des politiques axées sur la technologie dans la région occidentale du Xinjiang. Il s’agit généralement de partenariats entre le gouvernement et les sociétés technologiques de Chine.

L’initiative la plus ambitieuse est le système de crédit social, bien qu’une meilleure traduction en français soit un système de « confiance » ou de « réputation ». Le plan du gouvernement, qui couvre population et entreprises, énumère parmi ses objectifs la « construction d’une transparence dans les affaires gouvernementales, une sincérité commerciale et une crédibilité judiciaire. » (Tout le monde en Chine a une tante qui s’est fait escroquer. Il existe un réel besoin de s’attaquer à l’effondrement de la confiance du public », affirme Paul Triolo, responsable de la géotechnologie chez Eurasia Group.) À ce jour, il s’agit d’un travail en cours, bien que plusieurs projets-pilotes donnent un aperçu de son fonctionnement en 2020, date où l’initiative devrait être entièrement implantée.

Les listes noires représentent le premier outil du système. Au cours des cinq dernières années, le système judiciaire chinois a publié le nom des personnes qui n’avaient pas payé leurs amendes ou ne s’étaient pas conformées à un jugement. Aux termes de nouveaux règlements sur le crédit social, cette liste a été communiquée à diverses entreprises et agences gouvernementales. Les personnes figurant sur la liste se sont vues refuser des emprunts, la réservation de vols aériens et de séjours dans des hôtels luxueux.

Les sociétés de transport national de la Chine ont créé d’autres listes noires pour punir certains usagers qui, entre autres, bloquent des portes ou se bagarrent durant un trajet. Les contrevenants ne peuvent plus acheter de billets pendant une période de six à douze mois. Plus tôt cette année, Pékin a lancé une série de listes noires pour empêcher les entreprises « malhonnêtes » de se voir attribuer de futurs contrats du gouvernement ou des concessions de terres.

Quelques gouvernements locaux ont testé le « pointage » du crédit social, bien qu’il ne soit pas certain que ce système fera partie du plan national. La ville de Rongcheng, dans le nord du pays, par exemple, attribue un pointage à chacun de ses 740 000 habitants, selon Foreign Policy. Tout le monde commence avec 1 000 points. Si vous faites un don à un organisme de charité ou vous recevez un prix du gouvernement, vous gagnez des points, si vous enfreignez le code de la route, par exemple en conduisant en état d’ébriété ou en accélérant à un passage piétonnier, vous perdez des points.

Les citoyens avec un bon pointage peuvent obtenir des rabais sur des fournitures de chauffage ou obtenir de meilleures modalités hypothécaires. Ceux ayant un mauvais pointage peuvent perdre leur accès à des prêts bancaires ou à une promotion s’ils ont un emploi auprès du gouvernement. La mairie met des affiches de modèles à suivre, qui ont fait preuve de « vertu » et gagné le plus de points.

« L’idée du crédit social est de surveiller et de gérer le comportement des gens et des institutions », explique Samantha Hoffman de la Mercator Institute for China Studies à Berlin. « Dès qu’une violation est inscrite dans une partie du système, elle peut déclencher une réaction dans d’autres parties du système. Il s’agit d’un concept conçu pour favoriser le développement économique et la gestion sociale, c’est fondamentalement politique. »

Certains systèmes similaires à l’avant-projet de la Chine existent déjà aux États-Unis : une mauvaise cote de crédit peut vous empêcher d’obtenir une hypothèque et une condamnation pour délit grave suspend ou annule votre droit de vote. « Mais ces systèmes ne sont pas tous reliés de la même façon. Il n’y a pas de plan global », souligne Hoffman.

La police chinoise ajoute des lunettes de reconnaissance faciale à leur arsenal de surveillance

L’une des plus grandes inquiétudes entoure le fait que la Chine n’a pas de système judiciaire indépendant, les citoyens n’ont aucun recours pour contester des allégations fausses ou inexactes. Certaines personnes ont vu leur nom ajouté à la liste noire des transports sans préavis après la décision d’un tribunal. Des requérants et des journalistes d’investigation sont surveillés en fonction d’un autre système, et les personnes qui participent à des programmes de désintoxication sont surveillées par un autre système de surveillance.

« En théorie, les bases de données sur les toxicomanes sont censées effacer le nom de ces personnes après cinq ou sept ans, pour la plupart des cas, ce n’est pas fait », affirme Wang de Human Rights Watch. « C’est extrêmement difficile de faire retirer votre nom de ces listes. »

D’occasionnels éclats de rage en ligne traduisent le ressentiment du public. La nouvelle qu’un étudiant s’était vu refuser son admission par un collège parce que le nom de son père figurait sur une liste noire de crédit a récemment enflammé le Net. La décision du collège n’a pas été officiellement sanctionnée ni ordonnée par le gouvernement. Plutôt, dans leur effort pour appuyer ces nouvelles politiques, les administrateurs de l’école les ont simplement interprétés de la façon qu’ils estimaient logique.

L’opacité du système rend difficile l’évaluation de l’efficacité des tests comme ceux de Rongcheng. Depuis 2012, le parti a écrasé presque toutes les voix critiques, et les risques de contester le système, même de façon relativement modeste, se sont accrus. Les informations disponibles sont profondément erronées; la falsification systématique de toutes les données, de la croissance du PIB à l’utilisation de l’hydroélectricité, est omniprésente dans les statistiques du gouvernement chinois. Borge Bakken, chercheur à la Australian National University, estime que les chiffres officiels de la criminalité, que le gouvernement a clairement intérêt à minimiser, peuvent ne représenter que 2,5 % de tous les comportements criminels.

En théorie, la gouvernance axée sur les données pourrait aider à résoudre ces problèmes – en contournant les distorsions pour permettre au gouvernement central de recueillir directement les renseignements. C’est l’idée derrière, par exemple, l’introduction des dispositifs de surveillance de la qualité de l’air qui envoient des données aux autorités centrales plutôt que de se fier aux fonctionnaires locaux qui pourraient être de mèche avec les industries polluantes. Mais plusieurs aspects d’une bonne gouvernance sont trop complexes pour permettre ce genre de suivi direct et se fient plutôt aux données saisies par ces mêmes fonctionnaires locaux.

Cependant, le gouvernement chinois publie rarement les données sur le rendement que des étrangers pourraient utiliser pour évaluer ces systèmes. Prenons par exemple les caméras qui sont utilisées pour identifier et humilier des piétons dans certaines villes en projetant l’image de leur visage sur des panneaux d’affichage public, de même que pour suivre les habitudes de prière des musulmans en Chine occidentale. Leur précision soulève des questions : plus particulièrement, comment un logiciel de reconnaissance faciale programmé à reconnaître des visages chinois Han peut-il reconnaître avec justesse le visage d’une personne d’une minorité ethnique de l’Eurasie ?

En outre, même si les données collectées sont exactes, comment le gouvernement utilisera-t-il cette information pour orienter ou empêcher un certain comportement futur ? Les algorithmes de la police qui prédisent qui deviendra possiblement un criminel ne sont pas soumis à l’examen du public, pas plus que les statistiques qui démontreraient si un certain type de crime ou le terrorisme est en hausse ou en baisse. (Par exemple, dans la région occidentale du Xinjiang, les renseignements disponibles démontrent que le nombre de personnes placées en garde à vue par la police a considérablement augmenté, soit de 731 % entre 2016 et 2017.)

In the city of Xiangyang, cameras linked to face-recognition technology project photos of jaywalkers, with names and ID numbers, on a billboard.
Credit: TechnologyReview

« Ce n’est pas la technologie qui a créé les politiques, mais elle accroît grandement la quantité de données que le gouvernement chinois peut recueillir sur ses citoyens », déclare Richard McGregor, agrégé supérieur à Lowy Institute et auteur de l’ouvrage The Party: The Secret World of China’s Communist Rulers. « L’Internet en Chine agit comme une agence de renseignement numérique privée en temps réel. »

Politiques algorithmiques

Dans un article paru dans le Washington Post plus tôt cette année, Xiao Qiang, professeur de communications à la University of California, à Berkeley, a qualifié la gouvernance améliorée par les données de la Chine d’« État totalitaire numérique ». Les aspects dystopiques sont plus évidents dans l’ouest de la Chine.

Xinjiang (le « nouveau territoire ») est le foyer traditionnel d’une minorité musulmane connue sous le nom d’Ouïgours. Comme de nombreux migrants chinois Han s’y sont installés, certains disent « colonisés », les possibilités de travail et les occasions religieuses offertes à la population locale ouïghoure ont diminué, ce qui a entraîné une recrudescence de la violence dans laquelle Han et les Ouïghours ont été pris pour cible, y compris l’émeute de 2009 dans la capitale de Urumqi, où 200 personnes ont trouvé la mort.

La réaction du gouvernement à l’intensification des tensions n’a pas été de tenir des forums de discussion pour solliciter l’avis du public ou des conseils stratégiques, l’État choisit plutôt d’avoir recours à la collecte de données et les algorithmes pour déterminer qui est «susceptible» de commettre dans le futur des actes de violence ou de défiance.

Le gouvernement du Xinjiang a fait appel à une société privée pour concevoir des algorithmes prédictifs qui évaluent divers réseaux de données. Il n’existe aucun registre public ni aucune imputabilité à l’égard de la façon dont ces calculs sont déterminés ou pondérés. « Les personnes dont la vie est régie par ce système ne savent généralement pas quelles en sont les règles », affirme Rian Thum, anthropologue à la Loyola University qui étudie le Xinjiang et qui a vu les avis d’appel d’offres du gouvernement qui ont été émis dans le cadre de la conception du système.

Des projets Chinois à la Minority Report utiliseront l’IA pour prédire des crimes

Dans la ville de Kashgar, à l’ouest du pays, bon nombre de maisons et de boutiques sises sur les rues principales sont désormais murées et les parcs publics sont vides. Lors de ma visite en 2013, il était évident que Kashgar était déjà une ville marquée par la ségrégation — les populations han et ouïgoure vivaient et travaillaient chacun dans des quartiers distincts de la ville.

Mais le soir, c’était aussi un endroit vivant et parfois bruyant, où l’appel à la prière se mêlait à la musique des bars locaux et aux conversations des vieillards assis dans des chaises en plastique sur les terrasses. Aujourd’hui, la ville est étrangement silencieuse; la vie de quartier n’existe quasiment plus. Emily Feng, journaliste pour le Financial Times, a visité Kashgar en juin et a affiché des photos sur Twitter de ces rues nouvellement fantômes.

La raison est que, selon certaines estimations, plus d’un adulte ouïghour et kazakh sur dix dans le Xinjiang a été envoyé dans des « camps de rééducation » aux anneaux barbelés – et ceux qui restent en liberté ont peur.

Dans les deux dernières années, des milliers de points de contrôle ont été mis en place où les passants doivent présenter leur visage et leur carte d’identité nationale pour emprunter l’autoroute, entrer dans une mosquée ou encore visiter un centre commercial. Les Ouïghours sont tenus d’installer des applications de surveillance conçues par le gouvernement sur leur téléphone intelligent, lesquelles surveillent leurs contacts en ligne et les pages Web qu’ils visitent.

Les policiers se rendent régulièrement dans les maisons pour collecter d’autres données notamment sur le nombre de personnes qui vivent dans le ménage, leurs relations avec leurs voisins, le nombre de fois où les gens prient quotidiennement, s’ils ont voyagé à l’étranger et quels livres ils possèdent.

Tous ces flux de données alimentent le système de sécurité publique du Xinjiang, de même que d’autres registres comprenant des renseignements sur tout, de l’historique bancaire à la planification familiale. « Le programme informatique regroupe toutes les données provenant de ces différentes sources et signale celles qui pourraient devenir une « menace » pour les autorités », explique Wang.

Bien que l’algorithme précis soit inconnu, on pense qu’il peut signaler des comportements tels que visiter une mosquée particulière, posséder beaucoup de livres, acheter une grande quantité d’essence ou recevoir des appels ou courriels provenant de l’étranger. Les personnes qui sont signalées reçoivent la visite de la police, qui peut les placer en garde à vue et les mettre en prison ou encore dans des camps de rééducation sans aucune accusation formelle.

Adrian Zenz, politologue à la European School of Culture and Theology à Korntal, en Allemagne, estime que le taux d’internement des minorités dans le Xinjiang pourrait atteindre 11,5 % de la population adulte. Ces camps sont conçus pour instiller le patriotisme et faire renier les croyances religieuses des internés. (De nouveaux avis d’appel d’offres pour des gardiens de sécurité dans les crématoires semblent indiquer que le gouvernement essaye d’éradiquer les pratiques d’inhumation musulmanes traditionnelles dans la région.)

Alors que le Xinjiang représente un extrême draconien, ailleurs en Chine, les citoyens commencent à repousser certains types de surveillance. Une société Internet qui diffusait en continu des images de télévision en circuit fermé en ligne a mis fin à ces émissions à la suite d’un tollé général. La ville de Shanghai a récemment publié des règlements pour permettre aux gens de contester les renseignements inexacts utilisés pour compiler les dossiers de crédit social.

« Les demandes de protection de la vie privée de la part des internautes chinois sont de plus en plus nombreuses », affirme Samm Sacks, chercheur principal au Programme de la politique technologique du SCRS à New York. « Ce n’est pas tout à fait la liberté d’expression qu’elle est censée être. »

MIT Technology Review

Human-made-decision versus machine-made-decision

Souvent, dans des situations complexes mettant en jeu des conflits de valeur, des conflits d’intérêts ou des incertitudes sur son véritable désir, on ressent une angoisse de ne pas savoir prendre « la meilleure décision » et on fait tout pour s’en remettre à l’avis d’un tiers. Parfois, on est tenté de consulter une série de personnes ou de pages web et de tirer de cette consultation une position qui refléterait soit l’opinion majoritaire, soit l’opinion moyenne, soit une opinion experte. Cette démarche peut égarer davantage, si la consultation amène de nouveaux paramètres qui s’ajoutent aux éléments déjà existants. Mais elle peut être un soulagement si l’on décide de s’en remettre à une autorité avisée, qu’elle soit représentée par une personne ou par la fiction d’une décision « bien pesée », laquelle peut être figurée par une liste comparée des arguments positifs et des arguments négatifs, avec, pourquoi pas, des coefficients d’importance. La décision finit donc par s’apparenter à un problème mathématique qu’il faut résoudre correctement. L’observation psychologique élémentaire montre pourtant que les sujets ne sont jamais satisfaits avec la perte d’une option. Le choix manifeste se présente comme un choix équivalent entre A et B, mais le choix fondamental inclut aussi la souffrance durable de « non-A » ou « non-B ». Il n’existe donc pas dans l’absolu « la meilleure décision » et l’éthique consiste à laisser cette question ouverte malgré le malaise apparemment insupportable qu’elle provoque.

Le fantôme de la perte hante les mortels que nous sommes. Le cas de conscience ou encore le dilemme cornélien suppose que toute décision entraînera une perte pour le sujet ou une entorse morale. Kant a d’avance évité tout dilemme de ce genre en disant que le devoir inconditionné de dire la vérité impliquait nécessairement de pouvoir le cas échéant dénoncer son ami, même s’il devait en résulter des conséquences fâcheuses1. C’est que Kant mettait le devoir de dire la vérité au rang de devoir suprême, au principe même de l’établissement d’un pouvoir politique. Ce devoir ne souffrait donc pas d’exception. L’architecture du système kantien en dépendait. On voit tout de suite ce qui pourrait s’ensuivre si on prenait Kant à la lettre au moyen d’une intelligence artificielle capable de détecter le mensonge, telle le système DARE2. Notre seule chance d’échapper à la potentialité terrifiante d’un pouvoir politique capable de détecter le mensonge dans toutes les situations cruciales est de retourner Kant contre Kant en lui opposant l’autonomie de la raison humaine, qui reste au principe de la philosophie kantienne.

Freud, lui, ramenait les rationalisations à un fond de « préférences pulsionnelles3 » issues de la vie sexuelle infantile refoulée, ce qui achève de jeter le trouble dans la discussion morale. Car que pouvons-nous dire d’une préférence inconsciente ? Et que pouvons-nous en faire ? Précisons au passage – afin de prévenir un cliché répandu – que Freud ne fait pas par là l’apologie de l’irrationnel, d’une part parce que la préférence inconsciente répond tout à fait à un type de rationalité, et d’autre part parce que la vie pulsionnelle ne dédouane pas la raison de s’exercer, fût-ce à titre secondaire. Le désir inconscient ne consiste pas en motifs psychologiques, mais en une autre rationalité, laquelle adresse au sujet un défi logique qui s’exprime dans toutes les productions de la pensée (même les mathématiques). Il y a quelque chose en nous qui nous envoie une question que nous prenons au sérieux lorsque nous exerçons notre faculté de raison pour tenter de résoudre les problèmes logiques qui se posent à nous du fait de notre vie pulsionnelle.

Le dilemme du tramway est l’une de ces célèbres apories remises au goût du jour par le problème de la programmation des voitures autonomes. L’auteure de l’article fondateur confronte le lecteur avec diverses situations de dilemme (et non pas une seule) qui déclinent différentes modalités de l’intention et de l’exposition aux effets collatéraux ou encore aux « doubles effets », à partir du dilemme de l’avortement au sein de l’Eglise catholique4. Philippa Foot discute des exemples casuistiques destinés à fournir un critère moral distinctif dans des situations vitales où une vie humaine doit être sacrifiée au bénéfice d’une ou plusieurs autres. La discussion est, on le sent, menacée de relativisme. L’auteure parvient seulement à la conclusion que le critère pertinent ne saurait être uniquement la taille du mal infligé pour un moindre mal (critère quantitatif), mais aussi la nature de l’action entreprise pour l’éviter. Par exemple, le cas du véhicule choisissant de tuer une personne plutôt que cinq n’est pas équivalent à la décision de livrer une personne à un preneur d’otage pour en délivrer cinq. Pour résumer son argumentation, l’article ne semble avoir aucun doute sur la nécessité de sauver le maximum de vies quand nous sommes confrontés à deux devoirs négatifs (soit tuer une personne, soit en tuer cinq) ; le doute moral porte en revanche sur l’action positive de sacrifier une vie pour en sauver une ou plusieurs autres à partir de la distinction opérée entre devoir négatif (ne pas infliger de tort) et devoir positif (apporter de l’aide). L’argumentation de l’auteure la conduit à justifier sans hésiter l’histoire des marins qui survivaient à la faim en consommant l’un d’entre eux. Disons-le, l’argumentation est quelque peu abstruse, tout comme celle d’autres articles qui ont suivi cette tradition5. L’embarras des auteurs est patent. Il semble qu’ils soient occupés à fonder à grand peine une morale déontologique à partir de prémisses conséquentialistes posées par le setting initial. Ce qui ne réussit pas complètement, parce que l’opération risque à tout moment de fournir des résultats contre-intuitifs. Le devoir brut de sauver cinq vies plutôt qu’une ne semble poser de problème à personne, tant que la question reste posée au niveau abstrait ; les scrupules s’élèvent quand on commence à envisager les différents déterminants impliqués dans une situation concrète, où il s’agit d’autre chose que de maximiser le sauvetage de viande humaine. Sinon, nous pourrions en effet attraper le premier passant en bonne santé pour fournir ses organes à plusieurs malades nécessitant une transplantation d’urgence, et argumenter du fait que nous avons de la sorte sauvé plusieurs vies au prix d’une seule : un moindre mal.

Ces discussions sont exacerbées par le développement des voitures autonomes au point que le Massachussetts Institute of Technologie a engagé une vaste consultation publique sur ce sujet à l’aide d’expériences mentales proposées sur un site dévolu à cette question. Moral Machine suggère de déterminer la morale des machines grâce à l’évaluation de la morale humaine à partir d’un constat tourné en fait accompli : « L’intelligence machinique soutient ou supplante entièrement toujours plus d’activités humaines complexes à un rythme croissant6. » Le fait que les machines soient intelligentes et prennent des décisions morales n’est pas soumis à la discussion : il s’agit de discuter sur quels principes moraux nous nous accorderons pour programmer ces machines. Et ceci, paraît-il, en puisant dans la morale ordinaire.

Avec la voiture autonome, il s’agit, dit-on, de doter la machine d’une capacité de décision morale qui ne sera pas une capacité aléatoire et faillible comme la moralité humaine. Ce sera la morale ordinaire, mais en mieux. Le public et le constructeur ne souffriront en effet aucun écart dès lors qu’aura été trouvé un consensus sur les principes qui gouvernent l’action de la machine. Personne ne voudrait, n’est-ce-pas, d’un véhicule « qui n’en fait qu’à sa tête ». Le machine learning est toutefois supposé doter la machine de facultés d’apprentissage qui pourraient conduire à ce que dans deux situations identiques, la machine agisse autrement la deuxième fois que la première, ayant appris de la première fois ou d’une autre source de données. Elle n’aura pas pour autant dérogé à l’axiome initial de son paramétrage. Alors que l’humain, lui, pourrait être les deux fois sous l’emprise de deux états différents, imprédictibles et sans corrélation l’un avec l’autre, c’est-à-dire faire valoir un axiome moral différent.

Les problèmes éthiques posés par le véhicule autonome, tout comme d’autres domaines de décisions algorithmiques, supposent implicitement : 1) que la « meilleure décision rationnelle » existe ; 2) qu’elle peut être connue ; 3) que si elle est connue, elle doit être garantie par le programme ; 4) qu’elle doit être implémentée à grande échelle, voire rendue obligatoire, puisqu’elle est la meilleure. Cette prémisse théologique (qui suppose l’existence d’un souverain bien) ressurgit donc au beau milieu de problèmes qui paraissaient de prime abord d’une grande platitude matérialiste : confort, sécurité, mobilité accrue, etc.

La comparaison avec les risques inhérents à toute technologie, dont certaines déjà anciennes (comme le train ou l’acenseur7) élude la généralisation d’un autre paradigme : le véhicule autonome érige la survie physique en valeur suprême. Tout ce qui optimise la quantité de corps survivants est bien, le contraire est mal. Mais on est aussi forcé par là de dire lesquels. Le rapport rendu en Allemagne par la Commission d’éthique sur la conduite automatisée exclut que les véhicules choisissent certaines victimes plutôt que d’autres selon des critères discriminatoires, mais il affirme que « la conduite automatisée et connectée est un impératif éthique si les systèmes causent moins d’accidents que les conducteurs humains. » Ce n’est rien d’autre que l’argument de Tesla. Cela pourrait justifier de les rendre un jour obligatoires. Le rapport affirme sans ambages : « Sur notre échelle de valeurs, la protection de la vie humaine est un summum bonum8.» Il s’agit d’un setting utilitariste fort : il faut maximiser le nombre de vies humaines sauvées, ce que font déjà les politiques de santé publique. Une assertion paradoxale dans un monde menacé de toutes part par des crises notoires, multiples et destructrices, précisément d’origines anthropiques…

Mettre l’accent sur le processus de décision (machinique ou humain) ferait presque oublier que c’est en général une situation soit monstrueuse soit improbable qui accule un sujet à une telle décision. La consultation publique du MIT repose sur des situations fictives. La quintessence de cette spéculation morale est atteinte par le roman le Choix de Sophie, ce qui en explique peut-être le succès. Mais dans les situations ordinaires, les sujets n’ont pas à effectuer des choix aussi radicaux et si, par accident, cette situation se présente, on pardonne n’importe quelle décision. Une situation assez folle peut justifier toutes les réponses inacceptables en temps normal. Il fallait toute la perversion du système nazi pour que des gens se retrouvent dans la situation d’avoir à choisir de sauver un parent plutôt qu’un autre. Lors d’une rafle où les détenteurs d’un coupon jaune (chefs de famille) et les détenteurs d’un coupon bleu (membres de leur famille) devaient se présenter en rang ordonné à la porte du ghetto de Vilnius9, des chefs de famille étaient placés devant des « alternatives atroces », dit le récit, où ils devaient choisir quels membres de leurs familles inscrire à leurs côtés, par exemple leur mère ou leur femme. L’un racontait : « Je l’avoue : j’aime plus ma mère que ma femme, mais ma femme est la mère de mes enfants et maman est vieille déjà, elle a vécu. » Un autre disait : « J’ai fait enregistrer ma mère comme étant ma femme et ma femme, je l’ai laissée dans un abri. L’homme n’a qu’une seule mère, mais il peut avoir une seconde femme. Si maman disparaît, je n’en aurai plus d’autre, mais si je deviens veuf, je pourrai me remarier. J’ai peut-être mal agi, mais j’ai fait selon mon cœur. J’aime plus ma mère que ma femme. » Un troisième enfin : « Avant de me séparer de ma mère, je suis allé vers elle et je lui ai dit : “Maman, je ne peux pas te prendre avec moi, il faut que je prenne ma femme”10. » Ce qui frappe à la lecture de ces témoignages est que d’une part, les gens acculés se montraient étonnamment capables de telles décisions, mais que, d’autre part, ils les prenaient parce qu’un système de terreur les y forçait. La décision prise ne les laisserait plus jamais en paix. La voiture autonome, elle, continuera à rouler tranquillement.

Du statut exceptionnel d’un tel choix dans la vie ordinaire, on passe à un paradigme de programmation, dans un contexte d’implémentation exponentielle de « l’intelligence machinique ». Or, qu’il soit déontologique ou conséquentialiste, un axiome qui prétend incarner un summum bonum à l’échelle universelle permise par les technologies de la communication contient en tant que tel un potentiel effroyable. L’erreur anthropomorphique (répandue) consiste à croire qu’une intelligence artificielle pourrait devenir hostile, c’est-à-dire animée de mauvais sentiments, alors qu’il s’agit, comme le dit Nick Bostrom, du problème des valeurs à implémenter. C’est l’un des problèmes les plus redoutables de l’intelligence artificielle. Une intelligence artificielle encodée selon une ou plusieurs valeurs ne prendra en effet que des décisions conséquentes.Où est le problème direz-vous ? Si l’interdit de l’inceste est aussi universel que l’a dit Lévi-Strauss, alors il n’y a aucun problème à en faire, par exemple, un principe universel éventuellement encodé dans une intelligence artificielle. Sauf que les êtres humains ont de tout temps continué d’avoir affaire à leurs ambivalences et leurs passions, ce qui a finalement créé une immense différenciation des cultures : tout sauf l’application mécanique d’une valeur cardinale. Nous lui devons l’histoire de la culture.

En vérité, cette discussion éthique nous amène aux confins de l’éthique, là où l’éthique est incompatible avec l’universalisation d’un seul axiome (n’en déplaise à une lecture étroite de Kant, qui confondrait universalisation et généralisation), et là où elle implique nécessairement des valeurs plurielles et un jugement singulier souffrant des exceptions. Ceci est radicalement incompatible avec le fait qu’une machine ait la moindre décision à prendre. Le principe cherchant à vendre la voiture autonome par l’argument du moindre risque d’accidents statistiques est un compromis passé avec la mort de l’éthique.

On a beaucoup glosé sur les cas où la voiture autonome devrait tuer une personne pour en épargner cinq, et discuté entre autres de savoir si la vie du passager avait la priorité sur la vie d’un passant. Que se passerait-il si d’aventure la voiture autonome devait froidement choisir entre ma mère et ma femme ou bien entre mon fils et ma fille, ou bien entre une personne jeune et une personne âgée, ou bien entre un homme et une femme, et ainsi de suite ? Le rapport de la Commission éthique allemand exclut formellement un tel choix. Mais les éthiciens en appellent pourtant à des machines « empathiques ». Le vieil adage « les femmes et les enfants d’abord ! » est-il obsolète dans une société égalitariste ou bien est-il exigible d’une machine dotée « d’empathie » ? Nous exigeons de la machine qu’elle soit d’une équité irréprochable mais aussi qu’elle soit en « empathie » avec les émotions humaines, un peu comme la quadrature du cercle… C’est bien sûr encore une fois oublier que la soi-disant empathie de la machine sera encodée, simple reflet anthropomorphique de nos propres contradictions.

En l’absence de réponse consensuelle à de telles questions, il ne faut pas exclure la possibilité qu’un programme soit doté d’une capacité de décision aléatoire dans les cas éthiquement indécidables (la voiture pourrait devoir tirer au sort entre ma mère et ma femme, ou entre un adulte et un enfant). Il est probable qu’en situation analogue un humain effectuerait un choix subjectif inhérent à la singularité de la situation, même s’il est vécu comme un choix tragique, comme dans les témoignages évoqués ci-dessus. Les sondages montrent par exemple que la majorité des gens privilégient la vie d’un enfant sur celle d’un adulte ou celle du conducteur sur celle du passant. Mais de ce que ce choix puisse être effectué dans des situations exceptionnelles ou spéculé en réponse à un sondage, s’ensuit-il qu’il doive devenir une norme ? Les constructeurs, quant à eux, craignent surtout qu’un véhicule autonome qui ne ferait aucune préférence entre le conducteur et les passants ne serait acheté par personne, or il y a une volonté économique et politique de généraliser ce système, sans interroger l’amoralisme intrinsèque qui consiste à remplacer la responsabilité humaine par un algorithme. Tout se passe comme si la décision de généraliser les voitures autonomes était déjà prise (même si cette décision revenait à vendre notre âme), et qu’il ne s’agissait désormais que de vendre le meilleur argument éthique au public un peu inquiet. On va donc vous expliquer pourquoi la machine est plus morale que vous-mêmes.

Mais si le véhicule autonome semble actualiser le dilemme du tramway, ce n’est qu’une apparence. Il ne s’agit plus de délibérer sur un improbable conflit subjectif (à savoir si vous préférez sauver votre mère ou votre femme, une personne ou cinq, un enfant ou un adulte, aussi sordide soit la question), mais d’octroyer au type d’axiome moral retenu une extension telle (due à son échelle d’application) qu’elle façonnera de manière rétroactive la normativité, elle-même enfermée dans une boucle d’auto-confirmation. L’apparition et la systématisation du véhicule autonome introduit la légitimation d’une hiérarchie du pire au nom de la survie. Ce qui n’est pas l’esprit de l’article de Philippa Foot, qui essayait, certes péniblement, d’y échapper. Là où l’humain fait par la force des événements un choix tragique, circonstancié et toujours unique, la machine fera un choix technique dont le caractère axiomatique aura été en fait déterminé par avance et appliqué aveuglément à l’ensemble des situations identiques. Ce nouveau paradigme sera littéralement lancé sur les routes. Même le machine learning n’apprend qu’à raffiner sa réponse au fil des nouvelles données, réponse qui peut nous surprendre ou nous échapper, mais qui reste subordonnée à l’axiome moral encodé au moment de la conception. (Il ne fait pas de doute que certains rêvent de créer la machine qui saura créer son propre code moral supérieur à celui de notre humaine condition : elle saurait récolter dans les big data toutes les figures de la morale, puis les hiérarchiser et les purifier de toute l’amoralité du monde, selon un critère lui-même soumis à l’arbitraire ultime des visions du monde qui finalement ne fait que repousser le problème ad infinitum. Mais nous n’en sommes pas là.)

C’est pourquoi la machine ne sera jamais éthique et parler de dilemme moral est en l’occurrence fallacieux. Il s’agit exclusivement d’un dilemme fictif qui se passe dans la tête des constructeurs et qui n’a aucun rapport à l’événement ultérieur. Contrairement aux situations décrites par Philippa Foot, le véhicule autonome n’a aucune intention ni consciente ni inconsciente, même pas celle de minimiser le nombre de morts. Il n’est pas sous l’emprise d’un dilemme et il n’est pas mis à l’épreuve. Même si son programme disposait d’un nombre colossal de paramètres contextuels qui lui donneraient l’avantage sur le manichéisme moyen d’un être humain, son action ne représente pas une décision, mais l’exécution d’un ensemble de règles prises en amont. Et même s’il agissait en sorte que l’humain ne soit pas capable de comprendre le résultat (comme c’est déjà le cas dans de nombreux processus algorithmiques, bien qu’on travaille à les rendre lisibles), cela ne serait pas dû à l’esprit subtil de la machine, mais à la complexité du calcul. Par contre, la machine transporte et répand un axiome moral. Faire passer l’action de la machine pour une décision éthique consécutive à un supposé dilemme est en soi un coup de force politique qui occulte la position normative à l’œuvre dans le paramétrage et l’élimination subséquente de toute éthique. C’est là un véritable clivage, qui est soutenu par la résolution du Parlement européen du 16 février 201711 lorsqu’il suggère à la Commission européenne de créer une nouvelle catégorie de personnalité juridique pour résoudre les problèmes de responsabilité ouverts par cette situation et d’autres analogues.

Quant au rapport de la Commission éthique allemand, il prend précisément argument du décalage entre l’intention et l’acte (la personne sacrifiée n’est pas connue au moment de la programmation, aucune personne identifiable n’est donc instrumentalisée) conjugué à une minimisation statistique des accidents de la route, pour le retourner en argument éthique : s’il est inacceptable, conformément à loi allemande, de sacrifier une personne pour le sauvetage d’une autre, en revanche « pour autant que la programmation initiale minimise le risque de tous de la même manière, elle était également dans l’intérêt de ceux qui ont été sacrifiés avant d’avoir été identifiés comme tels dans une situation spécifique12. » (Ce raisonnement est ici comparé au cas de la vaccination.) Le rapport est formel quant à l’immoralité de devoir mettre en jeu la vie d’une personne pour le sauvetage d’une autre, mais il se contorsionne autour de l’inachèvement d’un consensus quant à savoir si le véhicule pourrait être programmée à sacrifier une personne pour en sauver plusieurs.

Si l’une des critiques adressée à l’époque au dilemme du tramway est de n’être qu’une expérience de pensée, c’est bien parce qu’il n’a jamais été question d’en tirer une ligne de conduite ou un protocole d’action valable en tous les cas. En effet, un simple humain peut être éduqué, entraîné ou commandé à réagir ainsi ou ainsi, personne ne sait cependant comment il agira en situation, car personne ne sait quelle idée, quel réflexe, quel affect surgiront d’un contexte forcément unique. C’est en ceci qu’il est un sujet moral, même quand il agit de manière ignoble. La voiture autonome ne répond de rien, elle exécute ce que son programmeur aura codé par avance, une instance qui se donne à peu près les attributs du Dieu-des-accidents-de-voitures. Si le véhicule autonome se mettait à provoquer certains accidents, rares, qu’un humain n’aurait pas provoqué (tel l’accident provoqué par un véhicule Uber du 18 mars 2018 où les capteurs du véhicule, réglés d’une manière trop lâche, avaient été trompés par un « faux positif » et n’avaient pas su distinguer entre un être humain et une chose quelconque), faudrait-il continuer de faire valoir l’argument selon lequel le nombre d’accident total est inférieur à ceux provoqués par des humains ?

Le paradigme introduit par là est qu’il est possible de décider non par hasard, par réflexe, par passion ou par délibération ad hoc mais par principe que la survie d’une personne vaut mieux que la survie d’une autre, par exemple le conducteur plutôt que le passant, ou que la survie de cinq personnes valent mieux qu’une, là où des humains pourraient assurément privilégier la survie d’un roi, d’un prêtre ou même d’un animal sacré, aussi discutables que paraissent ces options morales. La pluralité des visions du monde – qui constitue le domaine propre de l’éthique – est rendue impossible. L’imprévisibilité qui met à l’épreuve la morale humaine également, de même que la réflexion, la culpabilité, la justification, l’honneur, le doute et enfin l’amour ou la préférence. Une situation humaine ne fait même pas du principe d’autoconservation un principe universel, puisque les cas d’altruisme existent. Au passage, notons aussi que le candidat à l’attentat-suicide prend l’exact contrepied de la morale machinique, en visant le maximum de morts sans considération même de sa propre survie : le parallèle entre le développement historique de ces deux modèles de pensée est saisissant, comme si l’un constituait l’impensé de l’autre. Quoi qu’il en soit, l’humain est obligé d’en passer tôt ou tard par un nouveau jugement qui est un acte singulier. Il comporte une série de considération affectives et symboliques inconnues de la machine. A cela, le rapport répond que, bien entendu, il est prévu que le conducteur pourra à tout moment reprendre le contrôle de la conduite. Mais que signifiera cette possibilité dérisoire s’il s’est déshabitué à conduire (tout comme d’ores et déjà des personnes constatent qu’elles ont perdu l’aisance d’écrire à la main) ?

La prétendue meilleure décision machinique conduit enfin à un dilemme encore plus redoutable qu’on pourrait appeler le dilemme des marins (également évoqué dans l’article de Philippa Foot) : quels humains devraient survivre si les ressources mondiales devaient continuer à diminuer pendant que la démographie et la consommation mondiales ne cesseraient de croître ? Il n’est pas impossible de se représenter la civilisation industrielle comme un bolide qui fonce droit dans le mur. Le véhicule autonome pourrait ainsi s’avérer la métaphore d’un plus gros problème que celui d’un assez banal accident de la route.

Des histoires disent que les marins tiraient au sort celui qui serait mangé pour la survie des autres. Comment exclure qu’une machine soit programmée à choisir « rationnellement » (le choix aléatoire pouvant être une forme de choix rationnel) à trier froidement entre les bouches inutiles et les bouches qui doivent survivre (ou les bouches immortelles, qui ne se nourriraient peut-être pas de pain mais d’énergie, à en croire un scénario posthumaniste) ? Comment exclure, une fois introduit et banalisé, que ce type de choix présenté fallacieusement comme moral, mais dont l’axiome biopolitique fondamental (effectué à l’ombre des paramétrages coupés des situations singulières) est la survie statistique, deviennent l’avenir d’une gouvernance algorithmique, une loi de survie déterminée par une sorte de Dieu-des-catastrophes-globales ? S’il est valable de sacrifier une personne pour cinq, n’est-il pas moralement préférable de sacrifier un ou deux milliards d’êtres humains pour que, par exemple, cinq milliards survivent, si nous sommes tous dans le même bateau ? N’est-ce-pas ce que nous faisons déjà à grande échelle lorsque des populations sont maintenues dans des conditions de vies indignes, végétant sur des décharges, ou lorsque des réfugiés sont reflués au péril de leur vie pour que la « forteresse Europe » ne perde rien de ses privilèges ? Seulement nous ne nous en vantons pas encore publiquement comme de nos plus hautes réussites morales. Nous n’avons pas encore trouvé le moyen de faire passer ces horreurs pour un résultat indiscutablement « éthique ». Contrairement à une telle duplicité humaine, trop humaine, la machine n’aurait pas de scrupules à trancher si l’input « moral » lui dictait que la survie d’un maximum de terriens dépend du sacrifice de certains autres, urgence globale oblige. Enfin, par survie statistique, nous pouvons aussi bien entendre le plus grand nombre de survivants possibles au détriment de certains autres, que la probabilité même d’une survie d’un specimen humain (qui pourrait recycler la vieille histoire de Noé, avec la question de savoir qui montera dans l’arche). Bref, n’ignorons pas qu’implémenter le setting moral du dilemme du tramway, jusqu’ici restreint à des situations ou fictives ou monstrueuses, façonne une vision du monde qui peut avoir des suites d’une autre envergure.

Notes

1 Emmanuel Kant, « D’un prétendu droit de mentir par humanité », in Théorie et pratique, trad. Françoise Proust, Paris, Flammarion, 1994, pp. 95-103.

2 Une intelligence artificielle détecte le mensonge : https://iatranshumanisme.com/2018/01/14/intelligence-artificielle-detecte-mensonge/

3 Sigmund Freud, « Über infantile Sexualtheorien », 1908, GW VII, p. 176 ; « Les théories sexuelles infantiles », in La vie sexuelle, PUF, 1969, p. 18.

4 Philippa Foot, « The Problem of Abortion and the Doctrine of the Double Effect », Oxford Review, Number 5, 1967. En ligne : http://www2.econ.iastate.edu/classes/econ362/hallam/Readings/FootDoubleEffect.pdf

5 Cf. notamment Judith Jarvis Thomson, «Killing, letting die, and the trolley Problem » in Monist, an International Quaterly Journal of General Philosophical Inquiry, Vol. 59, 1976, pp. 204-217 ; Judith Jarvis Thomson, «The Trolley Problem », The Yale Law Journal, Vol. 94, No. 6, 1985, pp. 1395-1415.

6 Moral Machine – MIT http://moralmachine.mit.edu/

7 Ethics commission, Federal Ministry of Transport, June 2017, Germany, « Automated and connected driving », p 15. En ligne : https://www.bmvi.de/SharedDocs/EN/publications/report-ethics-commission.pdf?__blob=publicationFile

8 Ibid., p 17.

9 Anciennement nommée Vilna.

10 Marc Dvorjetski, La victoire du ghetto, cité dans Joshua Sobol, Ghetto, Lyon, La Manufacture, 1986, p. 226-227.

11 Résolution du Parlement européen du 16 février 2017 contenant des recommandations à la Commission concernant des règles de droit civil sur la robotique (2015/2103(INL))

12 « Automated and connected driving », op. cit., p 15.