Le transhumanisme est un mouvement radical qui favorise la transformation de la condition humaine. Le transhumanisme cherche à développer les possibilités techniques qui nous permettrons de surmonter nos limites biologiques par les progrès technologiques.
Le PDG d’une entreprise de robotique déclare que son objectif est de “supprimer” le travail humain de l’économie. C’est en train de se produire.
En réponse à la “pénurie de main-d’œuvre“, les entreprises cherchent à remplacer les travailleurs par des machines – et les entreprises de robotique sont ravies de leur rendre service.
David Zapico, PDG de la société de robotique Ametek Inc. a déclaré à Bloomberg que “les gens veulent supprimer la main-d’œuvre.”
Il n’est pas le seul à penser ainsi. Les dirigeants de Hormel Foods Corp et de Domino’s Pizza ont également confirmé à Bloomberg qu’ils investissent dans l’automatisation afin de réduire les coûts de main-d’œuvre et de faire face à une “offre de main-d’œuvre restreinte”, selon les termes du vice-président de Hormel.
Si la tendance se maintient, la demande de main-d’œuvre augmentera lentement, les inégalités se creuseront et les perspectives pour de nombreux travailleurs peu instruits ne seront pas très bonnes, a déclaré Daron Acemoglu, économiste au Massachusetts Institute of Technology, à Bloomberg.
Et comme l’écrit Greg Nichols sur ZDNet, “la révolution robotique n’est pas à venir”, elle est “déjà là”.
Elon Musk a déclaré que le travail physique “sera un choix” dans un avenir où l’automatisation se développe de plus en plus. “C’est pourquoi je pense qu’à long terme, il faudra mettre en place un revenu de base universel”, a-t-il ajouté.
Le laboratoire de recherche de l’armée de l’air américaine (AFRL) a créé une nouvelle animation vidéo qui montre de manière réaliste le THOR (Tactical High-power Operational Responder) détruisant des essaims de drones ennemis dans un scénario de défense de base. Dans le but de contrer la menace croissante que représentent les drones ennemis et d’autres menaces aériennes, l’Air Force a développé THOR.
THOR est un prototype d’arme à énergie dirigée (AED) utilisé pour désactiver l’électronique des drones, et a été spécifiquement conçu pour contrer des cibles multiples – comme un essaim de drones – avec des résultats rapides.
Les lasers à haute énergie tuent une cible à la fois, et les micro-ondes à haute puissance peuvent tuer des groupes ou des essaims, ce qui est l’une des raisons pour lesquelles THOR offre une capacité unique.
“Le système produit de puissantes salves d’ondes radio, qui offrent une plus grande portée d’engagement que les balles ou les filets, et ses effets sont silencieux et instantanés”, a déclaré Amber Anderson, responsable du programme THOR.
Anderson a poursuivi en expliquant que THOR est logé dans une unité d’expédition de 20 pieds, qui peut être transportée dans un avion cargo militaire, et assemblée par deux personnes seulement.
“Les drones représentent une menace émergente pour les bases militaires, le personnel et les infrastructures des États-Unis, et c’est la mission de THOR de les garder en sécurité, à courte et à longue distance”, a déclaré Anderson.
Pour voir THOR en action
Le laboratoire de recherche de l’Air Force (AFRL) est le principal centre de recherche scientifique et de développement du département de l’Air Force. L’AFRL joue un rôle essentiel dans la découverte, le développement et l’intégration de technologies de combat abordables pour les forces aériennes, spatiales et cybernétiques. Avec un effectif de plus de 11 500 personnes réparties dans neuf domaines technologiques et 40 autres opérations dans le monde, l’AFRL fournit un portefeuille diversifié de sciences et de technologies allant de la recherche fondamentale à la recherche avancée et au développement technologique.
Air Force Research Laboratory’s THOR (Tactical High-Power Operational Responder) is a portable counter-UAS system, capable of destroying swarms of drones at speed-of-light, at long range, in its base defense mission. (AFRL graphic/courtesy)
Au grand dam des habitants du quartier, le service de police de la ville de New York a sorti son tout dernier jouet : un chien robot. Le chien robot, un modèle Spot fabriqué par Boston Dynamics, a fait une apparition dans un immeuble de logements sociaux. Des vidéos prises sur place montrent le chien robot entrant et sortant du hall de l’immeuble.
Le spectacle a suscité l’indignation de nombreux passants qui ont exprimé de manière audible leur mécontentement face à cette apparence dystopique digne de “Black Mirror”.
“Je n’ai jamais rien vu de tel de toute ma vie”, déclare la personne qui filme la vidéo.
La police a déclaré au New York Times que le robot, surnommé “Digidog”, n’a pas joué un rôle actif dans l’opération. Le chien robot n’a peut-être pas joué un rôle actif dans l’arrestation, mais le fait qu’un escadron de police armé déploie un robot sur une scène de crime active suscite des inquiétudes quant aux libertés civiles et à l’avenir de la police.
L’American Civil Liberties Union (ACLU) dénonce depuis longtemps l’utilisation de chiens robots par les forces de l’ordre comme un abus de pouvoir flagrant.
“L’une des choses qui rendent ces robots si inquiétants, c’est que tout le monde comprend implicitement que la possibilité de les armer continuera de planer comme un fruit défendu tentant pour les forces de l’ordre”, a déclaré Jay Stanley, analyste politique principal.
La vidéo fait suite à plusieurs cas de déploiement du chien robot par le personnel de la police sur la voie publique. La police a affirmé qu’elle utilisait les robots pour sauver des vies.
“La police de New York utilise des robots depuis les années 1970 pour sauver des vies lors de prises d’otages et d’incidents liés aux matières dangereuses. Ce modèle de robot est testé pour évaluer ses capacités par rapport à d’autres modèles utilisés par notre unité de service d’urgence et notre équipe de déminage.”
The NYPD has been using robots since the 1970's to save lives in hostage situations & hazmat incidents. This model of robot is being tested to evaluate its capabilities against other models in use by our Emergency Service Unit and Bomb Squad. https://t.co/134Xl0ezox
L’armée française teste le chien robot de Boston Dynamics
Boston Dynamics a tenté de se justifier sur le fait que ses produits sont utilisés non seulement par les services de police du monde entier, mais aussi par les forces armées.
Credit: Saint-Cyr Coëtquidan
Récemment, on a appris que la principale école militaire de l’armée française, l’École Spéciale Militaire de Saint-Cyr, avait déployé un chien robot Spot lors d’un exercice d’entraînement de deux jours.
21. Je déploie le robot pour reconnaitre OSCAR3. Retour en images sur l’exercice de recherche appliquée organisé les 30 et 31 mars par l’EMIA et le centre de recherche. Robotisation du champ de bataille : sensibiliser les élèves aux enjeux de demain. #CapaciTERRE#Robotspic.twitter.com/HiZ2BFOZPY
— Académie militaire de Saint-Cyr Coëtquidan (@SaintCyrCoet) April 6, 2021
Au cours de l’exercice, les soldats ont simulé la prise d’un carrefour, des actions défensives de nuit et de jour, et un test de combat en milieu urbain, selon un article blog Ouest-France. Les sources citées dans l’article affirment que les robots ont ralenti les opérations mais ont contribué à assurer la sécurité des troupes.
Ils ont ajouté que l’un des problèmes était la durée de vie de la batterie de Spot : il est apparemment tombé à court de jus pendant un exercice et a dû être évacué.
L’intelligence artificielle et la robotique constituent incontestablement des leviers de croissance de nature à modifier, en profondeur, les modes de production et les modèles économiques existants, en plus de susciter, pour certaines de leurs formes, de nouveaux types de rapports sociaux qui ne seraient pas purement humains.
La singularité du robot dans l’espace juridique a vocation à s’accentuer ; symétriquement, tandis que la pertinence de la qualification de bien meuble décroît, la nécessité de doter le robot intelligent d’un statut juridique inédit se fait plus pressante.
Ce mouvement en vases communicants a ceci de particulier qu’il semble à la fois unilatéral et irréversible : la puissance de l’industrie robotique, l’implication des plus grands acteurs de l’économie numérique, l’importance des enjeux financiers, l’engouement de la recherche et l’appétence sociale constituent, ensemble, une assise particulièrement solide à l’avènement de la robotique intelligente.
Une fois la rupture technologique consommée – résultant de la liberté dont disposera bientôt le robot, elle-même continuellement renforcée par ses capacités d’apprentissage -, le droit n’aura d’autre choix que de s’aligner.
En France comme en Europe et dans le monde, les cadres réglementaire et éthique commencent déjà à se dessiner. Cet ouvrage complète le Minilex Droit des robots publié en 2015 en passant en revue toutes les disciplines : droit de la personne, droit de la consommation, contrat, responsabilité, assurance, propriété intellectuelle, droit pénal, données personnelles, sécurité, éthique, droit à la transparence des algorithmes, neurodroit, etc., mais également des technologies (chatbots, blockchain, bionique, neurosciences, etc.) et des secteurs d’activité (usine 4.0, armement, banque et finance, justice, santé, etc.).
Il comporte en outre une analyse comparative de 21 chartes éthiques et codes de conduite, qui permettent dans un premier temps d’accompagner ces mutations technologiques dans la zone Europe, Asie, États-Unis et France.
Préfaces de Olivier Guilhem, Directeur juridique de SoftBank robotics, Bruno Maisonnier, Fondateur de AnotherBrain.
Alain Bensoussan, avocat à la Cour d’appel de Paris, spécialiste en droit des nouvelles technologies de l’informatique et de la communication et fondateur de Lexing ®, premier réseau international d’avocats technologues dédié au droit des technologies avancées. Il est également président et fondateur de l’Association du droit des robots (ADDR).
Jérémy Bensoussan, avocat à la Cour d’appel de Paris et ingénieur diplômé de l’École Spéciale des Travaux publics (ESTP Paris). Il dirige le département Droit de l’IA et des technologies robotiques du cabinet Lexing Alain Bensoussan Avocats. Il est également membre de l’Association du droit des robots (ADDR).
Le développement technologique est devenu une course de rat. Dans la compétition pour diriger la course à la technologie émergente et le champ de bataille de la guerre futuriste, l’intelligence artificielle devient rapidement le centre des jeux de pouvoir mondiaux. Comme on l’a vu dans de nombreux pays, le développement du système d’armes autonomes (AWS) progresse rapidement et cette augmentation de la militarisation de l’intelligence artificielle semble être devenue une évolution extrêmement déstabilisante. Il soulève des problèmes de sécurité complexes non seulement pour les décideurs de chaque pays, mais également pour l’avenir de l’humanité.
La réalité actuelle est que l’intelligence artificielle nous conduit vers un nouveau champ de bataille de guerre algorithmique sans frontières ni limites, avec ou sans implication humaine, et impossible à comprendre et peut-être à contrôler à travers l’écosystème humain dans le cyberespace, l’espace géospatial et l’espace (CGS).
En conséquence, l’idée même de la militarisation de l’intelligence artificielle, dans laquelle un système d’armes qui, une fois activé dans le CGS, peut sélectionner et engager des cibles humaines et non humaines sans intervention supplémentaire d’un concepteur ou d’un opérateur humain, suscite une grande crainte.
La pensée d’une machine intelligente ou l’intelligence de la machine pour pouvoir effectuer n’importe quelle tâche de guerre projetée sans aucune implication ni intervention humaine – en utilisant uniquement l’interaction de ses capteurs intégrés, de la programmation informatique et des algorithmes dans l’environnement humain et l’écosystème – est en train de devenir une réalité qui ne peut plus être ignorée.
La militarisation de l’intelligence artificielle
Alors que l’intelligence artificielle, le machine learning et le deep learning évoluent et passent de la conception à la commercialisation, l’accélération rapide de la puissance de calcul, de la mémoire, des données volumineuses et de la communication à haut débit crée non seulement une frénésie d’innovation, d’investissement et d’application, mais intensifie également la quête pour les puces d’intelligence artificielle. Ces progrès et développements rapides et continus signifient que l’intelligence artificielle est en passe de révolutionner la guerre et que les pays vont sans aucun doute continuer à développer le système d’armes automatisé que l’intelligence artificielle rendra possible.
Lorsque les pays, individuellement et collectivement, accélèrent leurs efforts pour obtenir un avantage concurrentiel dans le domaine de la science et de la technologie, l’intensification de la militarisation de l’intelligence artificielle est inévitable. En conséquence, il est nécessaire de visualiser à quoi ressemblerait une guerre algorithmique de demain, car la construction de systèmes d’armes autonomes est une chose mais leur utilisation dans une guerre algorithmique avec d’autres nations et contre d’autres humains en est une autre.
Alors que l’on signale déjà des systèmes algorithmiques complexes prenant en charge de plus en plus d’aspects de la guerre dans les CGS, la vérité est que la standardisation de l’intelligence artificielle est devenue une réalité. Comme on le voit dans le cyberespace, la guerre automatisée (cyberguerre) a déjà commencé – où tout le monde est la cible. Alors, quelle est la prochaine, la guerre virtuelle et la guerre spatiale ? Et qui et quelle sera la cible ?
Le développement rapide de la militarisation de l’intelligence artificielle est évident à tous les niveaux : navigation et utilisation de véhicules navals, aériens et terrestres sans équipage, production d’estimations de dommages collatéraux, déploiement de systèmes de missiles «fire-and-forget» et en utilisant des systèmes fixes pour tout automatiser, de l’entretien des systèmes et des équipements du personnel au déploiement de drones de surveillance, de robots, etc., en sont tous des exemples. Ainsi, lorsque les algorithmes prennent en charge de plus en plus d’aspects de la guerre, cela nous amène à une question importante : quelles utilisations de l’intelligence artificielle dans la guerre d’aujourd’hui et de demain devraient être autorisées, restreintes et totalement interdites ?
On pense que les systèmes d’armes autonomes offrent la possibilité de réduire les coûts d’exploitation des systèmes d’armes – notamment grâce à une utilisation plus efficace de la main-d’œuvre – et permettront probablement aux systèmes d’armes d’accroître leur vitesse, leur précision, leur persistance, leur portée et leur coordination sur le champ de bataille du CGS. Cependant, la nécessité de comprendre et d’évaluer les problèmes technologiques, juridiques, économiques, sociaux et de sécurité demeure.
Rôle des programmeurs et de la programmation
Face à ces défis complexes en matière de sécurité et à la profusion d’inconnues qui nous attendent, le rôle des programmeurs et des programmes, ainsi que l’intégrité des puces semi-conductrices, reste fondamental pour la sécurité de l’humanité. La raison derrière cela est que les programmeurs peuvent définir et déterminer la nature du système d’armes autonome (du moins au début) jusqu’à ce que l’intelligence artificielle commence à se programmer.
Cependant, si et quand un programmeur programme intentionnellement ou accidentellement une arme autonome pour agir en violation du droit international humanitaire (DIH) actuel et futur, comment l’homme contrôlera-t-il la militarisation de l’intelligence artificielle ? De plus, étant donné que le système d’armes autonome est centré sur le logiciel, à qui incombe la responsabilité des erreurs et de la manipulation de la conception et de l’utilisation de systèmes d’armes autonomes ? Cela nous amène au cœur de la question – quand et si un système autonome tue, qui est responsable du meurtre, que cela soit justifié ou non ?
En bref, les algorithmes ne sont nullement sécurisés – ils ne sont pas non plus à l’abri des bugs, des logiciels malveillants, des biais et de la manipulation. Et, le machine learning utilisant des machines pour former d’autres machines, que se passe-t-il en cas de malware ou de manipulation de training data (données de formation) ?
Alors que les risques de sécurité sont omniprésents, les appareils connectés augmentent la capacité de violation de la cybersécurité à partir d’emplacements distants. En raison de l’opacité du code, la sécurité est très complexe. Ainsi, lorsque l’intelligence artificielle entrera en guerre avec une autre intelligence artificielle (qu’il s’agisse de la cybersécurité, de la géo-sécurité ou de la sécurité de l’espace), les défis actuels en matière de cybersécurité augmenteront les risques pour l’avenir de l’humanité et de l’écosystème humain dans la CGS.
Bien qu’il semble que les systèmes d’armes autonomes soient là pour rester, la question à laquelle nous devons tous individuellement et collectivement répondre est de savoir si l’intelligence artificielle dirigera et déterminera notre stratégie pour la survie et la sécurité humaines, ou allons-nous ?
Conscient de cette réalité émergente, Risk Group a lancé le débat sur les systèmes d’armes autonomes avec Markus Wagner, auteur et professeur de droit associé à l’Université de Wollongong, en Australie.
Disclosure: Risk Group LLC is my company
Et après ?
Alors que les pays, individuellement et collectivement, redoublent d’efforts pour acquérir un avantage concurrentiel dans le domaine de la science et de la technologie, la poursuite de la militarisation de l’intelligence artificielle est inévitable. En conséquence, la mise en place d’un système d’armes autonome modifierait le sens même d’être humain et modifierait sans ambiguïté les fondements mêmes de la sécurité et du futur de l’humanité et de la paix.
Il est important de comprendre et d’évaluer si la course aux armements autonome ne peut être empêchée, ce qui pourrait mal tourner. Il est temps de reconnaître que le simple fait que la technologie puisse permettre le développement réussi d’un système d’armes autonome ne signifie pas que nous devrions le faire. Il n’est peut-être pas dans l’intérêt de l’humanité de militariser l’intelligence artificielle. Il est temps de faire une pause.
L’intelligence artificielle connaît de nombreuses applications dans la sécurité et le domaine militaire. Sur le terrain, elle facilite les manœuvres et permet de sauver des vies en cas d’avaries. Elle accroît la performance des armées, en fournissant des alliés robots aux combattants. Selon certains experts, les armes létales automatiques (SALA) sont en train de créer la troisième révolution de la guerre, après la poudre à canon et l’arme nucléaire. On ne peut manquer de s’inquiéter du jour où seront opérationnelles des armées de robots capables de mener les hostilités de façon complètement autonome.
De nombreuses entreprises, dans le monde entier, mènent d’importantes recherches scientifiques dans le domaine de l’intelligence artificielle. Les résultats obtenus à ce jour sont excellents : l’intelligence artificielle a déjà appris à prédire le risque de développer un diabète au moyen d’une montre « intelligente » ou à distinguer, de par leur apparence, les nævus de certains types de cancers. Ce puissant outil, qui surpasse l’intelligence humaine par l’une de ses caractéristiques les plus importantes – la vitesse – intéresse également les militaires.
Grâce au développement des technologies informatiques, les systèmes de combat du futur deviendront plus autonomes que les systèmes actuels. D’une part, cette autonomisation constituera sans aucun doute une aide précieuse pour les combattants. D’autre part, elle apportera son lot de défis et de risques : course aux armements entre pays, absence de règles et de lois dans les zones de combat et irresponsabilité dans la prise de décisions. Aujourd’hui, de nombreux entrepreneurs, décideurs et scientifiques cherchent à interdire l’emploi de systèmes de combat autonomes, alors que les militaires assurent qu’au combat, la décision finale – tuer ou non – sera prise par un humain.
Nous voulons y croire mais, faut-il le rappeler, l’arme nucléaire – cette arme qui n’aurait jamais dû voir le jour et qui s’était heurtée, dès la phase embryonnaire de sa conception, à de nombreux opposants – a pourtant bel et bien été utilisée.
Comme dans toutes les autres sphères de l’activité humaine, l’intelligence artificielle peut grandement faciliter et accélérer le travail dans le domaine de la sécurité. Ainsi, des chercheurs de l’université de Grenade, en Espagne, développent actuellement un logiciel capable, à l’aide de réseaux neuronaux, de détecter presque instantanément et avec une très grande précision des armes légères – pistolets, mitraillettes, mitrailleuses – sur des images vidéo. Les systèmes de sécurité modernes comprennent un grand nombre de caméras de surveillance, dont les opérateurs ne peuvent tout simplement pas visionner chaque image. L’intelligence artificielle est donc très utile pour analyser ces images, détecter la présence d’armes et en informer les agents dans un temps record.
Par ailleurs, le Centre de renseignement géospatial de l’université du Missouri, aux États-Unis, a développé un système d’IA capable de localiser rapidement et avec précision des dispositifs de missiles antiaériens sur des images satellitaires et aériennes. Sa capacité de recherche est jusqu’à 85 fois plus rapide que celle des experts humains. Pour former le réseau neuronal qui sous-tend ce système, on a utilisé des photos représentant différents types de missiles antiaériens. Une fois le système entraîné, on l’a testé sur un jeu de photos : en seulement 42 minutes, il a trouvé 90 % des dispositifs de défense. Il a fallu à des experts 60 heures de travail pour résoudre le même problème, avec le même résultat.
Il existe également des applications plus complexes de l’intelligence artificielle. Le laboratoire de recherche de l’armée américaine, par exemple, développe un système informatique qui analyse la réaction humaine à une image donnée. Il sera utile aux analystes militaires, contraints de visionner et de systématiser des milliers de photos et des heures d’enregistrements vidéo.
Le principe du système est le suivant : l’intelligence artificielle suit de près les yeux et le visage de la personne et met en parallèle ses expressions faciales avec les images que cette personne regarde. Si une image attire l’attention de la personne (cela signifie que l’expression de son visage ou la direction de son regard change), le logiciel la déplace automatiquement dans un dossier thématique. Ainsi, lors des essais, on a montré à un soldat un ensemble d’images divisées en cinq catégories principales : bateaux, pandas, fruits rouges, papillons et lustres. On lui a demandé de ne compter que les images de la catégorie qui l’intéressait. Les images défilaient au rythme d’une par seconde. L’IA en a « conclu » que le combattant était intéressé par la catégorie des bateaux et a copié ces images dans un dossier distinct.
Sur le théâtre d’opérations
Mais l’intelligence artificielle peut aussi aider les militaires au combat. C’est ainsi qu’en Russie, on achève actuellement l’élaboration du chasseur de cinquième génération Su-57, qui pourra être mis en service d’ici à la fin de l’année. Le logiciel de l’ordinateur de bord de ce chasseur comporte des éléments d’IA. Ainsi, en vol, le chasseur analyse en permanence l’état de l’air, sa température, sa pression et de nombreux autres paramètres. Si le pilote essaye d’effectuer une manœuvre et si le système « estime » que cette action entraînera une chute, la commande du pilote sera ignorée. Lorsqu’un avion décroche en vrille, ce même système indique au pilote comment redresser le chasseur et en reprendre le contrôle.
Pendant ce temps, le Japon développe son propre chasseur de cinquième génération, dont le prototype, le X-2 Shinshin (« Âme » en japonais), a effectué son premier vol en avril 2016. Un vaste réseau de capteurs, qui analyseront l’état de chaque élément de l’avion et détermineront les dommages qu’il aura subis, permettra à celui-ci de « survivre ». Si, lors d’un combat, son aile ou son empennage est endommagé, son système de bord reconfigurera le contrôle de sorte que la maniabilité et la vitesse de l’avion restent pratiquement inchangées. L’ordinateur du chasseur japonais sera capable de prédire l’heure de la panne complète d’un élément endommagé, de sorte que le pilote pourra décider de poursuivre le combat ou de retourner à la base.
À ce titre, l’intelligence artificielle constitue une « aubaine » – si tant est que l’on puisse utiliser ce terme pour des armes et des systèmes de combat.
Un programme complexe capable de résoudre de manière optimale un problème particulier dix fois plus vite qu’un humain pourra non seulement faciliter le travail d’un avion de reconnaissance, d’un opérateur de drones ou d’un commandant de système de défense aérienne, mais aussi sauver des vies. Il pourra venir à la rescousse de personnes en détresse dans un sous-marin (extinction ponctuelle d’incendies dans les compartiments abandonnés par les humains), de pilotes d’avions ou de combattants de chars armés endommagés.
Sa rapidité d’analyse et sa capacité d’apprentissage rendent l’intelligence artificielle attrayante pour les systèmes de combat. Les militaires, bien qu’ils ne l’admettent toujours pas, sont probablement déjà tentés de créer des systèmes de combat capables de fonctionner sur le champ de bataille de manière entièrement autonome, c’est-à-dire étant aptes à identifier une cible, ouvrir le feu sur celle-ci, se déplacer et choisir les trajectoires optimales leur permettant de se mettre à l’abri.
Il y a quelques années, les autorités militaires des États-Unis, de Russie, d’Allemagne, de Chine et de plusieurs autres pays ont annoncé que la création de systèmes de combat entièrement autonomes n’était pas leur objectif. Dans le même temps, les militaires ont noté que de tels systèmes seront vraisemblablement créés.
L’an dernier, le département américain de la Défense a achevé d’élaborer la « Troisième stratégie de compensation » (Third Offset Strategy) et commencé à la mettre en œuvre. Ce document implique, entre autres, le développement actif d’innovations techniques et leur utilisation dans les travaux militaires futurs.
Le 1er septembre 2017, le président russe, Vladimir Poutine, a déclaré, lors d’une conférence publique prononcée dans une école de Yaroslavl : « L’IA représente l’avenir non seulement de la Russie, mais de toute l’humanité. Elle offre des possibilités colossales, accompagnées de menaces difficilement prévisibles aujourd’hui. Ceux qui prendront la tête dans ce domaine dirigeront le monde », a-t-il déclaré, avant d’ajouter qu’il est « fortement indésirable que quelqu’un obtienne un monopole. Donc, si nous sommes les leaders dans ce domaine, nous partagerons ces technologies avec le monde entier ». Peut-on en déduire pour autant que nous ne sommes pas au début d’une nouvelle ère de course aux armements ?
Sur Terre, un nombre croissant de zones sont protégées de manière fiable par des systèmes antiaériens et antimissiles, surveillées par des systèmes satellitaires et sans pilote, et patrouillées par des navires et des avions. Dans l’esprit des militaires, seuls les systèmes de combat dotés d’IA pourront, en cas de guerre, pénétrer ces zones fermées et y opérer avec une certaine liberté.
Il existe déjà aujourd’hui des systèmes de combat capables de détecter et de classer leurs cibles, et de commander le tir de missiles antiaériens, comme par exemple les systèmes de missiles sol-air S-400 en Russie. Le système américain d’information Aegis, qui contrôle l’armement des navires de guerre, fonctionne de la même façon. Le long de la zone démilitarisée, à la frontière avec la République populaire démocratique de Corée, la République de Corée a posté plusieurs robots militaires SGR-A1 chargés de la surveillance.
Depuis mai 2014, l’ONU a engagé un débat international sur le développement des systèmes d’armes létales automatiques (SALA), dit « robots tueurs ». Les Hautes Parties contractantes à la Convention sur certaines armes classiques (CCAC) se sont dotées d’un nouveau mandat : « débattre des questions ayant trait aux technologies émergentes dans le domaine des SALA, à la lumière des objectifs et des buts de la Convention ».
Réuni pour la première fois en novembre 2017, un Groupe d’experts gouvernementaux (GEG), présidé par l’ambassadeur indien Amandeep Singh Gill, a été chargé d’examiner les technologies émergentes dans le domaine des SALA. L’une des orientations retenues dans le rapport de consensus de cette réunion est que la responsabilité pour le développement de tout système d’armement de conflit appartient aux États. « Les États doivent veiller à pouvoir rendre des comptes en cas d’actions mortelles appliquées par leurs forces dans un conflit armé », a déclaré l’ambassadeur Singh Gill, lors de la dernière réunion du GEG, à Genève (Suisse), le 9 avril 2018.
Izumi Nakamitsu, la Haute-Représentante pour les affaires de désarmement de l’ONU a remarqué, pour sa part, que ce nouveau type de technologies donne lieu à des méthodes et moyens de livrer la guerre « avec des conséquences incertaines, éventuellement indésirables » et a souligné la nécessité de « dégager un consensus sur un entendement commun quant aux limites possibles du degré d’autonomie dans l’utilisation de la force létale ».
En mode automatique, ils sont capables d’ouvrir le feu sur l’ennemi, sans toutefois tirer sur les gens aux mains levées. Aucun de ces systèmes n’est utilisé par les militaires en mode automatique.
Les derniers progrès accomplis dans le développement de l’intelligence artificielle permettent de créer des systèmes de combat capables de se déplacer. Ainsi, aux États-Unis, on développe actuellement des ailiers sans pilote, qui voleront derrière des chasseurs pilotés par des humains, et viseront, sur ordre, des cibles aériennes ou terrestres. Le système de conduite de tir de la future version du char russe T-14, développé sur la base de la plate-forme universelle à chenilles Armata, sera capable de détecter les cibles de manière autonome et de les bombarder jusqu’à destruction complète. En parallèle, la Russie travaille sur une famille de robots à chenilles qui pourront participer au combat avec des soldats humains.
Pour les armées, tous ces systèmes sont appelés à remplir plusieurs fonctions de base, et en premier lieu celle d’accroître l’efficacité de destruction des cibles ennemies et de préserver la vie de leurs propres soldats. Dans le même temps, il n’existe pas encore de normes internationales ni de documents juridiques qui réglementeraient l’utilisation de systèmes de combat dotés d’IA dans une guerre.
Ni les coutumes de la guerre, ni les Conventions de Genève ne décrivent les systèmes dotés d’IA qui peuvent être utilisés au combat et ceux qui ne le peuvent pas. Il n’existe pas non plus de législation internationale qui permettrait de déterminer les coupables de la défaillance d’un système autonome. Si un drone bombarde de manière autonome des civils, qui sera puni ? Son fabricant ? Le commandant de l’escadrille à laquelle il était affecté ? Le ministère de la Défense ? La chaîne de coupables potentiels est trop grande et, comme on le sait, lorsqu’il y a trop de coupables, personne n’est coupable.
En 2015, le Future of Life Institute a publié une lettre ouverte signée par plus de 16 000 personnes, alertant sur les menaces que ces systèmes de combat dotés d’IA font peser sur les civils, sur le risque d’une course aux armements et, au bout du compte, sur le danger d’une issue fatale pour l’humanité. Elle était signée, en particulier, par l’entrepreneur américain et fondateur de SpaceX et Tesla Elon Musk, l’astrophysicien britannique Stephen Hawking (1942-2018) et le philosophe américain Noam Chomsky. En août dernier, Elon Musk et une centaine de développeurs de systèmes de robotique et d’IA ont envoyé à l’ONU une pétition demandant l’interdiction totale du développement et des essais des armes offensives autonomes.
Ces experts estiment que la création d’armées de robots capables de mener de manière autonome des hostilités conduira inévitablement à l’émergence, chez leurs détenteurs, de sentiments de pouvoir absolu et d’impunité. En outre, lorsqu’un homme est en situation de conflit, il prend des décisions dans lesquelles interviennent, notamment, ses attitudes morales, sentiments et émotions. L’observation directe des souffrances d’autrui produit encore un effet dissuasif sur les soldats, même si, chez les militaires professionnels, la compassion et la sensibilité finissent par s’émousser. En cas d’introduction généralisée de systèmes de combat autonomes, dont les détachements ne pourront être conduits que du doigt sur l’écran d’une tablette depuis un autre continent, la guerre se transformera inévitablement en jeu, les victimes civiles et les soldats en chiffres sur l’écran.
Vasily Sychev (Fédération de Russie) Expert en armement et journaliste, écrit essentiellement pour les journaux La Gazette russe, Expert, Lenta.ru et Le Courrier de l’industrie militaire. Il dirige également les rubriques « Armement » et « Aviation » dans le journal web de vulgarisation scientifique N+1.
De la dynamique conflictuelle et opérationnelle mixte Homme-machine… à la dynamique conflictuelle et opérationnelle machine IA – machine IA ?
ISBN : 978-2-343-15771-9
Que nous réserve l’application de l’intelligence artificielle (IA) aux équipements militaires dronisés ou robotisés, qui opéreront partout ? La guerre va-t-elle changer de visage ? L’homme doit-il rester dans la boucle pour conserver le contrôle de la décision de tir ou faut-il privilégier l’autonomisation pour plus d’efficacité et de sécurité ? Que dit le droit sur ces systèmes armés létaux automatisés ? La guerre sera-t-elle uniquement technique ? Ou devons-nous nous préparer à une guerre rustique après un KO technique ?
Eric Pourcel est docteur en droit, ancien avocat près la Cour, Officier de réserve opérationnelle, auteur à la revue défense nationale (RDN) et membre de droit du Comité d’étude de la défense nationale (CEDN). Il est par ailleurs secrétaire général du Club Participation et progrès présidé par l’ancien Député-Maire Pierre Pascallon qui est une association de réflexion stratégique et géopolitique.
Réflexion de synthèse issu de l’ouvrage d’Éric Pourcel « Dronisation et robotisation intelligente des armées » édité chez l’Harmattan en octobre 2018, disponible chez l’éditeur, sur Amazon ou sur la FNAC ou en Librairies.
Le XXème siècle fut l’ère industriel en matière militaire avec l’invention notamment du sous-marin, de la torpille, du char, de l’avion, du missile, du feu nucléaire, de la fusée et du satellite. L’homme a cependant toujours été au cœur de la guerre, l’utilisateur des armes nouvelles et la cible première de ces armes.
Depuis les années 60, et de manière très accessoire et ponctuelle, les armées ont eu recours à des drones aériens. Avec les années 90, les progrès techniques (informatique, internet, électronique embarqué…etc.) et la coalescence de ces nouvelles techniques ont permis la mise au point de mini-robots et d’aéronefs sans pilote à bord commandés à distance par l’homme venant en appui des forces armées humaines ; c’est le début timide d’un processus de dronisation et de robotisation des armées, l’amorce d’une dynamique conflictuelle et opérationnelle homme-machine qui s’est accélérée ces 20 dernières années en raison tant de la volonté d’appliquer la doctrine du zéro mort que des avantages que représentent les drones/robots du point de vue tactique et stratégique : avantage d’omnipotence puisque l’automatisation des systèmes d’armes concerne tous les milieux, Terre, Mer, Air et Espace ; avantage de permanence puisque les drones/robots peuvent assumer des missions ou des taches opérationnelles sur de longs délais, en vol, en gravitation, en surface ou sous l’eau, dépassant largement les capacités physiologiques de l’homme ; avantage de fulgurance, puisque l’association des systèmes autonomes, notamment les drones aérospatiaux, aux motorisations hypervéloces, leur prépositionnement, notamment en zone aérospatiale de transitions (ZAT), et leur organisation, permettent d’envisager des frappes en quelques secondes sur n’importe quel point du globe à l’instar de ce que cherche à faire in fine la doctrine américaine du « prompt global strike » (PGS) ; avantage de résilience, car les machines ont cette faculté de pouvoir continuer à fonctionner dans des conditions extrêmes et d’assurer la continuité, en mode dégradé, au lieu et place de systèmes plus performants, comme les satellites de communication qui auraient été détruits ; avantage d’accessibilité puisque les machines peuvent aller en certains milieux inaccessibles à l’homme en raison de ses limites physiques ou en raison de circonstances liées à l’usage d’armes NRBC sur un théâtre d’opération.
Cette dynamique conflictuelle homme-machine s’inscrit dans le respect du droit de la guerre et du droit des conflits armés : en effet, les drones sont en soi des matériels licites autant qu’un missile ou un avion piloté par l’homme, seul leur usage par les hommes peut prêter à discussion notamment au regard de leur emploi pour des éliminations ciblées ; on soulignera d’ailleurs que le droit pénal international des statuts de Rome est parfaitement applicable et peut concerner tant les concepteurs, les utilisateurs que les contrôleurs des drones et robots.
On notera aussi que jusqu’à récemment encore, la dronisation et robotisation a été non intelligente, partielle et limitée à certaines fonctions comme la reconnaissance, la surveillance, le renseignement, le déminage, enfin l’appui feu ou la destruction d’objectifs ciblés, le tout sous le pilotage et le contrôle de l’homme en application du principe moral l’homme dans la boucle.
Enfin, on soulignera que la dynamique homme-machine s’est inscrite dans une logique de conflits asymétriques de conquête puis d’occupation et non dans le cadre d’un conflit entre puissances de même niveau technique. Quoiqu’il en soit, cette dynamique homme-Machine est en passe de prendre fin pour apparemment laisser la place à une dynamique conflictuelle et opérationnelle machine dotée d’intelligence artificielle (IA) contre machine dotée d’IA.
Le XXIème siècle sera donc l’ère de l’intelligence artificielle. En effet, l’intelligence artificielle, grâce à l’apprentissage profond, marquera une disruption dans l’organisation de la société humaine et, en matière militaire, une étape nouvelle qui va accélérer le processus de dronisation et de robotisation intelligente des armées (DRIA), c’est à dire l’exclusion du soldat des théâtres d’opération et son remplacement par des machines « pensantes » de plus en plus autonomes, autonomie allant jusqu’à la décision de tir sans intervention humaine.
L’ampleur de ce processus ne peut se comprendre qu’au vu et su de l’évolution des programmes informatiques du jeu d’échec « giraffe » et du jeu de go « alpha go », que les meilleurs joueurs au monde ne pouvaient déjà pratiquement plus battre, vers des systèmes de jeu IA de nouvelles générations qui, à partir uniquement de données concernant les règle de jeu, ont développé, en jouant contre eux-mêmes, des combinaisons de jeu inconnues : or ces programmes IA, qui choisissent les combinaisons de jeu sur la base de critères qualitatifs, ont battu à 100% les anciens programmes informatiques déjà très supérieurs à l’homme.
L’implémentation d’intelligence artificielle dans les drones et robots à des fins militaires alimentée en données par l’homme et/ou grâce à sa mise en réseau, permettra la programmation du jeu de guerre et donnera une supériorité tactique et stratégique aux drones et robots IA. Le principe moral de l’homme dans la boucle apparaîtra alors comme une contrainte « contre-productive » chronophage incompatible avec les exigences de réactivité et de rapidité dans la réponse militaire notamment en matière défensive plus encore au regard du développement de motorisations hypervéloces pour les vecteurs et missiles.
Mieux, la dotation en IA, bref, l’automatisation des systèmes d’armes qui n’est pas en soi illégale, pourrait permettre mieux que l’homme d’éviter les dommages collatéraux dès lors que la machine aura été programmée pour se conformer aux conventions de Genève. Pour autant, l’autonomisation des drones et robots dotés d’intelligence artificielle renforce leur invulnérabilité et les risques de perte de contrôle par l’homme. Plus encore, la dronisation et robotisation IA pourrait constituer un fait totalitaire du point de vue conceptuel, via l’industrie 4.0, en confiant l’ensemble du processus de conception/fabrication/MCO/amélioration des armements à des serveurs IA de R&D ; un fait totalitaire aussi du point de vue opérationnel, via la projection de forces IA combinées, la création de GTIA dronisés, l’organisation d’opérations navales dronisées, l’usage de drones en essaim ou en constellation, la digitalisation des théâtres, l’ensemble dirigé et suivi depuis des états-majors IA tactiques ou centraux d’activation des forces.
La DRIA pourrait ainsi laisser croire à cette idée, relative pourtant, qu’elle sanctuarise les territoires des pays les plus avancés ; alors même que l’égal développement technique des Etats aurait pour conséquence essentielle d’introduire une phase technique de la guerre pouvant se terminer pour l’un des belligérants par un KO technique sous réserve du recours ultime à l’arme nucléaire. De fait, le KO technique, non suivi de l’usage de l’arme nucléaire, déboucherait sur une guerre de guérilla et un retour assez classique aux réalités humaines.
Si le pire n’est jamais sûr, le processus de DRIA présente trois risques majeurs ; le premier concerne la DRIA des armes nucléaires ; le deuxième concerne l’erreur que les Etats pourraient commettre en se préparant à la seule guerre des étoiles sans maintenir une capacité d’action en mode dégradé, bref sans maintenir une capacité à assurer la guerre « Mad max ». Enfin, le troisième risque est que l’intelligence artificielle puisse devenir l’esprit de la machine, que cette dernière, dotée d’un corps robotisé ou dronisé, puisse prendre conscience de son être par simple déduction et se retourner contre l’homme en considérant que ce dernier est en effet son ennemi…
Comment la Chine gouverne grâce aux données, à l’intelligence artificielle et à la surveillance Web.
En 1955, l’auteur de science-fiction Isaac Asimov a publié une nouvelle sur la « démocratie électronique », où un seul citoyen, choisi pour représenter une population entière, répondait aux questions générées par un ordinateur nommé Multivac. La machine recueillait ces données et calculait les résultats d’une élection qui, conséquemment, n’avait plus besoin d’avoir lieu. L’histoire d’Asimov se déroule à Bloomington, en Indiana, mais aujourd’hui, une machine semblable à Multivac est en construction en Chine.
Dans tout régime autoritaire, « le problème fondamental réside dans le fait que le centre ne comprend pas ce qui se passe aux niveaux inférieurs ni dans l’ensemble de la société », affirme Deborah Seligsohn, politologue et spécialiste de la politique chinoise à la Villanova University à Philadelphie. Comment peut-on gouverner efficacement un pays abritant un cinquième de la population planétaire et doté d’une économie et d’une société complexes si aucun débat public, aucun activisme civil ni aucune rétroaction ne sont permis ?
Comment recueille-t-on suffisamment de renseignements pour vraiment prendre des décisions ? Et comment un gouvernement qui n’invite pas ses citoyens à participer au débat peut-il encore susciter la confiance et modifier le comportement du public sans ingérence policière ?
Hu Jintao, leader de la Chine de 2002 à 2012, a tenté de régler ces problèmes en permettant un modeste dégel démocratique, où le peuple avait la possibilité de présenter ses griefs à la classe dirigeante. Son successeur, Xi Jinping, a inversé cette tendance. Sa stratégie pour comprendre et réagir à ce qui se passe chez une nation de 1,4 billion de citoyens repose plutôt sur une combinaison de surveillance, d’intelligence artificielle et de mégadonnées pour surveiller leur vie et leur comportement dans les moindres détails.
Cybersouveraineté
Les deux dernières années dans les démocraties du monde ont été tumultueuses, ce qui a aidé l’élite politique chinoise à se sentir de plus en plus justifier de faire taire les électeurs. Des évènements comme l’élection de Donald Trump, le Brexit, la montée de parties de l’extrême droite en Europe et le règne de terreur de Rodrigo Duterte aux Philippines ont mis en évidence ce que les critiques voient comme un problème propre à la démocratie, plus particulièrement le populisme, l’instabilité et le leadership dangereusement personnalisé.
Depuis qu’il est devenu secrétaire général du Parti communiste chinois en 2012, Xi a établi de nombreux plans ambitieux pour le pays, dont bon nombre sont enracinés dans la technologie — y compris l’objectif de devenir le leader mondial en intelligence artificielle d’ici 2030. Xi revendique une « cybersouveraineté » pour améliorer la censure et exercer un contrôle total sur l’Internet dans les foyers. En mai, il a déclaré lors d’une réunion de l’académie chinoise des sciences que la technologie était la clé pour atteindre « l’objectif ultime d’édification d’une nation socialiste et modernisée ».
En janvier, lorsqu’il s’est adressé à la nation via la télévision, on pouvait voir dans les étagères de sa bibliothèque des classiques comme ceux de Das Kapital et de nouveaux ajouts, notamment deux ouvrages sur l’intelligence artificielle : The Master Algorithm de Pedro Domingos et Augmented: Life in the Smart Lane de Brett King.
« Aucun gouvernement n’a un plan plus ambitieux et de plus grande envergure que le gouvernement chinois pour exploiter le pouvoir des données afin de changer la façon dont il gouverne », affirme Martin Chorzempa de la Peterson Institute for International Economics de Washington, DC. Même certains observateurs étrangers, observant de loin, pourraient bien se demander si une telle gouvernance axée sur les données n’offre pas une solution viable au modèle électoral, qui semble de plus en plus dysfonctionnel. Mais se fier indûment à la sagesse de la technologie et des données comporte des risques.
Des données plutôt qu’un dialogue
Les leaders chinois ont depuis longtemps voulu exploiter l’opinion publique sans ouvrir la porte des débats houleux et à des critiques à l’égard des autorités. Pendant la plus grande partie de l’histoire de la Chine impériale et moderne, des citoyens mécontents provenant du milieu rural ont fait le voyage jusqu’à Pékin et ont organisé des manifestations en tant que « requérants » publics. Ils croyaient que si les autorités locales ne comprenaient pas ou ignoraient leurs griefs, l’empereur pourrait faire preuve d’un meilleur jugement.
Sous l’autorité de Hu Jintao, certains membres du Parti communiste ont vu cette ouverture limitée comme une façon d’exposer et de résoudre certains types de problèmes. Blogueurs, journalistes anti-corruption, avocats des droits de la personne et critiques en ligne mettant en lumière la corruption locale ont suscité un débat public vers la fin du règne de Hu. Selon un ancien officier américain au courant de l’affaire, Xi a, au début de son mandat, été informé quotidiennement des préoccupations du public et des perturbations des médias sociaux. Au cours des dernières années, des requérants se sont amenés dans la capitale pour attirer l’attention sur des scandales comme la saisie illégale de propriétés par les autorités locales et le lait en poudre contaminé.
Mais la police empêche de plus en plus les requérants d’atteindre Pékin. « Il faut maintenant présenter des pièces d’identité nationale pour acheter des billets de trains, ce qui permet aux autorités d’identifier plus facilement les « trouble-fêtes » potentiels comme ceux qui ont protesté contre le gouvernement dans le passé », explique Maya Wang, chercheuse principale de la Chine chez Human Rights Watch.
« Plusieurs requérants nous ont affirmé avoir été arrêtés dans des gares. » Des blogueurs, activistes et avocats sont aussi systématiquement réduits au silence ou emprisonnés, comme si les données pouvaient donner au gouvernement les mêmes renseignements sans les problèmes épineux de la liberté.
L’idée d’utiliser la technologie en réseau en tant qu’outil de gouvernance en Chine remonte au moins au milieu des années 80. Comme l’explique l’historien Julian Gewirtz de la Harvard University, « Quand le gouvernement chinois a vu que les technologies de l’information devenaient partie prenante du quotidien, il a compris qu’il aurait un nouvel outil puissant pour à la fois recueillir de l’information et contrôler la culture et pour rendre le peuple chinois plus « moderne » et plus « gouvernable » — éternelle obsession du leadership. » Par la suite, les avancées technologiques dans le domaine de l’intelligence artificielle et l’amélioration des processeurs ont rapproché cette vision de la réalité.
Pour autant que nous le sachions, il n’existe pas de schéma directeur unique liant technologie et gouvernance en Chine. Mais il existe plusieurs initiatives qui partagent une stratégie commune de collecte de données sur les personnes et les entreprises pour éclairer la prise de décision et créer des systèmes d’incitations et de sanctions pour influencer les comportements.
Ces initiatives comprennent le « système de crédit social » de 2014 du Conseil d’État, la loi de 2016 sur la cybersécurité, diverses expériences sur le plan local et corporatif en matière de « crédit social », des plans de « villes intelligentes » et des politiques axées sur la technologie dans la région occidentale du Xinjiang. Il s’agit généralement de partenariats entre le gouvernement et les sociétés technologiques de Chine.
L’initiative la plus ambitieuse est le système de crédit social, bien qu’une meilleure traduction en français soit un système de « confiance » ou de « réputation ». Le plan du gouvernement, qui couvre population et entreprises, énumère parmi ses objectifs la « construction d’une transparence dans les affaires gouvernementales, une sincérité commerciale et une crédibilité judiciaire. » (Tout le monde en Chine a une tante qui s’est fait escroquer. Il existe un réel besoin de s’attaquer à l’effondrement de la confiance du public », affirme Paul Triolo, responsable de la géotechnologie chez Eurasia Group.) À ce jour, il s’agit d’un travail en cours, bien que plusieurs projets-pilotes donnent un aperçu de son fonctionnement en 2020, date où l’initiative devrait être entièrement implantée.
Les listes noires représentent le premier outil du système. Au cours des cinq dernières années, le système judiciaire chinois a publié le nom des personnes qui n’avaient pas payé leurs amendes ou ne s’étaient pas conformées à un jugement. Aux termes de nouveaux règlements sur le crédit social, cette liste a été communiquée à diverses entreprises et agences gouvernementales. Les personnes figurant sur la liste se sont vues refuser des emprunts, la réservation de vols aériens et de séjours dans des hôtels luxueux.
Les sociétés de transport national de la Chine ont créé d’autres listes noires pour punir certains usagers qui, entre autres, bloquent des portes ou se bagarrent durant un trajet. Les contrevenants ne peuvent plus acheter de billets pendant une période de six à douze mois. Plus tôt cette année, Pékin a lancé une série de listes noires pour empêcher les entreprises « malhonnêtes » de se voir attribuer de futurs contrats du gouvernement ou des concessions de terres.
Quelques gouvernements locaux ont testé le « pointage » du crédit social, bien qu’il ne soit pas certain que ce système fera partie du plan national. La ville de Rongcheng, dans le nord du pays, par exemple, attribue un pointage à chacun de ses 740 000 habitants, selon Foreign Policy. Tout le monde commence avec 1 000 points. Si vous faites un don à un organisme de charité ou vous recevez un prix du gouvernement, vous gagnez des points, si vous enfreignez le code de la route, par exemple en conduisant en état d’ébriété ou en accélérant à un passage piétonnier, vous perdez des points.
Les citoyens avec un bon pointage peuvent obtenir des rabais sur des fournitures de chauffage ou obtenir de meilleures modalités hypothécaires. Ceux ayant un mauvais pointage peuvent perdre leur accès à des prêts bancaires ou à une promotion s’ils ont un emploi auprès du gouvernement. La mairie met des affiches de modèles à suivre, qui ont fait preuve de « vertu » et gagné le plus de points.
« L’idée du crédit social est de surveiller et de gérer le comportement des gens et des institutions », explique Samantha Hoffman de la Mercator Institute for China Studies à Berlin. « Dès qu’une violation est inscrite dans une partie du système, elle peut déclencher une réaction dans d’autres parties du système. Il s’agit d’un concept conçu pour favoriser le développement économique et la gestion sociale, c’est fondamentalement politique. »
Certains systèmes similaires à l’avant-projet de la Chine existent déjà aux États-Unis : une mauvaise cote de crédit peut vous empêcher d’obtenir une hypothèque et une condamnation pour délit grave suspend ou annule votre droit de vote. « Mais ces systèmes ne sont pas tous reliés de la même façon. Il n’y a pas de plan global », souligne Hoffman.
L’une des plus grandes inquiétudes entoure le fait que la Chine n’a pas de système judiciaire indépendant, les citoyens n’ont aucun recours pour contester des allégations fausses ou inexactes. Certaines personnes ont vu leur nom ajouté à la liste noire des transports sans préavis après la décision d’un tribunal. Des requérants et des journalistes d’investigation sont surveillés en fonction d’un autre système, et les personnes qui participent à des programmes de désintoxication sont surveillées par un autre système de surveillance.
« En théorie, les bases de données sur les toxicomanes sont censées effacer le nom de ces personnes après cinq ou sept ans, pour la plupart des cas, ce n’est pas fait », affirme Wang de Human Rights Watch. « C’est extrêmement difficile de faire retirer votre nom de ces listes. »
D’occasionnels éclats de rage en ligne traduisent le ressentiment du public. La nouvelle qu’un étudiant s’était vu refuser son admission par un collège parce que le nom de son père figurait sur une liste noire de crédit a récemment enflammé le Net. La décision du collège n’a pas été officiellement sanctionnée ni ordonnée par le gouvernement. Plutôt, dans leur effort pour appuyer ces nouvelles politiques, les administrateurs de l’école les ont simplement interprétés de la façon qu’ils estimaient logique.
L’opacité du système rend difficile l’évaluation de l’efficacité des tests comme ceux de Rongcheng. Depuis 2012, le parti a écrasé presque toutes les voix critiques, et les risques de contester le système, même de façon relativement modeste, se sont accrus. Les informations disponibles sont profondément erronées; la falsification systématique de toutes les données, de la croissance du PIB à l’utilisation de l’hydroélectricité, est omniprésente dans les statistiques du gouvernement chinois. Borge Bakken, chercheur à la Australian National University, estime que les chiffres officiels de la criminalité, que le gouvernement a clairement intérêt à minimiser, peuvent ne représenter que 2,5 % de tous les comportements criminels.
En théorie, la gouvernance axée sur les données pourrait aider à résoudre ces problèmes – en contournant les distorsions pour permettre au gouvernement central de recueillir directement les renseignements. C’est l’idée derrière, par exemple, l’introduction des dispositifs de surveillance de la qualité de l’air qui envoient des données aux autorités centrales plutôt que de se fier aux fonctionnaires locaux qui pourraient être de mèche avec les industries polluantes. Mais plusieurs aspects d’une bonne gouvernance sont trop complexes pour permettre ce genre de suivi direct et se fient plutôt aux données saisies par ces mêmes fonctionnaires locaux.
Cependant, le gouvernement chinois publie rarement les données sur le rendement que des étrangers pourraient utiliser pour évaluer ces systèmes. Prenons par exemple les caméras qui sont utilisées pour identifier et humilier des piétons dans certaines villes en projetant l’image de leur visage sur des panneaux d’affichage public, de même que pour suivre les habitudes de prière des musulmans en Chine occidentale. Leur précision soulève des questions : plus particulièrement, comment un logiciel de reconnaissance faciale programmé à reconnaître des visages chinois Han peut-il reconnaître avec justesse le visage d’une personne d’une minorité ethnique de l’Eurasie ?
En outre, même si les données collectées sont exactes, comment le gouvernement utilisera-t-il cette information pour orienter ou empêcher un certain comportement futur ? Les algorithmes de la police qui prédisent qui deviendra possiblement un criminel ne sont pas soumis à l’examen du public, pas plus que les statistiques qui démontreraient si un certain type de crime ou le terrorisme est en hausse ou en baisse. (Par exemple, dans la région occidentale du Xinjiang, les renseignements disponibles démontrent que le nombre de personnes placées en garde à vue par la police a considérablement augmenté, soit de 731 % entre 2016 et 2017.)
In the city of Xiangyang, cameras linked to face-recognition technology project photos of jaywalkers, with names and ID numbers, on a billboard. Credit: TechnologyReview
« Ce n’est pas la technologie qui a créé les politiques, mais elle accroît grandement la quantité de données que le gouvernement chinois peut recueillir sur ses citoyens », déclare Richard McGregor, agrégé supérieur à Lowy Institute et auteur de l’ouvrage The Party: The Secret World of China’s Communist Rulers. « L’Internet en Chine agit comme une agence de renseignement numérique privée en temps réel. »
Politiques algorithmiques
Dans un article paru dans le Washington Post plus tôt cette année, Xiao Qiang, professeur de communications à la University of California, à Berkeley, a qualifié la gouvernance améliorée par les données de la Chine d’« État totalitaire numérique ». Les aspects dystopiques sont plus évidents dans l’ouest de la Chine.
Xinjiang (le « nouveau territoire ») est le foyer traditionnel d’une minorité musulmane connue sous le nom d’Ouïgours. Comme de nombreux migrants chinois Han s’y sont installés, certains disent « colonisés », les possibilités de travail et les occasions religieuses offertes à la population locale ouïghoure ont diminué, ce qui a entraîné une recrudescence de la violence dans laquelle Han et les Ouïghours ont été pris pour cible, y compris l’émeute de 2009 dans la capitale de Urumqi, où 200 personnes ont trouvé la mort.
La réaction du gouvernement à l’intensification des tensions n’a pas été de tenir des forums de discussion pour solliciter l’avis du public ou des conseils stratégiques, l’État choisit plutôt d’avoir recours à la collecte de données et les algorithmes pour déterminer qui est «susceptible» de commettre dans le futur des actes de violence ou de défiance.
Le gouvernement du Xinjiang a fait appel à une société privée pour concevoir des algorithmes prédictifs qui évaluent divers réseaux de données. Il n’existe aucun registre public ni aucune imputabilité à l’égard de la façon dont ces calculs sont déterminés ou pondérés. « Les personnes dont la vie est régie par ce système ne savent généralement pas quelles en sont les règles », affirme Rian Thum, anthropologue à la Loyola University qui étudie le Xinjiang et qui a vu les avis d’appel d’offres du gouvernement qui ont été émis dans le cadre de la conception du système.
Dans la ville de Kashgar, à l’ouest du pays, bon nombre de maisons et de boutiques sises sur les rues principales sont désormais murées et les parcs publics sont vides. Lors de ma visite en 2013, il était évident que Kashgar était déjà une ville marquée par la ségrégation — les populations han et ouïgoure vivaient et travaillaient chacun dans des quartiers distincts de la ville.
Mais le soir, c’était aussi un endroit vivant et parfois bruyant, où l’appel à la prière se mêlait à la musique des bars locaux et aux conversations des vieillards assis dans des chaises en plastique sur les terrasses. Aujourd’hui, la ville est étrangement silencieuse; la vie de quartier n’existe quasiment plus. Emily Feng, journaliste pour le Financial Times, a visité Kashgar en juin et a affiché des photos sur Twitter de ces rues nouvellement fantômes.
La raison est que, selon certaines estimations, plus d’un adulte ouïghour et kazakh sur dix dans le Xinjiang a été envoyé dans des « camps de rééducation » aux anneaux barbelés – et ceux qui restent en liberté ont peur.
Dans les deux dernières années, des milliers de points de contrôle ont été mis en place où les passants doivent présenter leur visage et leur carte d’identité nationale pour emprunter l’autoroute, entrer dans une mosquée ou encore visiter un centre commercial. Les Ouïghours sont tenus d’installer des applications de surveillance conçues par le gouvernement sur leur téléphone intelligent, lesquelles surveillent leurs contacts en ligne et les pages Web qu’ils visitent.
Les policiers se rendent régulièrement dans les maisons pour collecter d’autres données notamment sur le nombre de personnes qui vivent dans le ménage, leurs relations avec leurs voisins, le nombre de fois où les gens prient quotidiennement, s’ils ont voyagé à l’étranger et quels livres ils possèdent.
Tous ces flux de données alimentent le système de sécurité publique du Xinjiang, de même que d’autres registres comprenant des renseignements sur tout, de l’historique bancaire à la planification familiale. « Le programme informatique regroupe toutes les données provenant de ces différentes sources et signale celles qui pourraient devenir une « menace » pour les autorités », explique Wang.
Bien que l’algorithme précis soit inconnu, on pense qu’il peut signaler des comportements tels que visiter une mosquée particulière, posséder beaucoup de livres, acheter une grande quantité d’essence ou recevoir des appels ou courriels provenant de l’étranger. Les personnes qui sont signalées reçoivent la visite de la police, qui peut les placer en garde à vue et les mettre en prison ou encore dans des camps de rééducation sans aucune accusation formelle.
Adrian Zenz, politologue à la European School of Culture and Theology à Korntal, en Allemagne, estime que le taux d’internement des minorités dans le Xinjiang pourrait atteindre 11,5 % de la population adulte. Ces camps sont conçus pour instiller le patriotisme et faire renier les croyances religieuses des internés. (De nouveaux avis d’appel d’offres pour des gardiens de sécurité dans les crématoires semblent indiquer que le gouvernement essaye d’éradiquer les pratiques d’inhumation musulmanes traditionnelles dans la région.)
Alors que le Xinjiang représente un extrême draconien, ailleurs en Chine, les citoyens commencent à repousser certains types de surveillance. Une société Internet qui diffusait en continu des images de télévision en circuit fermé en ligne a mis fin à ces émissions à la suite d’un tollé général. La ville de Shanghai a récemment publié des règlements pour permettre aux gens de contester les renseignements inexacts utilisés pour compiler les dossiers de crédit social.
« Les demandes de protection de la vie privée de la part des internautes chinois sont de plus en plus nombreuses », affirme Samm Sacks, chercheur principal au Programme de la politique technologique du SCRS à New York. « Ce n’est pas tout à fait la liberté d’expression qu’elle est censée être. »
L’année dernière, le gouvernement chinois annonçait ses intentions de devenir le leader de l’intelligence artificielle d’ici 2030. Comme l’explique Eric Schmidt : « C’est assez simple. D’ici 2020, ils auront rattrapé leur retard. D’ici 2025, ils seront meilleurs que nous. D’ici 2030, ils domineront toutes les industries de l’intelligence artificielle. » Et les chiffres ne mentent pas. PricewaterhouseCoopers a récemment estimé que le déploiement de l’intelligence artificielle devrait apporter 15,7 billions de dollars supplémentaires au PIB mondial d’ici 2030, dont 7 billions à celui de la Chine, éclipsant les 3,7 billions de l’Amérique du Nord. En 2017, la Chine représentait 48 % du financement mondial destiné aux startups en intelligence artificielle, comparativement à 38 % pour les États-Unis. Les investissements chinois dans l’intelligence artificielle, les puces et les véhicules électriques auraient déjà atteint les 300 milliards de dollars.
Comme l’indique Kai-Fu Lee dans son livre intitulé AI Superpowers, quatre facteurs principaux contribueraient à faire pencher la balance en faveur de la Chine.
1. Des données abondantes
Le plus grand avantage de la Chine réside possiblement dans l’importante quantité de données dont elle dispose. La plateforme WeChat de Tencent compte à elle seule plus de 889 millions d’utilisateurs actifs par jour. C’est plus que l’ensemble de la population européenne. Les achats effectués en ligne sont près de deux fois plus importants en Chine qu’aux États-Unis. Mais l’avantage de la Chine en matière de données ne se limite pas à la quantité.
Alors que la Chine assiste à une explosion du nombre de startups O2O (online-to-offline), leurs données créent une nouvelle couche de renseignement sans équivalent en Occident. Alors que les données de paiement et de transport des utilisateurs américains sont fragmentées sur différentes plateformes, les géants chinois de l’intelligence artificielle comme Tencent créent des écosystèmes en ligne unifiés qui concentrent l’ensemble des données de chaque utilisateur en un seul endroit. Cela leur permet de générer des cartes complexes répertoriant des centaines de millions de comportements d’utilisateurs.
Avec la montée en puissance inégalée du vélo en libre-service comme l’Ofo et le Mobike en Chine, les entreprises chinoises peuvent désormais exploiter des cartes profondément texturées sur les déplacements de chacun, leur permettant d’en savoir long sur leurs habitudes d’allées et venues, tant pour le travail que pour le supermarché. Avec l’explosion des capacités de la reconnaissance faciale en Chine, ces cartes comportent de plus en plus de visages, même lorsque l’utilisateur n’est pas en ligne. En faisant correspondre le comportement des utilisateurs en ligne à leur monde physique, les entreprises chinoises de technologie bénéficient de données qui leur offrent un avantage considérable sur leurs homologues de la Silicon Valley.
Andrew Ng, fondateur et ancien directeur de Google Brain, a noté l’engouement acharné des entrepreneurs chinois : « Le travail est effectué beaucoup plus rapidement en Chine que dans la majeure partie de la Silicon Valley. Quand vous repérez une opportunité d’affaires en Chine, le temps dont vous disposez pour la saisir est très court ».
Avec l’explosion de l’expertise chinoise en intelligence artificielle, ces entrepreneurs se débarrassent enfin de leur ancienne réputation d’« imitateurs », et créent des entreprises sans équivalent en Occident. La Chine, qui abrite aujourd’hui trois des sept géants de l’intelligence artificielle (Baidu, Alibaba et Tencent), est également le théâtre d’un écosystème florissant de startups en intelligence artificielle.
Pas plus tard que cette année, la société chinoise SenseTime, spécialisée en vision artificielle, est devenue la startup la plus lucrative au monde dans le domaine de l’intelligence artificielle. Ayant développé des technologies capables d’identifier votre visage, d’estimer votre âge et même de découvrir vos habitudes d’achat, SenseTime est maintenant un leader mondial dans les technologies de reconnaissance faciale. La société a levé 620 millions de dollars dans le cadre de sa ronde de financement Série C+ annoncée en mai dernier, pour une valeur de plus de 4,5 milliards de dollars. Et SenseTime n’est pas la seule de sa catégorie. En avril dernier, la Chine comptait 168 licornes, évaluées collectivement à plus de 628 milliards de dollars.
3. Une grande expertise en intelligence artificielle
Il est important de noter que la Chine n’est qu’une nouvelle venue dans ce secteur. Quand l’apprentissage profond (deep learning) a connu sa grande percée en 2012, la Chine venait à peine de prendre part à la révolution de l’intelligence artificielle. Mais en quelques années à peine, la communauté chinoise de l’intelligence artificielle a rapidement rattrapé son retard. La majorité des chercheurs en intelligence artificielle les plus réputés au monde se trouvent toujours aux États-Unis (au profit d’entreprises comme Google), mais les géants chinois de la technologie sont rapidement en train de combler l’écart. Déjà dans le monde universitaire, les chercheurs chinois de l’intelligence artificielle sont côte à côte avec leurs contemporains américains. Au cours de la conférence 2017 de l’AAAI, un nombre égal d’articles acceptés provenaient de chercheurs américains et chinois.
Nous avons également constaté une collaboration accrue entre les plus grandes entreprises de technologie chinoises et les étudiants de talent émergents. Tencent, par exemple, parraine des bourses d’études pour des étudiants d’un laboratoire de l’Université des sciences et de la technologie de Hong Kong, leur donnant ainsi accès à une masse de données WeChat. De leurs côtés, Baidu, Didi et Tencent ont tous mis sur pied leurs propres laboratoires de recherche.
La société chinoise Face++ est désormais le leader mondial de l’intelligence artificielle en reconnaissance de visages et d’images, devançant les meilleures équipes de Google, Microsoft et Facebook lors du concours de reconnaissance d’images COCO 2017. La société de logiciels de reconnaissance vocale iFlyTek n’a pas seulement supplanté DeepMind d’Alphabet, Facebook et Watson d’IBM dans le traitement du langage naturel, elle l’a fait dans sa « langue seconde », l’anglais. Cette entreprise, la plus importante au monde dans le traitement du langage, a développé une technologie de pointe qui devrait un jour permettre la traduction instantanée de la parole dans n’importe quelle langue.
Le jour où AlphaGo de DeepMind a battu le chinois Ke Jie, alors champion du monde au jeu de Go, est entré dans l’histoire comme l’« événement Spoutnik » de la Chine. Dans les deux mois qui ont suivi cette victoire de l’intelligence artificielle, le gouvernement chinois a annoncé son plan visant à faire de la Chine le centre mondial de l’innovation en intelligence artificielle, avec l’objectif d’atteindre le billion de yuans (environ 150 milliards de dollars US) dans ce secteur d’ici 2030.
Au cours de la dernière décennie, les dépenses du gouvernement chinois en matière de recherche sur les STEM (Science, Technologie, Ingénierie et Mathématiques) ont augmenté de deux chiffres d’une année à l’autre. Les maires de tout le pays ont construit des incubateurs d’innovation, fournissant des fonds à capital-risque soutenus par le gouvernement, couvrant même le loyer et ouvrant des avenues pour les startups et les accélérateurs en intelligence artificielle. Pékin prévoit d’investir 2 milliards de dollars dans un parc de développement de l’intelligence artificielle, qui abriterait jusqu’à 400 entreprises et un laboratoire national d’intelligence artificielle, stimulant la recherche-développement, les brevets et l’innovation sociale. Des zones comme le nouveau district de Xiong’an s’affairent à la construction de villes entières d’intelligence artificielle pour les deux prochaines décennies, centrées autour de véhicules autonomes, de routes équipées de panneaux solaires et d’infrastructures équipées de systèmes de vision par ordinateur.
Enfin, les administrations locales ont commencé à s’associer aux plus importantes sociétés chinoises de l’intelligence artificielle pour construire des complexes parti-entreprise. Agissant à titre d’« équipes nationales », des entreprises comme Baidu, Alibaba, Tencent et iFlyTek collaborent avec des organisations nationales comme le National Engineering Lab for Deep Learning Technologies de Chine pour faire avancer la recherche et stimuler l’innovation.
Mot de la fin
Autrefois négligé et perçu comme un marché d’imitateurs cherchant de l’inspiration et du savoir-faire du côté de la Silicon Valley, l’écosystème chinois de l’intelligence artificielle a largement dépassé ce stade. Propulsé par une abondance de fonds gouvernementaux, la refonte des infrastructures intelligentes, des recherches de pointe en intelligence artificielle et certains des entrepreneurs les plus dynamiques au monde, le train chinois de l’intelligence artificielle ne semble pas près de ralentir.
