Comment la Chine gouverne grâce aux données, à l’intelligence artificielle et à la surveillance Web.

En 1955, l’auteur de science-fiction Isaac Asimov a publié une nouvelle sur la « démocratie électronique », où un seul citoyen, choisi pour représenter une population entière, répondait aux questions générées par un ordinateur nommé Multivac. La machine recueillait ces données et calculait les résultats d’une élection qui, conséquemment, n’avait plus besoin d’avoir lieu. L’histoire d’Asimov se déroule à Bloomington, en Indiana, mais aujourd’hui, une machine semblable à Multivac est en construction en Chine.

Dans tout régime autoritaire, « le problème fondamental réside dans le fait que le centre ne comprend pas ce qui se passe aux niveaux inférieurs ni dans l’ensemble de la société », affirme Deborah Seligsohn, politologue et spécialiste de la politique chinoise à la Villanova University à Philadelphie. Comment peut-on gouverner efficacement un pays abritant un cinquième de la population planétaire et doté d’une économie et d’une société complexes si aucun débat public, aucun activisme civil ni aucune rétroaction ne sont permis ?

Comment recueille-t-on suffisamment de renseignements pour vraiment prendre des décisions ? Et comment un gouvernement qui n’invite pas ses citoyens à participer au débat peut-il encore susciter la confiance et modifier le comportement du public sans ingérence policière ?

Hu Jintao, leader de la Chine de 2002 à 2012, a tenté de régler ces problèmes en permettant un modeste dégel démocratique, où le peuple avait la possibilité de présenter ses griefs à la classe dirigeante. Son successeur, Xi Jinping, a inversé cette tendance. Sa stratégie pour comprendre et réagir à ce qui se passe chez une nation de 1,4 billion de citoyens repose plutôt sur une combinaison de surveillance, d’intelligence artificielle et de mégadonnées pour surveiller leur vie et leur comportement dans les moindres détails.

Cybersouveraineté 

Les deux dernières années dans les démocraties du monde ont été tumultueuses, ce qui a aidé l’élite politique chinoise à se sentir de plus en plus justifier de faire taire les électeurs. Des évènements comme l’élection de Donald Trump, le Brexit, la montée de parties de l’extrême droite en Europe et le règne de terreur de Rodrigo Duterte aux Philippines ont mis en évidence ce que les critiques voient comme un problème propre à la démocratie, plus particulièrement le populisme, l’instabilité et le leadership dangereusement personnalisé.

Depuis qu’il est devenu secrétaire général du Parti communiste chinois en 2012, Xi a établi de nombreux plans ambitieux pour le pays, dont bon nombre sont enracinés dans la technologie — y compris l’objectif de devenir le leader mondial en intelligence artificielle d’ici 2030. Xi revendique une « cybersouveraineté » pour améliorer la censure et exercer un contrôle total sur l’Internet dans les foyers. En mai, il a déclaré lors d’une réunion de l’académie chinoise des sciences que la technologie était la clé pour atteindre « l’objectif ultime d’édification d’une nation socialiste et modernisée ».

En janvier, lorsqu’il s’est adressé à la nation via la télévision, on pouvait voir dans les étagères de sa bibliothèque des classiques comme ceux de Das Kapital et de nouveaux ajouts, notamment deux ouvrages sur l’intelligence artificielle : The Master Algorithm de Pedro Domingos et Augmented: Life in the Smart Lane de Brett King.

« Aucun gouvernement n’a un plan plus ambitieux et de plus grande envergure que le gouvernement chinois pour exploiter le pouvoir des données afin de changer la façon dont il gouverne », affirme Martin Chorzempa de la Peterson Institute for International Economics de Washington, DC. Même certains observateurs étrangers, observant de loin, pourraient bien se demander si une telle gouvernance axée sur les données n’offre pas une solution viable au modèle électoral, qui semble de plus en plus dysfonctionnel. Mais se fier indûment à la sagesse de la technologie et des données comporte des risques.

Des données plutôt qu’un dialogue

Les leaders chinois ont depuis longtemps voulu exploiter l’opinion publique sans ouvrir la porte des débats houleux et à des critiques à l’égard des autorités. Pendant la plus grande partie de l’histoire de la Chine impériale et moderne, des citoyens mécontents provenant du milieu rural ont fait le voyage jusqu’à Pékin et ont organisé des manifestations en tant que « requérants » publics. Ils croyaient que si les autorités locales ne comprenaient pas ou ignoraient leurs griefs, l’empereur pourrait faire preuve d’un meilleur jugement.

Sous l’autorité de Hu Jintao, certains membres du Parti communiste ont vu cette ouverture limitée comme une façon d’exposer et de résoudre certains types de problèmes. Blogueurs, journalistes anti-corruption, avocats des droits de la personne et critiques en ligne mettant en lumière la corruption locale ont suscité un débat public vers la fin du règne de Hu. Selon un ancien officier américain au courant de l’affaire, Xi a, au début de son mandat, été informé quotidiennement des préoccupations du public et des perturbations des médias sociaux. Au cours des dernières années, des requérants se sont amenés dans la capitale pour attirer l’attention sur des scandales comme la saisie illégale de propriétés par les autorités locales et le lait en poudre contaminé.

Mais la police empêche de plus en plus les requérants d’atteindre Pékin. « Il faut maintenant présenter des pièces d’identité nationale pour acheter des billets de trains, ce qui permet aux autorités d’identifier plus facilement les « trouble-fêtes » potentiels comme ceux qui ont protesté contre le gouvernement dans le passé », explique Maya Wang, chercheuse principale de la Chine chez Human Rights Watch.

« Plusieurs requérants nous ont affirmé avoir été arrêtés dans des gares. » Des blogueurs, activistes et avocats sont aussi systématiquement réduits au silence ou emprisonnés, comme si les données pouvaient donner au gouvernement les mêmes renseignements sans les problèmes épineux de la liberté.

L’idée d’utiliser la technologie en réseau en tant qu’outil de gouvernance en Chine remonte au moins au milieu des années 80. Comme l’explique l’historien Julian Gewirtz de la Harvard University, « Quand le gouvernement chinois a vu que les technologies de l’information devenaient partie prenante du quotidien, il a compris qu’il aurait un nouvel outil puissant pour à la fois recueillir de l’information et contrôler la culture et pour rendre le peuple chinois plus « moderne » et plus « gouvernable » — éternelle obsession du leadership. » Par la suite, les avancées technologiques dans le domaine de l’intelligence artificielle et l’amélioration des processeurs ont rapproché cette vision de la réalité.

Pour autant que nous le sachions, il n’existe pas de schéma directeur unique liant technologie et gouvernance en Chine. Mais il existe plusieurs initiatives qui partagent une stratégie commune de collecte de données sur les personnes et les entreprises pour éclairer la prise de décision et créer des systèmes d’incitations et de sanctions pour influencer les comportements.

Ces initiatives comprennent le « système de crédit social » de 2014 du Conseil d’État, la loi de 2016 sur la cybersécurité, diverses expériences sur le plan local et corporatif en matière de « crédit social », des plans de « villes intelligentes » et des politiques axées sur la technologie dans la région occidentale du Xinjiang. Il s’agit généralement de partenariats entre le gouvernement et les sociétés technologiques de Chine.

L’initiative la plus ambitieuse est le système de crédit social, bien qu’une meilleure traduction en français soit un système de « confiance » ou de « réputation ». Le plan du gouvernement, qui couvre population et entreprises, énumère parmi ses objectifs la « construction d’une transparence dans les affaires gouvernementales, une sincérité commerciale et une crédibilité judiciaire. » (Tout le monde en Chine a une tante qui s’est fait escroquer. Il existe un réel besoin de s’attaquer à l’effondrement de la confiance du public », affirme Paul Triolo, responsable de la géotechnologie chez Eurasia Group.) À ce jour, il s’agit d’un travail en cours, bien que plusieurs projets-pilotes donnent un aperçu de son fonctionnement en 2020, date où l’initiative devrait être entièrement implantée.

Les listes noires représentent le premier outil du système. Au cours des cinq dernières années, le système judiciaire chinois a publié le nom des personnes qui n’avaient pas payé leurs amendes ou ne s’étaient pas conformées à un jugement. Aux termes de nouveaux règlements sur le crédit social, cette liste a été communiquée à diverses entreprises et agences gouvernementales. Les personnes figurant sur la liste se sont vues refuser des emprunts, la réservation de vols aériens et de séjours dans des hôtels luxueux.

Les sociétés de transport national de la Chine ont créé d’autres listes noires pour punir certains usagers qui, entre autres, bloquent des portes ou se bagarrent durant un trajet. Les contrevenants ne peuvent plus acheter de billets pendant une période de six à douze mois. Plus tôt cette année, Pékin a lancé une série de listes noires pour empêcher les entreprises « malhonnêtes » de se voir attribuer de futurs contrats du gouvernement ou des concessions de terres.

Quelques gouvernements locaux ont testé le « pointage » du crédit social, bien qu’il ne soit pas certain que ce système fera partie du plan national. La ville de Rongcheng, dans le nord du pays, par exemple, attribue un pointage à chacun de ses 740 000 habitants, selon Foreign Policy. Tout le monde commence avec 1 000 points. Si vous faites un don à un organisme de charité ou vous recevez un prix du gouvernement, vous gagnez des points, si vous enfreignez le code de la route, par exemple en conduisant en état d’ébriété ou en accélérant à un passage piétonnier, vous perdez des points.

Les citoyens avec un bon pointage peuvent obtenir des rabais sur des fournitures de chauffage ou obtenir de meilleures modalités hypothécaires. Ceux ayant un mauvais pointage peuvent perdre leur accès à des prêts bancaires ou à une promotion s’ils ont un emploi auprès du gouvernement. La mairie met des affiches de modèles à suivre, qui ont fait preuve de « vertu » et gagné le plus de points.

« L’idée du crédit social est de surveiller et de gérer le comportement des gens et des institutions », explique Samantha Hoffman de la Mercator Institute for China Studies à Berlin. « Dès qu’une violation est inscrite dans une partie du système, elle peut déclencher une réaction dans d’autres parties du système. Il s’agit d’un concept conçu pour favoriser le développement économique et la gestion sociale, c’est fondamentalement politique. »

Certains systèmes similaires à l’avant-projet de la Chine existent déjà aux États-Unis : une mauvaise cote de crédit peut vous empêcher d’obtenir une hypothèque et une condamnation pour délit grave suspend ou annule votre droit de vote. « Mais ces systèmes ne sont pas tous reliés de la même façon. Il n’y a pas de plan global », souligne Hoffman.

L’une des plus grandes inquiétudes entoure le fait que la Chine n’a pas de système judiciaire indépendant, les citoyens n’ont aucun recours pour contester des allégations fausses ou inexactes. Certaines personnes ont vu leur nom ajouté à la liste noire des transports sans préavis après la décision d’un tribunal. Des requérants et des journalistes d’investigation sont surveillés en fonction d’un autre système, et les personnes qui participent à des programmes de désintoxication sont surveillées par un autre système de surveillance.

« En théorie, les bases de données sur les toxicomanes sont censées effacer le nom de ces personnes après cinq ou sept ans, pour la plupart des cas, ce n’est pas fait », affirme Wang de Human Rights Watch. « C’est extrêmement difficile de faire retirer votre nom de ces listes. »

D’occasionnels éclats de rage en ligne traduisent le ressentiment du public. La nouvelle qu’un étudiant s’était vu refuser son admission par un collège parce que le nom de son père figurait sur une liste noire de crédit a récemment enflammé le Net. La décision du collège n’a pas été officiellement sanctionnée ni ordonnée par le gouvernement. Plutôt, dans leur effort pour appuyer ces nouvelles politiques, les administrateurs de l’école les ont simplement interprétés de la façon qu’ils estimaient logique.

L’opacité du système rend difficile l’évaluation de l’efficacité des tests comme ceux de Rongcheng. Depuis 2012, le parti a écrasé presque toutes les voix critiques, et les risques de contester le système, même de façon relativement modeste, se sont accrus. Les informations disponibles sont profondément erronées; la falsification systématique de toutes les données, de la croissance du PIB à l’utilisation de l’hydroélectricité, est omniprésente dans les statistiques du gouvernement chinois. Borge Bakken, chercheur à la Australian National University, estime que les chiffres officiels de la criminalité, que le gouvernement a clairement intérêt à minimiser, peuvent ne représenter que 2,5 % de tous les comportements criminels.

En théorie, la gouvernance axée sur les données pourrait aider à résoudre ces problèmes – en contournant les distorsions pour permettre au gouvernement central de recueillir directement les renseignements. C’est l’idée derrière, par exemple, l’introduction des dispositifs de surveillance de la qualité de l’air qui envoient des données aux autorités centrales plutôt que de se fier aux fonctionnaires locaux qui pourraient être de mèche avec les industries polluantes. Mais plusieurs aspects d’une bonne gouvernance sont trop complexes pour permettre ce genre de suivi direct et se fient plutôt aux données saisies par ces mêmes fonctionnaires locaux.

Cependant, le gouvernement chinois publie rarement les données sur le rendement que des étrangers pourraient utiliser pour évaluer ces systèmes. Prenons par exemple les caméras qui sont utilisées pour identifier et humilier des piétons dans certaines villes en projetant l’image de leur visage sur des panneaux d’affichage public, de même que pour suivre les habitudes de prière des musulmans en Chine occidentale. Leur précision soulève des questions : plus particulièrement, comment un logiciel de reconnaissance faciale programmé à reconnaître des visages chinois Han peut-il reconnaître avec justesse le visage d’une personne d’une minorité ethnique de l’Eurasie ?

En outre, même si les données collectées sont exactes, comment le gouvernement utilisera-t-il cette information pour orienter ou empêcher un certain comportement futur ? Les algorithmes de la police qui prédisent qui deviendra possiblement un criminel ne sont pas soumis à l’examen du public, pas plus que les statistiques qui démontreraient si un certain type de crime ou le terrorisme est en hausse ou en baisse. (Par exemple, dans la région occidentale du Xinjiang, les renseignements disponibles démontrent que le nombre de personnes placées en garde à vue par la police a considérablement augmenté, soit de 731 % entre 2016 et 2017.)

In the city of Xiangyang, cameras linked to face-recognition technology project photos of jaywalkers, with names and ID numbers, on a billboard.
Credit: TechnologyReview

« Ce n’est pas la technologie qui a créé les politiques, mais elle accroît grandement la quantité de données que le gouvernement chinois peut recueillir sur ses citoyens », déclare Richard McGregor, agrégé supérieur à Lowy Institute et auteur de l’ouvrage The Party: The Secret World of China’s Communist Rulers. « L’Internet en Chine agit comme une agence de renseignement numérique privée en temps réel. »

Politiques algorithmiques

Dans un article paru dans le Washington Post plus tôt cette année, Xiao Qiang, professeur de communications à la University of California, à Berkeley, a qualifié la gouvernance améliorée par les données de la Chine d’« État totalitaire numérique ». Les aspects dystopiques sont plus évidents dans l’ouest de la Chine.

Xinjiang (le « nouveau territoire ») est le foyer traditionnel d’une minorité musulmane connue sous le nom d’Ouïgours. Comme de nombreux migrants chinois Han s’y sont installés, certains disent « colonisés », les possibilités de travail et les occasions religieuses offertes à la population locale ouïghoure ont diminué, ce qui a entraîné une recrudescence de la violence dans laquelle Han et les Ouïghours ont été pris pour cible, y compris l’émeute de 2009 dans la capitale de Urumqi, où 200 personnes ont trouvé la mort.

La réaction du gouvernement à l’intensification des tensions n’a pas été de tenir des forums de discussion pour solliciter l’avis du public ou des conseils stratégiques, l’État choisit plutôt d’avoir recours à la collecte de données et les algorithmes pour déterminer qui est «susceptible» de commettre dans le futur des actes de violence ou de défiance.

Le gouvernement du Xinjiang a fait appel à une société privée pour concevoir des algorithmes prédictifs qui évaluent divers réseaux de données. Il n’existe aucun registre public ni aucune imputabilité à l’égard de la façon dont ces calculs sont déterminés ou pondérés. « Les personnes dont la vie est régie par ce système ne savent généralement pas quelles en sont les règles », affirme Rian Thum, anthropologue à la Loyola University qui étudie le Xinjiang et qui a vu les avis d’appel d’offres du gouvernement qui ont été émis dans le cadre de la conception du système.

Dans la ville de Kashgar, à l’ouest du pays, bon nombre de maisons et de boutiques sises sur les rues principales sont désormais murées et les parcs publics sont vides. Lors de ma visite en 2013, il était évident que Kashgar était déjà une ville marquée par la ségrégation — les populations han et ouïgoure vivaient et travaillaient chacun dans des quartiers distincts de la ville.

Mais le soir, c’était aussi un endroit vivant et parfois bruyant, où l’appel à la prière se mêlait à la musique des bars locaux et aux conversations des vieillards assis dans des chaises en plastique sur les terrasses. Aujourd’hui, la ville est étrangement silencieuse; la vie de quartier n’existe quasiment plus. Emily Feng, journaliste pour le Financial Times, a visité Kashgar en juin et a affiché des photos sur Twitter de ces rues nouvellement fantômes.

La raison est que, selon certaines estimations, plus d’un adulte ouïghour et kazakh sur dix dans le Xinjiang a été envoyé dans des « camps de rééducation » aux anneaux barbelés – et ceux qui restent en liberté ont peur.

Dans les deux dernières années, des milliers de points de contrôle ont été mis en place où les passants doivent présenter leur visage et leur carte d’identité nationale pour emprunter l’autoroute, entrer dans une mosquée ou encore visiter un centre commercial. Les Ouïghours sont tenus d’installer des applications de surveillance conçues par le gouvernement sur leur téléphone intelligent, lesquelles surveillent leurs contacts en ligne et les pages Web qu’ils visitent.

Les policiers se rendent régulièrement dans les maisons pour collecter d’autres données notamment sur le nombre de personnes qui vivent dans le ménage, leurs relations avec leurs voisins, le nombre de fois où les gens prient quotidiennement, s’ils ont voyagé à l’étranger et quels livres ils possèdent.

Tous ces flux de données alimentent le système de sécurité publique du Xinjiang, de même que d’autres registres comprenant des renseignements sur tout, de l’historique bancaire à la planification familiale. « Le programme informatique regroupe toutes les données provenant de ces différentes sources et signale celles qui pourraient devenir une « menace » pour les autorités », explique Wang.

Bien que l’algorithme précis soit inconnu, on pense qu’il peut signaler des comportements tels que visiter une mosquée particulière, posséder beaucoup de livres, acheter une grande quantité d’essence ou recevoir des appels ou courriels provenant de l’étranger. Les personnes qui sont signalées reçoivent la visite de la police, qui peut les placer en garde à vue et les mettre en prison ou encore dans des camps de rééducation sans aucune accusation formelle.

Adrian Zenz, politologue à la European School of Culture and Theology à Korntal, en Allemagne, estime que le taux d’internement des minorités dans le Xinjiang pourrait atteindre 11,5 % de la population adulte. Ces camps sont conçus pour instiller le patriotisme et faire renier les croyances religieuses des internés. (De nouveaux avis d’appel d’offres pour des gardiens de sécurité dans les crématoires semblent indiquer que le gouvernement essaye d’éradiquer les pratiques d’inhumation musulmanes traditionnelles dans la région.)

Alors que le Xinjiang représente un extrême draconien, ailleurs en Chine, les citoyens commencent à repousser certains types de surveillance. Une société Internet qui diffusait en continu des images de télévision en circuit fermé en ligne a mis fin à ces émissions à la suite d’un tollé général. La ville de Shanghai a récemment publié des règlements pour permettre aux gens de contester les renseignements inexacts utilisés pour compiler les dossiers de crédit social.

« Les demandes de protection de la vie privée de la part des internautes chinois sont de plus en plus nombreuses », affirme Samm Sacks, chercheur principal au Programme de la politique technologique du SCRS à New York. « Ce n’est pas tout à fait la liberté d’expression qu’elle est censée être. »

MIT Technology Review