Un projet de loi américain vise à interdire l’utilisation de la reconnaissance faciale par la police

Les législateurs américains ont présenté un projet de loi, The Facial Recognition and Biometric Technology Moratorium Act, qui interdirait l’utilisation de la technologie de reconnaissance faciale par les agences fédérales de maintien de l’ordre.

Plus précisément, il rendrait illégal pour toute agence fédérale ou tout fonctionnaire “d’acquérir, de posséder, d’accéder ou d’utiliser” la technologie de surveillance biométrique aux États-Unis. Il exigerait également que les services de police des États et des collectivités locales instaurent des interdictions similaires afin de pouvoir bénéficier d’un financement fédéral.

La proposition de loi est arrivée à un stade où l’utilisation de la technologie de reconnaissance faciale par la police fait l’objet d’une attention accrue dans le cadre des protestations qui ont suivi l’assassinat de George Floyd fin mai. Des études ont montré à plusieurs reprises que la technologie est moins précise pour les Noirs, et au début de cette semaine, le New York Times a rapporté qu’un homme noir innocent du Michigan avait été arrêté après avoir été mal identifié par un logiciel de reconnaissance faciale.

L’activisme fonctionne

La décision de restreindre l’utilisation de la technologie de reconnaissance faciale est en partie due à la pression exercée par les entreprises technologiques elles-mêmes, après avoir été soumises au lobbying des militants pendant des années.

Il y a deux semaines, Amazon a annoncé qu’elle imposerait un moratoire d’un an sur l’utilisation par la police de son système de reconnaissance faciale, Rekognition, après qu’IBM ait décidé de mettre fin à son système de reconnaissance faciale à usage général. Le lendemain, Microsoft a annoncé qu’il cesserait de vendre son système aux services de police jusqu’à ce que la loi fédérale réglemente la technologie.

Il appartient maintenant aux législateurs de décider s’ils peuvent obtenir un soutien suffisant pour l’adopter.

On en sait plus sur les algorithmes de Palantir

UCIPT, CNET, Fortune, MIT

Les systèmes de reconnaissance faciale sont racistes

Une étude du gouvernement américain confirme que la plupart des systèmes de reconnaissance faciale sont racistes

Près de 200 algorithmes de reconnaissance faciale – la majorité dans l’industrie – ont de moins bonnes performances sur les visages non blancs, selon une étude qui fait autorité. Les résultats saisis dans le rapport, Face Recognition Vendor Test (FRVT) Part 3 : Demographic Effects (NISTIR 8280), sont destinés à informer les décideurs politiques et à aider les développeurs de logiciels à mieux comprendre la performance de leurs algorithmes. La technologie de reconnaissance faciale a inspiré le débat public en partie en raison de la nécessité de comprendre l’effet de la démographie sur les algorithmes de reconnaissance faciale.

Ce qu’ils ont testé :

Le National Institute of Standards and Technology (NIST) des États-Unis a testé chaque algorithme sur deux des tâches les plus courantes de la reconnaissance faciale.

La première, connue sous le nom de comparaison 1 : 1 ou “one-to-one matching”, consiste à faire correspondre la photo d’une personne à une autre photo de la même personne dans une base de données. Elle est utilisée pour déverrouiller les téléphones intelligents ou vérifier les passeports, par exemple.

La seconde, appelée recherche un-à-plusieurs ou “one-to-many”, consiste à déterminer si la photo de cette personne a une correspondance avec une autre dans une base de données. Cette méthode est souvent utilisée par les services de police pour identifier des suspects dans le cadre d’une enquête.

L’agence a étudié quatre ensembles de données sur les visages actuellement utilisés dans les formalités du gouvernement américain : les photos d’identité de personnes vivant aux États-Unis, les photos des personnes qui déposent une demande d’immigration, les photos de demandes de visas et les photos de personnes traversant la frontière américaine. Au total, les ensembles de données comprenaient 18,27 millions d’images de 8,49 millions de personnes.

Pour évaluer la performance de chaque algorithme, l’équipe du NIST a mesuré les deux classes d’erreurs que le programme peut faire : les faux positifs et les faux négatifs. Un faux positif signifie que le logiciel a considéré à tort que des photos de deux personnes différentes montraient la même personne, tandis qu’un faux négatif signifie que le logiciel n’a pas réussi à faire correspondre deux photos qui, en fait, montrent la même personne.

Le NIST a partagé certains résultats importants de l’étude. Voici les principaux :

1. Pour ce qui est de la comparaison 1 : 1, la plupart des systèmes affichaient un taux de faux positifs plus élevé pour les visages asiatiques et afro-américains que pour les visages caucasiens, parfois par un facteur de 10 allant même jusqu’à 100. En d’autres termes, il y avait plus de chances de trouver une correspondance alors qu’il n’y en avait pas.

2. Cela a changé pour les algorithmes de reconnaissance développés dans les pays asiatiques, qui ont produit très peu de différence de faux positifs entre les visages asiatiques et caucasiens.

3. Les algorithmes développés aux États-Unis étaient tous systématiquement mauvais pour faire correspondre les visages asiatiques, afro-américains et amérindiens. Les Amérindiens ont subi les taux de faux positifs les plus élevés.

4. Les systèmes de correspondance un-à-plusieurs présentaient les pires taux de faux positifs pour les Afro-Américains, ce qui fait que cette population est la plus à risque d’être faussement accusée d’un crime.

On en sait plus sur les algorithmes de Palantir

Pourquoi c’est important ?

L’utilisation des systèmes de reconnaissance faciale se développe rapidement dans les domaines de la lutte contre la criminalité, du contrôle des frontières et d’autres applications dans la société. Bien que plusieurs études universitaires aient déjà démontré que les systèmes commerciaux populaires étaient biaisés en fonction de la race et du sexe, l’étude du NIST est l’évaluation la plus complète à ce jour et confirme les résultats antérieurs. Les conclusions remettent en question la nécessité de continuer à utiliser ces systèmes à une aussi grande échelle.

Prochaines étapes :

Il appartient maintenant aux décideurs politiques de trouver la meilleure façon de réglementer ces technologies. Le NIST exhorte également les développeurs de reconnaissance faciale à mener davantage de recherches sur la façon dont ces biais pourraient être atténués.

Qui a besoin de la démocratie quand on a des données ?

Prédire les crimes

Des programmes informatiques sont aujourd’hui capables d’anticiper la survenue d’actes criminels.

Une aide précieuse pour la justice ou un risque réel pour nos libertés ?

Un logiciel capable de prédire le lieu et l’instant où un individu s’apprêtera à commettre un délit ne relève plus de la science-fiction. Dans certaines villes comme Chicago, Londres ou Munich, ces programmes sont en effet devenus réalité. Accompagnant l’évolution des sociétés modernes vers le tout-sécuritaire, la police expérimente de plus en plus ces nouveaux outils technologiques. Grâce à un algorithme capable d’analyser l’énorme masse de données personnelles que nous produisons et laissons en permanence sur le numérique, ces logiciels spécialisés peuvent en effet établir des listes d’individus susceptibles d’être mêlés à des actes répréhensibles.

Mais l’utilisation des nouvelles technologies à des fins prédictives pose un grand nombre de questions éthiques et morales. Sommes-nous prêts à abandonner notre liberté au nom de la sécurité ? Peut-on réellement faire confiance à un algorithme pour trier les individus et déterminer aujourd’hui qu’ils deviendront des criminels demain ? Fascinant et glaçant, ce documentaire part à la rencontre de professionnels qui utilisent déjà ces méthodes, mais donne également la parole à des victimes de ces logiciels, citoyens sans histoires que les ordinateurs ont identifiés un jour comme de potentiels criminels.

Hitachi : une IA capable de prédire les crimes avant qu’ils se produisent
On en sait plus sur les algorithmes de Palantir. Le département de police de Los Angeles a une nouvelle formule de surveillance, alimentée par Palantir
Des projets Chinois à la Minority Report utiliseront l’IA pour prédire des crimes
Tout votre historique de navigation sur Internet est maintenant en vente

Palantir Technologies

Palantir Technologies Inc. développe et construit des plates-formes de fusion de données pour l’intégration, la gestion et la sécurisation de tout type de données à grande échelle. Il propose Palantir Gotham, une plate-forme pour intégrer, gérer, sécuriser, et analyser les données de l’entreprise; et la plate-forme Palantir Metropolis pour enquête quantitative à grande échelle qui intègre à travers de multiples sources de données, rassemblant des informations disparates dans un environnement unifié d’analyse quantitative. La société apporte une réponse contre la fraude, marchés de capitaux, gestion de cas, intervention de crises, cyber-sécurité, défense,  préparation aux catastrophes, intervention de la maladie, livraison de soins de santé, menaces internes, analyse d’assurance, intelligence/renseignement, application de la loi, veille juridique, palantir verus, pharma R & D, supervision de trader et des solutions personnalisées.

L’entreprise travaille pour la communauté du renseignement des États-Unis, notamment pour la NSA, la CIA et le FBI, ainsi que pour différents acteurs du système de défense américain, comme les US Marines, l’US Air force et les Opérations spéciales. Elle s’est diversifiée dans les secteurs de la finance, de l’assurance, de la santé et des biens de consommation courante. Elle met par ailleurs sa technologie à disposition d’ONG comme Community solutions.

La société a été constituée en 2003 et est basée à Palo Alto, en Californie. Elle fait partie des valeurs sures de la Silicon Valley. Depuis sa création, l’entreprise a levé en tout et pour tout 2,3 milliards de dollars et sa valorisation pourrait prochainement atteindre 20 milliards de dollars. Parmi les investisseurs figure la CIA, qui y a injecté 2 millions de dollars au moment de son lancement. L’agence centrale de renseignement est alors séduite par le projet de Palantir : utiliser les algorithmes informatiques afin de déjouer d’éventuelles attaques terroristes. (ndlr)

Le cofondateur de Palantir, Peter Thiel, est également le co-fondateur de PayPal.

pour en savoir plus : Techcrunch

L’algorithme PredPol

PredPol est basé sur une décennie de recherches académiques détaillées sur les causes de la formation de schémas criminels. Cette recherche a permis de relier plusieurs aspects clés du comportement des délinquants à une structure mathématique utilisée qui permet de prédire l’évolution des schémas criminels au jour le jour. Qu’est-ce que PredPol et ce que PredPol n’est PAS ?

Pour en savoir plus : The PredPol Algorithm

Qui a besoin de la démocratie quand on a des données ?

Qui a besoin de la démocratie quand on a des données ?

Comment la Chine gouverne grâce aux données, à l’intelligence artificielle et à la surveillance Web.

En 1955, l’auteur de science-fiction Isaac Asimov a publié une nouvelle sur la « démocratie électronique », où un seul citoyen, choisi pour représenter une population entière, répondait aux questions générées par un ordinateur nommé Multivac. La machine recueillait ces données et calculait les résultats d’une élection qui, conséquemment, n’avait plus besoin d’avoir lieu. L’histoire d’Asimov se déroule à Bloomington, en Indiana, mais aujourd’hui, une machine semblable à Multivac est en construction en Chine.

Dans tout régime autoritaire, « le problème fondamental réside dans le fait que le centre ne comprend pas ce qui se passe aux niveaux inférieurs ni dans l’ensemble de la société », affirme Deborah Seligsohn, politologue et spécialiste de la politique chinoise à la Villanova University à Philadelphie. Comment peut-on gouverner efficacement un pays abritant un cinquième de la population planétaire et doté d’une économie et d’une société complexes si aucun débat public, aucun activisme civil ni aucune rétroaction ne sont permis ?

Comment recueille-t-on suffisamment de renseignements pour vraiment prendre des décisions ? Et comment un gouvernement qui n’invite pas ses citoyens à participer au débat peut-il encore susciter la confiance et modifier le comportement du public sans ingérence policière ?

Hu Jintao, leader de la Chine de 2002 à 2012, a tenté de régler ces problèmes en permettant un modeste dégel démocratique, où le peuple avait la possibilité de présenter ses griefs à la classe dirigeante. Son successeur, Xi Jinping, a inversé cette tendance. Sa stratégie pour comprendre et réagir à ce qui se passe chez une nation de 1,4 billion de citoyens repose plutôt sur une combinaison de surveillance, d’intelligence artificielle et de mégadonnées pour surveiller leur vie et leur comportement dans les moindres détails.

Cybersouveraineté 

Les deux dernières années dans les démocraties du monde ont été tumultueuses, ce qui a aidé l’élite politique chinoise à se sentir de plus en plus justifier de faire taire les électeurs. Des évènements comme l’élection de Donald Trump, le Brexit, la montée de parties de l’extrême droite en Europe et le règne de terreur de Rodrigo Duterte aux Philippines ont mis en évidence ce que les critiques voient comme un problème propre à la démocratie, plus particulièrement le populisme, l’instabilité et le leadership dangereusement personnalisé.

Depuis qu’il est devenu secrétaire général du Parti communiste chinois en 2012, Xi a établi de nombreux plans ambitieux pour le pays, dont bon nombre sont enracinés dans la technologie — y compris l’objectif de devenir le leader mondial en intelligence artificielle d’ici 2030. Xi revendique une « cybersouveraineté » pour améliorer la censure et exercer un contrôle total sur l’Internet dans les foyers. En mai, il a déclaré lors d’une réunion de l’académie chinoise des sciences que la technologie était la clé pour atteindre « l’objectif ultime d’édification d’une nation socialiste et modernisée ».

En janvier, lorsqu’il s’est adressé à la nation via la télévision, on pouvait voir dans les étagères de sa bibliothèque des classiques comme ceux de Das Kapital et de nouveaux ajouts, notamment deux ouvrages sur l’intelligence artificielle : The Master Algorithm de Pedro Domingos et Augmented: Life in the Smart Lane de Brett King.

La Chine, prochaine superpuissance de l’intelligence artificielle?

« Aucun gouvernement n’a un plan plus ambitieux et de plus grande envergure que le gouvernement chinois pour exploiter le pouvoir des données afin de changer la façon dont il gouverne », affirme Martin Chorzempa de la Peterson Institute for International Economics de Washington, DC. Même certains observateurs étrangers, observant de loin, pourraient bien se demander si une telle gouvernance axée sur les données n’offre pas une solution viable au modèle électoral, qui semble de plus en plus dysfonctionnel. Mais se fier indûment à la sagesse de la technologie et des données comporte des risques.

Des données plutôt qu’un dialogue

Les leaders chinois ont depuis longtemps voulu exploiter l’opinion publique sans ouvrir la porte des débats houleux et à des critiques à l’égard des autorités. Pendant la plus grande partie de l’histoire de la Chine impériale et moderne, des citoyens mécontents provenant du milieu rural ont fait le voyage jusqu’à Pékin et ont organisé des manifestations en tant que « requérants » publics. Ils croyaient que si les autorités locales ne comprenaient pas ou ignoraient leurs griefs, l’empereur pourrait faire preuve d’un meilleur jugement.

Sous l’autorité de Hu Jintao, certains membres du Parti communiste ont vu cette ouverture limitée comme une façon d’exposer et de résoudre certains types de problèmes. Blogueurs, journalistes anti-corruption, avocats des droits de la personne et critiques en ligne mettant en lumière la corruption locale ont suscité un débat public vers la fin du règne de Hu. Selon un ancien officier américain au courant de l’affaire, Xi a, au début de son mandat, été informé quotidiennement des préoccupations du public et des perturbations des médias sociaux. Au cours des dernières années, des requérants se sont amenés dans la capitale pour attirer l’attention sur des scandales comme la saisie illégale de propriétés par les autorités locales et le lait en poudre contaminé.

Mais la police empêche de plus en plus les requérants d’atteindre Pékin. « Il faut maintenant présenter des pièces d’identité nationale pour acheter des billets de trains, ce qui permet aux autorités d’identifier plus facilement les « trouble-fêtes » potentiels comme ceux qui ont protesté contre le gouvernement dans le passé », explique Maya Wang, chercheuse principale de la Chine chez Human Rights Watch.

« Plusieurs requérants nous ont affirmé avoir été arrêtés dans des gares. » Des blogueurs, activistes et avocats sont aussi systématiquement réduits au silence ou emprisonnés, comme si les données pouvaient donner au gouvernement les mêmes renseignements sans les problèmes épineux de la liberté.

L’idée d’utiliser la technologie en réseau en tant qu’outil de gouvernance en Chine remonte au moins au milieu des années 80. Comme l’explique l’historien Julian Gewirtz de la Harvard University, « Quand le gouvernement chinois a vu que les technologies de l’information devenaient partie prenante du quotidien, il a compris qu’il aurait un nouvel outil puissant pour à la fois recueillir de l’information et contrôler la culture et pour rendre le peuple chinois plus « moderne » et plus « gouvernable » — éternelle obsession du leadership. » Par la suite, les avancées technologiques dans le domaine de l’intelligence artificielle et l’amélioration des processeurs ont rapproché cette vision de la réalité.

Pour autant que nous le sachions, il n’existe pas de schéma directeur unique liant technologie et gouvernance en Chine. Mais il existe plusieurs initiatives qui partagent une stratégie commune de collecte de données sur les personnes et les entreprises pour éclairer la prise de décision et créer des systèmes d’incitations et de sanctions pour influencer les comportements.

Ces initiatives comprennent le « système de crédit social » de 2014 du Conseil d’État, la loi de 2016 sur la cybersécurité, diverses expériences sur le plan local et corporatif en matière de « crédit social », des plans de « villes intelligentes » et des politiques axées sur la technologie dans la région occidentale du Xinjiang. Il s’agit généralement de partenariats entre le gouvernement et les sociétés technologiques de Chine.

L’initiative la plus ambitieuse est le système de crédit social, bien qu’une meilleure traduction en français soit un système de « confiance » ou de « réputation ». Le plan du gouvernement, qui couvre population et entreprises, énumère parmi ses objectifs la « construction d’une transparence dans les affaires gouvernementales, une sincérité commerciale et une crédibilité judiciaire. » (Tout le monde en Chine a une tante qui s’est fait escroquer. Il existe un réel besoin de s’attaquer à l’effondrement de la confiance du public », affirme Paul Triolo, responsable de la géotechnologie chez Eurasia Group.) À ce jour, il s’agit d’un travail en cours, bien que plusieurs projets-pilotes donnent un aperçu de son fonctionnement en 2020, date où l’initiative devrait être entièrement implantée.

Les listes noires représentent le premier outil du système. Au cours des cinq dernières années, le système judiciaire chinois a publié le nom des personnes qui n’avaient pas payé leurs amendes ou ne s’étaient pas conformées à un jugement. Aux termes de nouveaux règlements sur le crédit social, cette liste a été communiquée à diverses entreprises et agences gouvernementales. Les personnes figurant sur la liste se sont vues refuser des emprunts, la réservation de vols aériens et de séjours dans des hôtels luxueux.

Les sociétés de transport national de la Chine ont créé d’autres listes noires pour punir certains usagers qui, entre autres, bloquent des portes ou se bagarrent durant un trajet. Les contrevenants ne peuvent plus acheter de billets pendant une période de six à douze mois. Plus tôt cette année, Pékin a lancé une série de listes noires pour empêcher les entreprises « malhonnêtes » de se voir attribuer de futurs contrats du gouvernement ou des concessions de terres.

Quelques gouvernements locaux ont testé le « pointage » du crédit social, bien qu’il ne soit pas certain que ce système fera partie du plan national. La ville de Rongcheng, dans le nord du pays, par exemple, attribue un pointage à chacun de ses 740 000 habitants, selon Foreign Policy. Tout le monde commence avec 1 000 points. Si vous faites un don à un organisme de charité ou vous recevez un prix du gouvernement, vous gagnez des points, si vous enfreignez le code de la route, par exemple en conduisant en état d’ébriété ou en accélérant à un passage piétonnier, vous perdez des points.

Les citoyens avec un bon pointage peuvent obtenir des rabais sur des fournitures de chauffage ou obtenir de meilleures modalités hypothécaires. Ceux ayant un mauvais pointage peuvent perdre leur accès à des prêts bancaires ou à une promotion s’ils ont un emploi auprès du gouvernement. La mairie met des affiches de modèles à suivre, qui ont fait preuve de « vertu » et gagné le plus de points.

« L’idée du crédit social est de surveiller et de gérer le comportement des gens et des institutions », explique Samantha Hoffman de la Mercator Institute for China Studies à Berlin. « Dès qu’une violation est inscrite dans une partie du système, elle peut déclencher une réaction dans d’autres parties du système. Il s’agit d’un concept conçu pour favoriser le développement économique et la gestion sociale, c’est fondamentalement politique. »

Certains systèmes similaires à l’avant-projet de la Chine existent déjà aux États-Unis : une mauvaise cote de crédit peut vous empêcher d’obtenir une hypothèque et une condamnation pour délit grave suspend ou annule votre droit de vote. « Mais ces systèmes ne sont pas tous reliés de la même façon. Il n’y a pas de plan global », souligne Hoffman.

La police chinoise ajoute des lunettes de reconnaissance faciale à leur arsenal de surveillance

L’une des plus grandes inquiétudes entoure le fait que la Chine n’a pas de système judiciaire indépendant, les citoyens n’ont aucun recours pour contester des allégations fausses ou inexactes. Certaines personnes ont vu leur nom ajouté à la liste noire des transports sans préavis après la décision d’un tribunal. Des requérants et des journalistes d’investigation sont surveillés en fonction d’un autre système, et les personnes qui participent à des programmes de désintoxication sont surveillées par un autre système de surveillance.

« En théorie, les bases de données sur les toxicomanes sont censées effacer le nom de ces personnes après cinq ou sept ans, pour la plupart des cas, ce n’est pas fait », affirme Wang de Human Rights Watch. « C’est extrêmement difficile de faire retirer votre nom de ces listes. »

D’occasionnels éclats de rage en ligne traduisent le ressentiment du public. La nouvelle qu’un étudiant s’était vu refuser son admission par un collège parce que le nom de son père figurait sur une liste noire de crédit a récemment enflammé le Net. La décision du collège n’a pas été officiellement sanctionnée ni ordonnée par le gouvernement. Plutôt, dans leur effort pour appuyer ces nouvelles politiques, les administrateurs de l’école les ont simplement interprétés de la façon qu’ils estimaient logique.

L’opacité du système rend difficile l’évaluation de l’efficacité des tests comme ceux de Rongcheng. Depuis 2012, le parti a écrasé presque toutes les voix critiques, et les risques de contester le système, même de façon relativement modeste, se sont accrus. Les informations disponibles sont profondément erronées; la falsification systématique de toutes les données, de la croissance du PIB à l’utilisation de l’hydroélectricité, est omniprésente dans les statistiques du gouvernement chinois. Borge Bakken, chercheur à la Australian National University, estime que les chiffres officiels de la criminalité, que le gouvernement a clairement intérêt à minimiser, peuvent ne représenter que 2,5 % de tous les comportements criminels.

En théorie, la gouvernance axée sur les données pourrait aider à résoudre ces problèmes – en contournant les distorsions pour permettre au gouvernement central de recueillir directement les renseignements. C’est l’idée derrière, par exemple, l’introduction des dispositifs de surveillance de la qualité de l’air qui envoient des données aux autorités centrales plutôt que de se fier aux fonctionnaires locaux qui pourraient être de mèche avec les industries polluantes. Mais plusieurs aspects d’une bonne gouvernance sont trop complexes pour permettre ce genre de suivi direct et se fient plutôt aux données saisies par ces mêmes fonctionnaires locaux.

Cependant, le gouvernement chinois publie rarement les données sur le rendement que des étrangers pourraient utiliser pour évaluer ces systèmes. Prenons par exemple les caméras qui sont utilisées pour identifier et humilier des piétons dans certaines villes en projetant l’image de leur visage sur des panneaux d’affichage public, de même que pour suivre les habitudes de prière des musulmans en Chine occidentale. Leur précision soulève des questions : plus particulièrement, comment un logiciel de reconnaissance faciale programmé à reconnaître des visages chinois Han peut-il reconnaître avec justesse le visage d’une personne d’une minorité ethnique de l’Eurasie ?

En outre, même si les données collectées sont exactes, comment le gouvernement utilisera-t-il cette information pour orienter ou empêcher un certain comportement futur ? Les algorithmes de la police qui prédisent qui deviendra possiblement un criminel ne sont pas soumis à l’examen du public, pas plus que les statistiques qui démontreraient si un certain type de crime ou le terrorisme est en hausse ou en baisse. (Par exemple, dans la région occidentale du Xinjiang, les renseignements disponibles démontrent que le nombre de personnes placées en garde à vue par la police a considérablement augmenté, soit de 731 % entre 2016 et 2017.)

In the city of Xiangyang, cameras linked to face-recognition technology project photos of jaywalkers, with names and ID numbers, on a billboard.
Credit: TechnologyReview

« Ce n’est pas la technologie qui a créé les politiques, mais elle accroît grandement la quantité de données que le gouvernement chinois peut recueillir sur ses citoyens », déclare Richard McGregor, agrégé supérieur à Lowy Institute et auteur de l’ouvrage The Party: The Secret World of China’s Communist Rulers. « L’Internet en Chine agit comme une agence de renseignement numérique privée en temps réel. »

Politiques algorithmiques

Dans un article paru dans le Washington Post plus tôt cette année, Xiao Qiang, professeur de communications à la University of California, à Berkeley, a qualifié la gouvernance améliorée par les données de la Chine d’« État totalitaire numérique ». Les aspects dystopiques sont plus évidents dans l’ouest de la Chine.

Xinjiang (le « nouveau territoire ») est le foyer traditionnel d’une minorité musulmane connue sous le nom d’Ouïgours. Comme de nombreux migrants chinois Han s’y sont installés, certains disent « colonisés », les possibilités de travail et les occasions religieuses offertes à la population locale ouïghoure ont diminué, ce qui a entraîné une recrudescence de la violence dans laquelle Han et les Ouïghours ont été pris pour cible, y compris l’émeute de 2009 dans la capitale de Urumqi, où 200 personnes ont trouvé la mort.

La réaction du gouvernement à l’intensification des tensions n’a pas été de tenir des forums de discussion pour solliciter l’avis du public ou des conseils stratégiques, l’État choisit plutôt d’avoir recours à la collecte de données et les algorithmes pour déterminer qui est «susceptible» de commettre dans le futur des actes de violence ou de défiance.

Le gouvernement du Xinjiang a fait appel à une société privée pour concevoir des algorithmes prédictifs qui évaluent divers réseaux de données. Il n’existe aucun registre public ni aucune imputabilité à l’égard de la façon dont ces calculs sont déterminés ou pondérés. « Les personnes dont la vie est régie par ce système ne savent généralement pas quelles en sont les règles », affirme Rian Thum, anthropologue à la Loyola University qui étudie le Xinjiang et qui a vu les avis d’appel d’offres du gouvernement qui ont été émis dans le cadre de la conception du système.

Des projets Chinois à la Minority Report utiliseront l’IA pour prédire des crimes

Dans la ville de Kashgar, à l’ouest du pays, bon nombre de maisons et de boutiques sises sur les rues principales sont désormais murées et les parcs publics sont vides. Lors de ma visite en 2013, il était évident que Kashgar était déjà une ville marquée par la ségrégation — les populations han et ouïgoure vivaient et travaillaient chacun dans des quartiers distincts de la ville.

Mais le soir, c’était aussi un endroit vivant et parfois bruyant, où l’appel à la prière se mêlait à la musique des bars locaux et aux conversations des vieillards assis dans des chaises en plastique sur les terrasses. Aujourd’hui, la ville est étrangement silencieuse; la vie de quartier n’existe quasiment plus. Emily Feng, journaliste pour le Financial Times, a visité Kashgar en juin et a affiché des photos sur Twitter de ces rues nouvellement fantômes.

La raison est que, selon certaines estimations, plus d’un adulte ouïghour et kazakh sur dix dans le Xinjiang a été envoyé dans des « camps de rééducation » aux anneaux barbelés – et ceux qui restent en liberté ont peur.

Dans les deux dernières années, des milliers de points de contrôle ont été mis en place où les passants doivent présenter leur visage et leur carte d’identité nationale pour emprunter l’autoroute, entrer dans une mosquée ou encore visiter un centre commercial. Les Ouïghours sont tenus d’installer des applications de surveillance conçues par le gouvernement sur leur téléphone intelligent, lesquelles surveillent leurs contacts en ligne et les pages Web qu’ils visitent.

Les policiers se rendent régulièrement dans les maisons pour collecter d’autres données notamment sur le nombre de personnes qui vivent dans le ménage, leurs relations avec leurs voisins, le nombre de fois où les gens prient quotidiennement, s’ils ont voyagé à l’étranger et quels livres ils possèdent.

Tous ces flux de données alimentent le système de sécurité publique du Xinjiang, de même que d’autres registres comprenant des renseignements sur tout, de l’historique bancaire à la planification familiale. « Le programme informatique regroupe toutes les données provenant de ces différentes sources et signale celles qui pourraient devenir une « menace » pour les autorités », explique Wang.

Bien que l’algorithme précis soit inconnu, on pense qu’il peut signaler des comportements tels que visiter une mosquée particulière, posséder beaucoup de livres, acheter une grande quantité d’essence ou recevoir des appels ou courriels provenant de l’étranger. Les personnes qui sont signalées reçoivent la visite de la police, qui peut les placer en garde à vue et les mettre en prison ou encore dans des camps de rééducation sans aucune accusation formelle.

Adrian Zenz, politologue à la European School of Culture and Theology à Korntal, en Allemagne, estime que le taux d’internement des minorités dans le Xinjiang pourrait atteindre 11,5 % de la population adulte. Ces camps sont conçus pour instiller le patriotisme et faire renier les croyances religieuses des internés. (De nouveaux avis d’appel d’offres pour des gardiens de sécurité dans les crématoires semblent indiquer que le gouvernement essaye d’éradiquer les pratiques d’inhumation musulmanes traditionnelles dans la région.)

Alors que le Xinjiang représente un extrême draconien, ailleurs en Chine, les citoyens commencent à repousser certains types de surveillance. Une société Internet qui diffusait en continu des images de télévision en circuit fermé en ligne a mis fin à ces émissions à la suite d’un tollé général. La ville de Shanghai a récemment publié des règlements pour permettre aux gens de contester les renseignements inexacts utilisés pour compiler les dossiers de crédit social.

« Les demandes de protection de la vie privée de la part des internautes chinois sont de plus en plus nombreuses », affirme Samm Sacks, chercheur principal au Programme de la politique technologique du SCRS à New York. « Ce n’est pas tout à fait la liberté d’expression qu’elle est censée être. »

MIT Technology Review

On en sait plus sur les algorithmes de Palantir

Le département de police de Los Angeles a une nouvelle formule de surveillance, alimentée par Palantir

Le département de police de Los Angeles (LAPD) a récemment été contraint de publier des documents sur ses algorithmes prédictifs de police et de surveillance, grâce à une action en justice de la Stop LAPD Spying Coalition (qui a remis les documents à In Justice Today).

Les analystes du département de police de Los Angeles sont chargés de maintenir “au moins” une douzaine d’objectifs de surveillance en cours, en utilisant le logiciel Palantir et une mise à jour de la formule du contrevenant “probable”, selon les documents d’octobre 2017, obtenus suite à une demande de la Stop LAPD Spying Coalition et donnée exclusivement à In Justice Today.

Ces rapports de surveillance identifient les “délinquants probables” dans certains quartiers, selon une formule de police prédictive fondée sur les points de la police de Los Angeles. Les analystes trouvent des informations pour leurs rapports en utilisant le logiciel Palantir, qui élimine les données des dossiers de la police, y compris les fiches d’entretien sur le terrain et les rapports d’arrestation, selon une formule mise à jour de la liste de contrôle du LAPD, qui utilise des critères plus larges que la formule de risque passée que le département était censé avoir utilisé. Ces rapports, connus sous le nom de Chronic Offender Bulletin – Bulletins Chroniques des Délinquants, sont antérieurs à l’implication de Palantir dans le LAPD, mais depuis que le LAPD a commencé à utiliser le logiciel d’exploration de données (data mining) de la compagnie en septembre 2011, le département affirme que les bulletins qui auraient pris une heure à compiler prennent maintenant environ cinq minutes.

Screenshots of Palantir’s Gotham program, from a promotional video. Source: Youtube via Bloomberg

Big Data : Palantir Technologies

La police de Los Angeles soutient que cibler les “délinquants chroniques” de cette manière contribue à réduire les taux de criminalité tout en étant peu invasive. Mais la Stop LAPD Spying Coalition, une alliance communautaire qui milite contre les efforts accrus de surveillance du LAPD depuis 2012, dresse un portrait différent du programme Chronic Offender Bulletin. Le groupe appelle cela une “boucle de rétroaction raciste” dans laquelle la police surveille un certain nombre de personnes sur la base de données générées par leurs propres services de police à tendance raciale, créant plus de surveillance et donc plus d’arrestations.

Jamie Garcia, l’organisatrice principale de la campagne Predictive Policing avec la Stop LAPD Spying Coalition, explique que les fiches d’interview sur le terrain, par exemple, fournissent des informations pour la liste de contrôle prédictive, souvent issues du profilage racial sur la rue. “Quand nous regardons les arrêts du LAPD, la population noire est complètement surreprésentée”, a déclaré Garcia dans un appel téléphonique. Les directives, dit-elle, ordonnent aux agents “de trouver ces gens et de les harceler…. Si vous êtes constamment surveillé, constamment harcelé, la possibilité de quelque chose qui ne va pas … La prochaine chose que vous savez, vous êtes un contour de craie de cadavre.”

Les juristes ont noté que l’institutionnalisation des formules de risque comme la liste de contrôle du programme des délinquants chroniques du LAPD peut exacerber les modèles existants de discrimination en sur-échantillonnant ceux déjà discriminés, générant des données encore plus biaisées qui justifient une discrimination supplémentaire.

Le LAPD a décliné la demande d’entrevue d’IJT et n’a pas fourni de réponses aux questions écrites concernant le programme. Dans un courriel adressé à IJT, la porte-parole de Palantir, Lisa Gordon, a confirmé que Palantir est utilisé dans la création des bulletins des délinquants chroniques, mais a souligné que le logiciel ne génère pas automatiquement les rapports et que la sélection et le contrôle des personnes sur ces listes fait partie d’un processus humain.

Comment les enquêtes pré-criminelles commencent

Le processus d’identification de la cible commence par un analyste du LAPD qui cherche des «délinquants probables» en examinant les dossiers de la police. Selon les documents du LAPD, les analystes déploient le logiciel d’organisation de fichiers de Palantir pour effectuer des «work-ups» de ces individus, à la recherche d’enregistrements qui ajoutent des points à leurs scores prédictifs de risque, basés sur des facteurs tels que leur nombre de contacts avec la police au cours des deux dernières années. Voici une image d’un de ces “work-ups”, produit quelques mois avant que le département n’adopte Palantir, que IJT a trouvé en ligne, complètement non expurgé, dans une présentation de LAPD en mai 2013.

An example of a research “work up” template created by an LAPD analyst to organize data points for the department’s predictive “chronic offender” formula.

En additionnant les points basés sur les arrêts de la police et d’autres critères décrits dans la formule, un analyste créerait au moins 12 bulletins des délinquants chroniques pour les personnes ayant obtenu des notes élevées, et identifier cinq à dix autres comme sauvegardes potentielles pour la liste cible. Les 12, classés selon les valeurs maximales les plus élevées, sont ensuite référés aux agents pour s’assurer que les cibles ne sont pas déjà en détention ou qu’elles ne sont pas suivies. Comme les documents l’indiquent explicitement, ces cibles sont, à ce stade, légalement «pas des suspects mais des personnes d’intérêt». Une “person of interest” ou “personne d’intérêt” n’a pas de signification juridique défini, mais peut simplement signifier quelqu’un qui pourrait avoir connaissance d’un crime.

Le logiciel attribue des points aux personnes, sur la base d’infractions passées, ou même simplement après avoir été arrêté ou en contact avec la police. Les points sont une indication, selon le LAPD, de la probabilité que quelqu’un commette un crime. S’appuyer sur cet algorithme pour déterminer qui devrait être surveillé, ce qui peut être fait par des vérifications de probation ou de mandat, incite la police à surveiller les gens – non pas pour les arrêter, mais pour voir s’il y a une raison de le faire. Les personnes ciblées par l’algorithme et signalées comme des personnes d’intérêt peuvent faire l’objet d’une surveillance policière supplémentaire, simplement parce qu’elles peuvent être associées à ou connaître des activités criminelles. Cela peut arriver même si elles n’ont rien fait de mal, de toute leur vie.

– En utilisant les interviews sur le terrain et les arrestations mentionnées ci-dessus, utilisez Palantir pour faire un travail sur l’individu. Faites une recherche, résolvez les conflits, déterminez ce que la personne a fait au cours des 2 dernières années. – Sur Palantir, indiquez le nombre d’arrestations pour crimes violents que l’individu a subis au cours des deux dernières années. Appliquer 5 points pour chaque arrestation de crime violent (ceci est un changement de notre protocole original). – Déterminez si l’individu a utilisé une arme dans le cadre de ses activités. Appliquer 5 points pour chaque incident impliquant un pistolet au cours des 2 dernières années (ceci est un changement de notre protocole original). – Déterminez si l’individu est membre d’un gang. Appliquer 5 points pour l’appartenance à un gang. – Déterminez si la personne est en probation ou en libération conditionnelle. Appliquez 5 points pour ce statut. – Déterminez le nombre de contacts policiers de qualité que l’individu a eu au cours des deux dernières années. Appliquer 1 point pour chaque contact (principalement des interviews sur le terrain) – Additionnez le nombre de points pour l’individu. Cela vous donnera un score de délinquant chronique.

Les critiques affirment que cela crée essentiellement un cycle où toute personne qui a des antécédents avec le système de justice pénale peut maintenant être soumise à une surveillance accrue dans un avenir prévisible, même si elles ne sont pas soupçonnées d’avoir un lien avec un crime récent. Sur le travail rédigé ci-dessus, que le LAPD a confirmé comme étant authentique dans un courriel, l’individu avait été arrêté deux fois en une seule journée à quatre occasions distinctes au cours d’une période de six semaines. Tous ces arrêts comptent comme des points dans la formule prédictive, ce qui en fait une priorité plus élevée pour le programme de surveillance.

Bien que le LAPD affirme que ces rapports sont “à titre informatif seulement et pour la sécurité des agents”, les informations du rapport sont ensuite transmises à une base de données LAPD interne “à des fins de poursuite et de surveillance” selon les documents 2017. Armés de ces données, par exemple lorsque des délinquants cibles ont été arrêtés et quels tatouages ils ont, des unités spéciales du LAPD sont envoyées pour «engager» des cibles avec des tactiques spécifiques, telles que des vérifications pour des mandats en attente ou des saisies d’armes illégales pouvant conduire à des arrestations.

Sarah Brayne, professeure adjointe de sociologie à l’Université du Texas à Austin, qui a mené des recherches sur le terrain avec le LAPD en 2015, affirme que les policiers sont conscients que les bulletins ne leur ont pas donné de soupçon raisonnable ou de cause probable. “Le langage utilisé lorsque j’ai parlé avec des officiers était :” Allez leur parler, et vous pourriez les attraper en train de faire quelque chose, mais il n’y a actuellement aucune cause probable”.

Bien que les documents du LAPD n’indiquent pas explicitement que ceux qui figurent sur la liste doivent être arrêtés, ils suggèrent qu’une fois qu’un individu se présente sur un bulletin alimenté par Palantir, la police est censée continuer à surveiller la personne jusqu’à ce qu’elle soit détenue. Selon une présentation PowerPoint publiée, par exemple, on s’attend à ce que les agents se demandent “combien de délinquants chroniques ont été arrêtés” au cours des deux semaines précédentes et quelles sont leurs stratégies pour les “délinquants non traités”.

Chaque semaine, les analystes sont également censés déterminer si les individus figurant sur leurs listes de cibles «sont actifs ou en garde à vue», puis remplacer ceux qui ont été capturés par des “back-ups”, d’autres personnes à haut risque, créer de nouveaux objectifs pour la police.

Selon Mme Brayne, les personnes peuvent être retirées de la liste de surveillance si elles n’ont pas eu de contact avec la police depuis deux ans, mais la logique sous-jacente du programme est de neutraliser ceux qui sont déterminés à être les principaux moteurs de la criminalité.

Compte tenu de l’ampleur de l’examen et des contacts de routine que les agents doivent suivre pour les personnes figurant sur la liste des bulletins, éviter tout contact avec la police n’est pas réaliste, affirme Josmar Trujillo, un activiste anti-gang à New York. “Si vous vivez dans une communauté de couleur en Amérique, vous n’avez pas le choix d’avoir ces contacts”, a déclaré Trujillo dans un appel téléphonique. “Souvent, on peut être arrêté juste pour être autour de certaines personnes, que ce soit des arrêts de voiture ou des arrêts de groupes dans une rue, donc cette idée de police prédictive que vous devez mériter votre droit de ne pas figurer sur la liste est cruelle parce que pour éviter l’application de la loi pendant des années – ce n’est pas possible.”

Hitachi : une IA capable de prédire les crimes avant qu’ils se produisent

Incitations perverses ?

L’attente du LAPD selon laquelle les analystes ont au moins une douzaine de cibles sur le pont est possible grâce, entre autres, à l’utilisation du logiciel Palantir, la firme technologique controversée fondée par le milliardaire libertaire Peter Thiel. Comme Craig Uchida, un consultant LAPD et partenaire de recherche, a déclaré à Wired, avant que Palantir ne soit intégré, les analystes du LAPD ne pouvaient pas faire assez de bulletins de surveillance pour suivre les arrêts des officiers. À l’époque, rappelait-il, les flics arrêtaient chaque jour une centaine de personnes dans le quartier de South Los Angeles, où le programme avait été implanté pour la première fois, amenant trop de données pour que les analystes puissent les traiter efficacement.

Les documents indiquent également que les services de police sont devenus plus engagés que par le passé à atteindre les objectifs du programme des délinquants chroniques en matière de surveillance des agents et d’ “engagement” avec ceux qui sont énumérés. Selon les documents, lors des réunions hebdomadaires de contrôle de la criminalité, des unités spécialisées ciblant les délinquants sont censées fournir des rapports sur «leurs progrès» à ce jour. Brayne dit que c’est un développement relativement nouveau.

“Il y avait certainement un suivi du nombre d’arrestations, mais c’était en grande partie pour collecter des données afin de mesurer l’efficacité et plaider en faveur d’un financement continu”, a-t-elle dit.

Les attentes, ancrées dans ces tactiques policières prédictives, inquiètent Garcia, qui souligne que de telles incitations pourraient motiver ou même obliger les analystes et les officiers à procéder à des arrestations sans fondement uniquement pour vérifier les listes de diffusion. “Donc le LAPD se surveille lui-même”, a déclaré Garcia.

Brayne, d’autre part, a fait remarquer que pendant son travail sur le terrain, les agents avaient trop de délinquants de haut niveau à traiter, pas trop peu.

Des projets Chinois à la Minority Report utiliseront l’IA pour prédire des crimes

Nouvelle technologie, victimes similaires

Les activistes soutiennent également que ce programme de police prédictif pourrait donner une nouvelle couverture scientifique et légale aux pratiques policières traditionnelles dans les communautés pauvres et non-blanches, considérées par certains comme discriminatoires sur le plan racial.

“Les données sont intrinsèquement subjectives, et il a ce parti pris implicite”, a déclaré Garcia, affirmant que les données tirées des interactions policières brutes amènent nécessairement les biais existants dans les modèles prédictifs de risque du LAPD. Et les découvertes ethnographiques de Brayne sur la culture de la LAPD suggèrent que ces préoccupations peuvent être justifiées.

Les documents révèlent également une version plus récente et plus expansive de la formule du délinquant chronique basée sur les points du LAPD que ce qui a été rapporté précédemment. Des rapports plus anciens ont montré que les analystes devaient comptabiliser des points contre des individus pour l’appartenance à un gang, la libération conditionnelle ou la probation, des arrestations antérieures avec une arme de poing, des crimes violents passés et des contacts policiers “de qualité”. Cette version plus récente d’octobre 2017 comprend la plupart de ces cases à cocher, mais étend la pénalité des armes à feu maintenant compter jusqu’à cinq points pour «chaque incident» impliquant n’importe quel type d’arme au cours des deux dernières années.

Les documents ont été obtenus grâce à une action en justice intentée par la Stop LAPD Spying Coalition en mars, qui visait à obtenir des informations sur un programme LAPD plus vaste dans lequel les Bulletins des délinquants chroniques sont utilisés. Depuis 2011, ce programme, connu sous le nom d’Opération LASER, a ciblé les quartiers de Los Angeles avec une forte densité de crimes liés aux armes à feu, associant des analystes et des agents pour cibler les délinquants et les zones “chroniques”. Selon une demande de prolongation de subvention du LAPD de 2017 au programme de subventions Smart Policing Initiative du ministère de la Justice, obtenu par la Stop LAPD Spying Coalition, le département ciblait alors les quartiers du sud et du centre de Los Angeles, principalement noirs et latinos, et a prévu d’étendre l’opération à plus de divisions de police à travers la ville.

Le LAPD a revendiqué le succès du programme – entre 2011 et 2012, un domaine dans lequel LASER opérait a enregistré une diminution de 56% des homicides (selon un rapport de 2014 du LAPD). Mais le rapport n’a pas été en mesure de déterminer si cela était dû à l’utilisation des bulletins des délinquants chroniques ou à d’autres tendances indépendantes. Les homicides à Los Angeles ont diminué régulièrement depuis le début des années 1990 avant de se stabiliser vers le milieu de cette décennie.

Mais les résidents disent que ces tactiques prédictives ont un coût. “J’ai l’impression qu’ils savent déjà qui vous êtes au moment où ils vous arrêtent. Ils connaissent déjà votre nom et avec qui vous traitez », a déclaré un membre d’un groupe de discussion organisé par la Stop LAPD Spying Coalition pour un nouveau rapport publié, aux côtés des archives publiques.

Rien n’indique que le LAPD ait délibérément choisi d’utiliser un algorithme ouvertement discriminatoire. Mais ce programme, qui a commencé comme une base de données dissimulée de personnes associées à des gangs, ne peut pas être considéré comme efficace lorsqu’elle est basée sur une activité policière qui est certainement sujette aux parti pris et aux préjugés.

In Justice Today

Adrien Basdevant : Nos données valent de l’or

Quel est le point commun entre notre ordinateur, notre téléphone portable, notre carte de transport ou encore les réseaux sociaux ? Ils fournissent tous des données sur nous et sur nos habitudes. Le traitement des données, personnelles mais aussi industrielles et financières, est l’un des enjeux du siècle. Il existe même un marché secondaire de données, licite ou illicite.

L’Empire des données

L’Empire des données

Credit Don Quichotte

Essai sur la société, les algorithmes et la loi

Le numérique bouleverse nos manières d’être et d’agir, mais demeure un fait social rarement compris, souvent réduit à un optimisme béat ou à un pessimisme figeant. Cet essai pluridisciplinaire propose au contraire des pistes de réflexion.

Plus de données ont été créées en 2011 que depuis le début de l’histoire de l’humanité. Cette production double tous les deux ans, si bien que notre monde est désormais organisé et déterminé par cette nouvelle matière première, qualifiée de pétrole du XXIe siècle.

Vous souffrez d’une maladie apparemment indiagnostiquable ? En comparant votre information génétique aux vingt millions d’études oncologiques, le logiciel IBM Watson pourrait bien être votre sauveur. Vous recevez des réductions personnalisées pour des couches ? Pas d’inquiétude, le supermarché Target sait si vous êtes enceinte avant que vous ne l’annonciez à vos parents. L’un de vos amis a perdu son emploi ou est en retard sur ses échéances de paiement ? Attention, vos interactions sur les réseaux sociaux peuvent être utilisées comme critère pour vous octroyer votre prochain crédit.

Nos données sont collectées, traitées, vendues, chaque seconde. Par qui ? Comment fonctionne ce monde opaque dans lequel nous vivons ? Et existe-t-il un projet politique du Big data ? Les algorithmes des géants du numérique calculent nos moindres faits et gestes, anticipent nos désirs, profilent nos comportements. Ces nouveaux acteurs bouleversent tous les secteurs de la société, de l’agriculture à l’industrie des transports, et menacent la souveraineté des États et les missions traditionnelles qui leur sont dévolues en matière de santé, d’éducation, d’emploi, de recherche, de culture…

C’est officiel. Tout votre historique de navigation sur Internet est maintenant en vente

Ces mécanismes restent pourtant largement incompris des citoyens qui s’en remettent volontairement à eux pour suggérer qui inviter au restaurant, prédire les possibilités d’échec scolaire ou de récidive criminelle. Le droit cherche à se réapproprier ces enjeux, par une redéfinition de la propriété et de la concurrence, et par une réglementation européenne sur les données personnelles. Cela suffira-t-il ? Le rythme effréné de l’innovation nous pose une question plus que jamais cruciale : dans quelle société voulons-nous vivre demain ? L’urgence de notre choix n’est dès lors plus entre l’ancienne dichotomie du XXe siècle, l’État ou le marché, mais entre l’État de droit et la dictature des data.

Largement illustré, L’Empire des données retrace la grande histoire de cette collecte pour ouvrir à de nouvelles perspectives, et offre les clefs pour sortir de l’ornière catastrophiste aussi bien que d’une vision trop technophile.

Avocat spécialiste des enjeux numériques, Adrien Basdevant enseigne aussi à Sciences-Po et au sein du Master Data Science de l’ESSEC et de Centrale sur la gouvernance des données. Jean-Pierre Mignard, docteur en droit sur la cybercriminalité, est avocat, membre du Comité consultatif national d’éthique, et maître de conférences à l’École de journalisme et en Droit pénal des affaires à Sciences-Po Paris.

Extrait :

Le contentieux de données représente à n’en pas douter le contentieux du futur. Aujourd’hui peu maîtrisé, il deviendra notre quotidien de demain. La cybercriminalité va se démocratiser. Il est primordial de définir une politique pénale cohérente au sein de l’Union européenne dans la mesure où la cybercriminalité dépasse souvent et facilement les frontières, l’infraction étant commise à distance.

Juger les individus selon les statistiques collectives.

Que se passera-t-il, en effet, lorsque les données désigneront des criminels avant mêmes qu’ils n’aient commis leurs crimes ? Que restera-t-il de la présomption d’innocence pour celui qui présente les caractéristiques d’un multirécidiviste ? Il est certain qu’à l’heure où l’on écrit ces lignes, des laboratoires de recherche, des services de sécurité privés ou étatiques, réfléchissent aux vastes possibilités d’identification d’auteurs potentiels de crimes, grâce à l’exploitation de données massives. Il s’agirait alors de glisser insensiblement du commencement d’exécution à l’acte préparatoire, puis de l’acte préparatoire à la potentialité de commettre un crime. Indéniablement, cette piste ne peut être envisagée qu’avec intérêt par les organismes publics ou privés en charge de la sécurité, que ce soit pour des raisons de sécurité publique ou d’intérêt commercial. La plus neuve des technologies, par un extraordinaire raccourci, rejoindrait alors la plus vieille des criminologies. Les systèmes numériques prédictifs permettraient d’identifier le criminel en puissance. Tout comme, les caractéristiques morphologiques devaient permettre d’identifier le criminel-né, selon le père de la criminologie italienne, Cesare Lombroso.

Hitachi : une IA capable de prédire les crimes avant qu’ils se produisent
Des projets Chinois à la Minority Report utiliseront l’IA pour prédire des crimes

Des projets Chinois à la Minority Report utiliseront l’IA pour prédire des crimes

Credit: triggar.com.au

Le pouvoir des données et des analyses prédictives

Identifier et appréhender les suspects avant que les actes criminels ne soient commis.

Les autorités en Chine explorent les analyses prédictives, la reconnaissance faciale et d’autres technologies d’intelligence artificielle afin de prévenir la criminalité. Sur la base de modèles comportementaux, les autorités aviseront la police locale des contrevenants potentiels.

Cloud Walk, une entreprise située au Guangzhou Tianhe Software Park, a formé sa reconnaissance faciale et ses systèmes d’évaluation de big data pour suivre les mouvements des individus et le comportement en fonction des niveaux de risque. Selon l’Office municipal d’investissement international de Guangzhou, le taux de reconnaissance faciale a atteint 99,5%. Ceux qui visitent fréquemment des magasins d’armes ou des centres de transport sont susceptibles d’être signalés dans le système, et même des endroits comme les quincailleries ont été jugés « à haut risque » par les autorités.

Hitachi : une IA capable de prédire les crimes avant qu’ils se produisent

Un porte-parole de Cloud Walk a déclaré au Financial Times : « Bien sûr, tout va bien si quelqu’un achète un couteau de cuisine, mais si la personne achète un sac et un marteau plus tard, celle-ci devient alors suspecte. » Le logiciel de Cloud Walk est connecté à la base de données de la police dans plus de 50 villes et provinces, et peut signaler les personnes suspectes en temps réel, ce qui permet à la police d’intervenir.

La Chine utilise également une « ré-identification personnelle » – re-ID – dans la prévision du crime : identifier la même personne dans différents endroits, même si elle porte des vêtements différents. « Nous pouvons utiliser la ré-identification pour trouver des personnes suspectes faisant des allers-retours dans une même zone ou qui portent des masques », a déclaré le professeur de reconnaissance corporelle Leng Biao de la Beijing University of Aeronautics and Astronautics, au Financial Times. « Avec la ré-identification, il est également possible de retracer le cheminement d’une personne sur une grande zone. »

La Chine est, à bien des égards, l’endroit idéal pour utiliser ce type de technologie. Le gouvernement dispose de vaste archive de données provenant de dossiers de citoyens et de plus de 176 millions de caméras de surveillance. En d’autres termes, la Chine a l’embarras du choix en matière de big data et peut former ses systèmes d’intelligence artificielle de manière très efficace, sans aucun obstacle juridique significatif.

Ce ne sont pas les seules façons dont la Chine étend ses capacités d’intelligence artificielle. Le gouvernement vient tout juste de révéler un plan massif, bien organisé et financé pour faire de la Chine le leader mondial de l’intelligence artificielle d’ici 2030. La nation déploie la reconnaissance faciale dans les écoles contre la tricherie, dans les rues pour lutter contre la traversée de la chaussée en dehors des clous et même dans les salles de bain pour limiter le gâchis de papier toilette. Il n’est donc pas surprenant que le gouvernement chinois utilise également ces technologies pour prévenir le crime – et peut-être même le prédire.

“Si nous utilisons bien nos systèmes intelligents et nos installations intelligentes, nous pouvons savoir à l’avance… qui pourrait être un terroriste, qui pourrait faire quelque chose de mauvais”, a déclaré Li Meng, vice-ministre des sciences et de la technologie, à The Financial Times.

traduction Thomas Jousse

Mashable, Forbes, The Financial Times

Dubaï veut des robots pour composer 25% de sa police d’ici 2030

Dubaï a lancé un nouveau robot policier qui marque la première phase de l’intégration des robots dans la police. Cette version modifiée du robot REEM (conçu par PAL Robotics) est capable d’alimenter la vidéo dans un centre de commandement, transmettre les crimes signalés à la police, régler les amendes, la reconnaissance faciale et parler neuf langues. Il fonctionnera dans la plupart des centres commerciaux et des attractions touristiques.

Dubaï estime que les robots constitueront 25 pour cent de sa force de police d’ici 2030, la prochaine étape étant de les utiliser comme réceptionnistes dans les postes de police. Le brigadier Khalid Nasser Alrazooqi, directeur général du Département des services intelligents de la police de Dubaï, a déclaré à CNN qu’ils voulaient finalement libérer un “robot entièrement fonctionnel qui peut fonctionner comme un policier normal”.

Vers une police 3.0 : enjeux et perspectives à l’horizon 2025
Hitachi : une IA capable de prédire les crimes avant qu’ils se produisent
Patrouille du futur : plutôt cop ou Robocop ?

Les policiers ou les soldats robotiques sont une ancienne idée de science-fiction, mais ils sont de plus en plus une réalité. En février, la Chine a commencé à utiliser AnBot qui utilise la reconnaissance faciale pour identifier les criminels et est capable de les suivre jusqu’à l’arrivée de la police. Le robot russe, Final Experimental Demonstration Object Research (FEDOR), a suscité des comparaisons avec Robocop lorsqu’une vidéo l’a montré en tirant avec une précision mortelle, en soulevant des haltères et en marchant.

La plus grande préoccupation éthique soulevée par ces développements concerne les personnes coupables si un robot prend une mauvaise décision et blesse quelqu’un dans une situation criminelle. Elon Musk, Steven Hawking et d’autres scientifiques prolifiques ont identifié l’IA comme un grave risque existentiel, arguant que les robots ne devraient jamais être autorisés à tuer des gens. Alan Winfield, professeur d’éthique robot à l’Université de l’Angleterre de l’Ouest, écrit sur ce sujet sur son blog. “Le problème, c’est que vous ne pouvez pas rendre une machine responsable de ses erreurs”, a déclaré Winfeild dans une interview à CNN. “Comment le punir ? Comment le sanctionnez-vous ? Vous ne pouvez pas.”

CNN