Skip to content

Quand les algorithmes seront parfaits

Le livre de Cathy O’Neil Algorithmes, la bombe à retardement1 est paru aux USA en 2016 et en France en 2018. C’est peu de dire que ce livre fut encensé de tous les côtés à sa sortie. Le mathématicien et député Cédric Villani, ayant coordonné le rapport ministériel Donner un sens à l’intelligence artificielle en a écrit une préface dithyrambique. L’auteure fut même invitée à rencontrer Emmanuel Macron en personne. Et pour cause ! Malgré son titre provocant, ce livre ne dérange personne. Son accueil fut orchestré à peu près ainsi : enfin une expertise critique sur cette chose qu’on dit omniprésente et que personne ne comprend ! Et de surcroît par une personne du terrain ! Qu’on nous explique enfin ce que c’est, avec des exemples à la portée de tout le monde ! Qu’on nous fasse un peu frissonner sur ses potentialités apocalyptiques et qu’on nous donne la solution pour éviter ça ! Cela commence avec son titre anglais Weapons of Math Destruction qui est un jeu de mots avec Weapons of Mass Destruction. Durant tout le livre, l’auteure conservera le sigle ADM pour « armes de destructions massives ». Avec un tel surnom, on s’attendrait à une critique autrement radicale. On comprend lentement que c’est presque un surnom affectueux, un peu comme quand on appelle son chien « gros monstre ».

De fait, l’ouvrage répond bien aux attentes d’une société qui veut être guidée dans le « bon usage » des technologies meurtrières, mais s’est accommodée de leur prolifération et de leur constant perfectionnement. Mathématicienne, ancienne analyste à Wall Street puis dans le marketing, l’auteure connaît bien les big data et peut donc lever un coin de rideau sur d’inquiétantes réalités qu’elle a expérimenté sur le terrain. Repentie, elle a participé à Occupy Wall Street et a entre-temps fondé la société ORCAA qui propose aux entreprises des audits sur leurs risques algorithmiques. Afin de sortir de la mystification, elle nous rappelle pour commencer qu’un algorithme n’est pas autre chose qu’un modèle qui pourrait être comparé à la composition des menus familiaux par une mère de famille tenant compte des goûts de chacun, de la saison, du budget, de l’équilibre alimentaire, etc. Si ce modèle interne intuitif était transposé dans un logiciel, il deviendrait un « modèle externe formalisé » caractérisé, dit-elle, par une simplification de la complexité du vécu. Ici déjà, l’auteure oublie de dire que ce modèle externe ne peut prétendre compenser cette simplification, qui est son défaut fondamental, qu’en engrangeant des masses de données exponentielles, afin précisément d’y intégrer la plus grande variabilité possible des situations humaines. Tant que les humains seront capables de surprise et de changement, la voracité d’une banque de données à l’affût de toutes ces infimes variations sera sans limite, afin d’affiner indéfiniment le modèle. Ce projet ne peut par définition qu’être total, c’est-à-dire tendre follement vers la saisie exhaustive du réel. Il peut se rapprocher de la réalité, y ressembler, il peut nous bluffer, mais il ne sera jamais le réel. Or il se peut que ce projet de rejoindre le réel le conduise bel et bien à le détruire sans merci, à le dévorer jusqu’au dernier grain, comme le cannibale pense incorporer l’esprit de sa victime en buvant son sang. « Software is eating the world », écrivait Marc Andreessen en 2011 de manière éloquente2. En voulant corriger son défaut, le modèle ne peut qu’étendre sa boulimie de données à tout ce qui existe, sans reste. Il fait passer la moindre surprise dans son broyeur prédictif dans l’espoir qu’un jour il n’y ait plus de surprises : son absolue prédictibilité serait alors démontrée. Mais cet espoir est vain, car son défaut initial, qui est un défaut ontologique, ne peut pas être résorbé par un apport quantitatif ; il peut tout au plus y tendre asymptotiquement, c’est-à-dire à l’infini – si du moins nous consentons à nous prêter à ce projet délirant, comme le veulent les tenants de la Singularité.

A ne pas manquer !  Une molécule géante a été créée à partir de deux atomes

Sur les risques inhérents à une telle volonté de combler le défaut ontologique de la modélisation par une quantité exponentielle de données, la portée critique est ici d’une consternante pauvreté. Elle nous inspire la réplique de Cyrano de Bergerac : « Ah ! non ! c’est un peu court, jeune homme ! On pouvait dire… Oh ! Dieu ! … bien des choses en somme… » Cathy O’Neil ne fait qu’effleurer le problème de l’échelle d’application des algorithmes, sans voir que cette échelle toujours plus vaste est inhérente à l’existence même des systèmes algorithmiques : « Toute formule présente en théorie un caractère parfaitement inoffensif (…) mais si elle acquiert la dimension d’une norme nationale ou mondiale, elle crée alors sa propre économie dystopique et dénaturée ». (p. 84). Elle ne reproche ici aux algorithmes que l’étendue de leur dégât et non leur logique qui ne peut pas faire autre chose que de conduire à une totalisation sans reste. L’auteure suppose ainsi que le bon sens et le progressisme politique sauront (une fois correctement informés) limiter cette extension galopante par de saines barrières. Mais elle ignore par-là la logique à l’œuvre dans la modélisation algorithmique qui implique nécessairement le moulinage de tout ce qui existe dans le vain espoir de combler le défaut ontologique que le modèle introduit lui-même, soit de résorber l’écart insurmontable entre la probabilité et l’occurrence. Pour le dire autrement à partir de l’exemple empirique choisi par l’auteure elle-même, dès lors qu’on a accepté le principe de modéliser mathématiquement la composition des menus familiaux afin d’optimiser la conception des repas, il n’y a plus de retour : le système ne peut que s’engager dans le perfectionnement monstrueux de sa propre modélisation. Il a fait naître une frustration qui n’est pas stoppable par un argument d’autorité subjectif, comme pourrait l’être celui de la mère de famille qui déciderait que « c’est comme ça », justement parce qu’elle n’aura jamais la bêtise de viser une application littérale de son modèle intuitif, contrairement à l’algorithme, qui ne pense pas, n’expérimente pas, ne regrette pas, ne se laisse pas tenter : il avale simplement les données et les convertit en chiffre au service d’un objectif donné. C’est la raison pour laquelle Elon Musk disait que si l’on donnait à une IA l’objectif – assez innocent – de ramasser des fraises, elle pourrait transformer le monde entier en champs de fraises afin de remplir son objectif3. Cette logique serait la même si on lui donnait l’objectif d’éradiquer la faim ou le paludisme dans le monde. La nature de sa destructivité n’a rien à voir avec les valeurs morales qu’on prétend lui implémenter.

Le deep learning avale toujours plus de données pour corriger son déficit inhérent, par quoi il prétend se rapprocher du chatoiement du réel et en éliminer toute forme de surprise qui ne soit pas immédiatement réinjectée dans sa propre amélioration indéfinie. Ceci n’a en soi rien à voir avec la moralité des concepteurs ; mais si un tel programme est mis au service d’intérêts privés, il est évident que le potentiel destructeur est démultiplié. De fait, l’invention de tels systèmes est consubstantielle à l’optimisation des coûts dans le cadre de la concurrence économique. Ces technologies n’ont aucun sens en dehors de ce cadre d’émergence historique, car elles supposent des investissements colossaux et des échelles d’action globalisées. Elles ne sont pas seulement les belles « disruptions » qu’on raconte, sorties comme des champignons de l’ère internet. Elles sont bien plutôt congruentes avec toute l’évolution du système capitaliste depuis ses origines. Mais pour l’auteure, le problème est toujours la morale des modélisateurs : « La racine du problème… réside dans les objectifs choisis par les modélisateurs. Le modèle est optimisé dans une perspective d’efficience et de rentabilité, et non pas pour l’équité ou le bien de l' »équipe ». C’est bien entendu la nature même du capitalisme. (…) Voilà pourquoi la société doit pouvoir s’appuyer sur des forces contraires – comme une vigoureuse couverture médiatique, capable de mettre en lumière les abus de cette course à l’efficience et de jeter l’opprobe sur les entreprises pour les pousser à bien faire » (p. 198). Les vibrants discours de Mark Zuckerberg et d’autres sur le monde ouvert et généreux que nous sommes en train de construire démontrent surtout que cette moralisation ne nuit en rien ni aux monopoles ni au déchaînement des forces technologiques, elle se met au contraire à leur service en leur offrant un blanchiement éthique imparable.

A ne pas manquer !  NEC développe la reconnaissance faciale pour les paiements

Il y a là une ignorance profonde des logiques enclenchées par le principe même de la datification du monde, qui n’est que la dernière forme prise par l’optimisation du projet capitaliste. Personne n’irait modéliser la composition des menus familiaux sans une certaine idée d’optimisation, qui n’est pas forcément « économique » au sens financier, mais toujours « économique » au sens d’introduire une forme d’efficacité quantifiable (de temps, d’équité entre les goûts des convives, d’équilibre diététique, etc.) Il s’agit bien uniquement d’économie. Jouer une dimension économique contre une autre ne nous sort pas de la logique acéphale du réductionnisme économique, qui, en tant que tel, ignore ces compartiments. Optimiser ceci ou cela, c’est toujours optimiser. L’argent n’en est que la forme ultime. Prétendre optimiser la réduction des accidents de la route est par exemple un argument de nature aussi « économique » que le marketing en faveur des voitures autonomes, et les deux intentions sont d’ailleurs vendues en un seul et même paquet bien ficelé. Imaginer qu’on pourrait développer de gentils petits algorithmes au service du bien public et décontaminés des intérêts financiers est d’une bêtise confondante.

Ayant complètement manqué l’analyse de cet aspect essentiel du système – puisqu’elle en fait pleinement partie et déploie toute son énergie à le perfectionner – l’auteure engage alors la critique dans une autre voie, qui sera celle de tout le reste du livre, en faisant remarquer que les données pertinentes qui alimentent un modèle sont toujours le reflet des préjugés de leurs concepteurs, par exemple, pour rester dans les soucis domestique, une idéologie diététique comme celle d’éliminer les sucreries des menus. En effet : « Les modèles sont un ensemble d’opinions inséré dans un système mathématique. » (p. 40). Le livre se concentrera donc sur l’analyse de l’amplification par les algorithmes des préjugés existants, parce qu’ils s’appuient sur des corrélations fallacieuses et des biais de confirmation, parce qu’ils développent des boucles de rétroaction, mais aussi parce qu’ils sont mis au service d’intérêts peu scrupuleux qu’il s’agit selon l’auteure de réguler pour que tout rentre dans l’ordre.

Elle décrit avec forces exemples et anecdotes le potentiel destructeur des algorithmes, du recrutement dans les grandes universités à l’évaluation des enseignants, de l’emprunt bancaire aux campagnes électorales en passant par la prévention du crime, la recherche d’emploi ou la signature d’un contrat d’assurance. C’est l’ensemble de la vie sociale qui se trouve ainsi passée au crible de l’analyse des manipulations algorithmiques au service des puissants et au détriment des populations précaires et marginalisées. Le tableau qui en ressort est celui d’une société profondément injuste, que les algorithmes, biaisés par les préjugés de leurs concepteurs, rendent encore plus injuste en enfermant encore plus les individus dans les cases où les ont mis des calculs anonymes et partiaux. L’auteure nous montre comment les algorithmes ont en quelque sorte l’art de perfectionner les injustices sociales et raciales existantes et de renforcer les ségrégations qu’ils prétendent pourtant éviter derrière la façade d’une fausse neutralité.

A ne pas manquer !  « iBorderCtrl» ou la sécurité totale

A partir de telles prémisses, le ton du livre est donné. Il s’agira désormais de donner aux big data leur supplément éthique. « Nous devons expressément intégrer à nos algorithmes de meilleures valeurs, en créant pour le Big Data des modèles conformes à nos visées éthiques. Ce qui supposera parfois de placer l’équité au-dessus du profit. » (p 304). Que dire de ce vague « parfois » qui ressemble à une tapette sur l’épaule ? Ou encore : « Il nous faut pourtant insuffler à ces systèmes des valeurs humaines, même au détriment de l’efficience. » (p. 308). L’efficience est pourtant le principe même d’un algorithme, sa raison d’être. L’idée de modèles conformes à une bonne intention « insufflée » dans la machine reste la pièce maîtresse de cette entreprise de moralisation. Que ces modèles aient une vie propre, emportée par leur logique mathématique de manière non pas accessoire mais consubstantielle à celle de la valorisation économique, n’effleure pas l’auteure. Que les moratoires d’aujourd’hui, les règlements divers et les chartes éthiques ne soient que les cache-sexes de cette lame de fond tendant à optimiser l’intégralité du système-monde demeure inaccessible à la critique. Certes, l’auteure reconnaît que : « La tendance consiste à remplacer les gens par des flux de données et à en faire des acheteurs, des électeurs ou des employés plus efficaces afin de remplir un objectif quelconque » (p. 80). Selon elle, il suffit de remplacer les intentions immorales des acteurs économiques par des intentions morales, et nous aurons enfin des algorithmes bienfaisants. Cathy O’Neil doit bien alors réchauffer cette vieille idée selon laquelle ce n’est pas la technologie qui est mauvaise, mais l’usage qu’on en fait. Citant un algorithme employé à la prévention de la maltraitance infantile, elle peut ainsi affirmer : « Si l’objectif consiste… non pas à punir les parents, mais à secourir les enfants qui pourraient en avoir besoin, cette ADM en puissance devient alors salutaire. » (p. 323). Le programme est simple : « En matière de communication politique, comme avec la plupart des ADM, le cœur du problème réside presque toujours dans l’objectif poursuivi. Si l’on choisit d’aider les gens au lieu de profiter d’eux, l’ADM se trouve neutralisée – et peut même se changer en une force bienfaitrice. » (p. 295). Le principe de cette curieuse argumentation est de potentialiser la vertu des armes de destruction massive, un peu à la façon dont la bombe nucléaire peut être défendue par certains pour sa capacité dissuasive (ce qui n’enlève rien à son potentiel létal). Un tel livre, loin de se livrer à la critique annoncée dans son titre, est donc pleinement au service de l’amélioration de technologies invasives qui devraient en fait être rendues non racistes, non sexistes, non spécistes, non discrimantes, non violentes, et même carrément bienveillantes, etc. Il promeut une moralisation publique légitimatrice qui est en accord fondamental avec l’égalisation de tout être, de toute chose et de tout comportement sous le signe du chiffre. Son progressisme et son antiracisme ne lui font pas de mal, ils travaillent au contraire insidieusement à la promotion d’un univers froidement égalitaire, servi par des algorithmes « bien éduqués », prétendument au service de grandes causes, auquel on aurait ôté ainsi les dernières objections éthiques qui se dressent encore sur sa route. Suivre ce retournement de la fausse critique en perfectionnement d’un système de domination explique aussi pourquoi le livre a été tellement applaudi.

1 Cathy O’Neil, Algorithmes, la bombe à retardement, Paris, Les Arènes, 2018 [2016].

2 Marc Andreessen, « Why Software Is Eating The World », The Wall Street Journal, 20 août 2011.

3 Kevin J. Ryan, « What Elon Musk Really Thinks of Artificial Intelligence and Why You Schould Care », Inc., 27 mars 2017.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Recommandé
Invité de l'émission « Allons plus loin », le philosophe…
Défiler vers le haut