La Silicon Valley croit depuis longtemps qu’elle peut optimiser la société, comme le soutient Jill Lepore dans son nouveau livre If Then.

Si vous travaillez pour Bank of America ou l’armée américaine, vous avez peut-être utilisé une technologie développée par Humanyze. Cette société est issue des recherches menées au Media Lab du MIT et décrit ses produits comme « des analyses fondées sur la science pour favoriser l’adaptabilité ».

Si cela semble vague, c’est peut-être délibéré. Humanyze vend notamment aux entreprises des dispositifs permettant d’espionner les employés, tels que des badges d’identification avec des étiquettes RFID intégrées, des capteurs de communication en champ proche (NFC, Near Field Communication) et des microphones intégrés qui permettent de suivre dans les moindres détails le ton et le volume (mais pas les mots) des conversations des personnes tout au long de la journée. Humanyze a déposé son score de santé organisationnelle, qu’elle calcule sur la base des données des employés collectées par les badges et qu’elle promet être « une formule éprouvée pour accélérer le changement et favoriser l’amélioration ».

Ou alors vous travaillez pour l’une des entreprises du secteur de la santé, du commerce de détail ou des services financiers qui utilisent le logiciel développé par Receptiviti. La mission de cette entreprise basée à Toronto est d’aider les machines à comprendre les gens en scannant les courriels et les messages Slack à la recherche d’indices linguistiques de mécontentement. « Nous nous inquiétons de la perception de Big Brother », a récemment déclaré Kreindler, le PDG de Receptiviti au Wall Street Journal. Il préfère qualifier la surveillance des employés de corporate mindfulness. (Orwell aurait également eu quelque chose à dire sur cet euphémisme).

De tels efforts dans ce que ses créateurs appellent « people analytics » sont généralement justifiés par l’amélioration de l’efficacité ou de l’expérience du client. Ces derniers mois, certains gouvernements et experts de la santé publique ont préconisé le suivi et la traçabilité des applications comme moyen d’arrêter la propagation de la covid-19.

Mais en adoptant ces technologies, les entreprises et les gouvernements évitent souvent de répondre à des questions cruciales : Qui devrait savoir quoi à votre sujet ? Ce qu’ils savent est-il exact ? Que devraient-ils être en mesure de faire avec ces informations ? Et, est-il jamais possible de concevoir une « formule éprouvée » pour évaluer le comportement humain ?

De telles questions ont une histoire, mais les technologues d’aujourd’hui ne semblent pas la connaître. Ils préfèrent se concentrer sur les nouvelles et ingénieuses façons dont leurs inventions peuvent améliorer l’expérience humaine (ou les résultats de l’entreprise) plutôt que sur les façons dont les gens ont essayé et échoué à faire de même dans les époques précédentes. Chaque nouvel algorithme ou application est, selon eux, une réprimande implicite du passé.

Mais ce passé peut offrir une orientation et une humilité bien nécessaires. Malgré des ordinateurs plus rapides et des algorithmes plus sophistiqués, l’analyse des personnes d’aujourd’hui est alimentée par une vieille conception réductrice : l’idée que la nature humaine dans toute sa complexité peut être réduite à une formule. Nous en savons assez sur le comportement humain pour exploiter les faiblesses des uns et des autres, mais pas assez pour le modifier de manière significative.

If Then, un nouveau livre de Jill Lepore, historienne à l’université de Harvard et rédactrice au New Yorker, raconte l’histoire d’une entreprise technologique oubliée du milieu du XXe siècle, la Simulmatics Corporation. Fondée par un groupe hétéroclite de scientifiques et de publicitaires en 1959, elle était, selon Jill Lepore, « la Cambridge Analytica de l’Amérique de la guerre froide ».

Une description plus précise pourrait être que c’était un effort des démocrates pour concurrencer l’adoption des techniques de publicité par le parti républicain. Au milieu du siècle, les républicains vendaient les hommes politiques au public comme s’il s’agissait de papier toilette ou de café. Simulmatics, qui s’était installé à New York (et qui a dû recourir aux ordinateurs d’IBM pour effectuer ses calculs), promettait de prédire le résultat des élections presque en temps réel – une pratique désormais si courante qu’elle est banale, mais considérée alors comme révolutionnaire, voire impossible.

Le nom de la société, qui signifie « simulation » et « automatique », était à la mesure de l’ambition de ses créateurs : « automatiser la simulation du comportement humain ». Son principal outil était la People Machine, que Lepore décrit comme « un programme informatique conçu pour prédire et manipuler le comportement humain, toutes sortes de comportements humains, de l’achat d’un lave-vaisselle à la lutte contre une insurrection en passant par le vote ». Il fonctionnait en développant des catégories de personnes (comme une mère blanche de la classe ouvrière catholique ou républicaine de banlieue) et en simulant leur prise de décision probable. (La publicité ciblée et les campagnes politiques utilisent aujourd’hui des techniques largement similaires).

Les principaux acteurs de l’entreprise sont issus de différents milieux. Le publicitaire Ed Greenfield a été l’un des premiers à entrevoir comment la nouvelle technologie de la télévision allait révolutionner la politique et a acquis la conviction que les premiers ordinateurs exerceraient une force tout aussi perturbatrice sur la démocratie. Ithiel de Sola Pool, un ambitieux chercheur en sciences sociales désireux de travailler avec le gouvernement pour découvrir les secrets du comportement humain, est finalement devenu l’un des premiers théoriciens visionnaires des réseaux sociaux.

Plus que tout autre homme de Simulmatics, Pool incarnait à la fois la ferveur idéaliste et l’insouciance à l’égard de la violation des normes qui caractérisent les innovateurs technologiques d’aujourd’hui. Fils de parents radicaux qui ont eux-mêmes touché au socialisme dans leur jeunesse, il a passé le reste de sa vie à prouver qu’il était un patriote engagé dans la guerre froide, et il a un jour décrit son travail à Simulmatics comme « une sorte de pari du Manhattan Project en politique ».

Pour aider à l’élection de J.F.K., Simulmatics a conçu des modèles informatiques du comportement des électeurs. Photographie de Stan Wayman / Getty

L’un des premiers gros clients de la société a été la campagne présidentielle de John F. Kennedy en 1960. Lorsque Kennedy a gagné, la société a revendiqué le mérite. Mais elle a également dû faire face à la crainte que la machine qu’elle avait construite puisse être utilisée à des fins malveillantes. Comme l’a dit un scientifique dans un exposé de la société, publié par le magazine Harper’s peu après l’élection, « On ne peut pas simuler les conséquences de la simulation« . Le public craignait que des entreprises comme Simulmatics puissent avoir une influence corrompue sur le processus démocratique. Cela, rappelons-le, s’est passé près d’un demi-siècle avant même la création de Facebook.

Une branche du gouvernement, cependant, s’est montrée enthousiaste quant aux capacités prédictives de la société : le Département de la Défense. Comme le rappelle Lepore, les partenariats étroits entre les technologues et le Pentagone étaient considérés comme des efforts nécessaires et patriotiques pour endiguer la vague communiste pendant la guerre froide.

En 1966, Pool avait accepté un contrat pour superviser un projet de sciences du comportement à grande échelle pour le Département de la Défense à Saïgon. « Le Vietnam est le plus grand laboratoire de sciences sociales que nous ayons jamais eu ! S’enthousiasme-t-il. Comme le secrétaire à la Défense Robert McNamara, Pool pensait que la guerre serait gagnée dans « le cœur et l’esprit » des Vietnamiens, et qu’elle nécessitait la modélisation et la simulation des sciences du comportement pour être gagnée. Comme l’écrit Lepore, Pool soutenait que si les hommes d’État avaient par le passé consulté la philosophie, la littérature et l’histoire, les hommes d’État de la guerre froide étaient obligés de consulter les sciences du comportement.

Leurs efforts de contre-insurrection assistée par ordinateur ont été un échec désastreux, en grande partie parce que les données de Simulmatics sur les Vietnamiens étaient partielles et que ses simulations reposaient davantage sur des vœux pieux que sur les réalités du terrain. Mais cela n’a pas empêché le gouvernement fédéral de revenir vers Pool et Simulmatics pour l’aider à comprendre – et à prévoir – les troubles civils au Vietnam.

La Commission Kerner, instituée par le président Lyndon Johnson en 1967 pour étudier les émeutes raciales qui avaient éclaté dans tout le pays, a payé la division des études urbaines de Simulmatics pour qu’elle conçoive une formule prédictive des émeutes afin d’alerter les autorités avant que celles-ci ne dégénèrent en désordre. Comme les prédictions pour le Vietnam, celles-ci se sont avérées douteuses. Dans les années 1970, Simulmatics avait fait faillite et « la simulation informatique automatisée du comportement humain était tombée en discrédit », selon Lepore.

« La collecte et l’utilisation à des fins lucratives de données sur le comportement humain, non réglementées par un quelconque organisme gouvernemental, a fait des ravages dans les sociétés humaines ».

La simulation « se cache derrière l’écran de chaque appareil » que nous utilisons, affirme Lepore, et elle prétend que ses créateurs, les « grands-pères à la moustache blanche et à la mort longue de Mark Zuckerberg et Sergey Brin et Jeff Bezos et Peter Thiel et Marc Andreessen et Elon Musk », sont un « chaînon manquant » dans l’histoire de la technologie. Mais il s’agit là d’un dépassement. Le rêve de trier, de catégoriser et d’analyser les gens a été une constante tout au long de l’histoire. L’effort de Simulmatics n’était qu’un effort parmi d’autres, et n’était guère révolutionnaire.

Les projets du XIXe siècle visant à classer les criminels par catégories, ou les campagnes du début du XXe siècle visant à prédire le comportement en fonction de catégories pseudo-scientifiques de race et d’ethnicité au plus fort du mouvement eugéniste, ont été beaucoup plus importants (et nuisibles) sur le plan historique. Tous ces projets ont également été couronnés de succès grâce à la collecte et à la systématisation de données et à des partenariats avec les autorités locales et nationales, mais ils ont également suscité l’enthousiasme d’une grande partie du public, ce que Simulmatics n’a jamais réalisé.

Ce qui est vrai, c’est que la combinaison d’idéalisme et d’orgueil de Simulmatics ressemble à celle de nombreuses entreprises contemporaines de la Silicon Valley. Comme elles, elle se considère comme le fer de lance d’un nouveau siècle des Lumières, dirigé par les personnes les plus aptes à résoudre les problèmes de la société, même si elles ne saisissent pas la complexité et la diversité de cette société. « Il serait plus facile, plus réconfortant, moins dérangeant, si les scientifiques de Simulmatics étaient les méchants », écrit Lepore. « Mais ils ne l’étaient pas. C’étaient des libéraux blancs du milieu du siècle dernier, à une époque où l’on n’attendait pas des libéraux blancs qu’ils comprennent les gens qui n’étaient pas blancs ou libéraux ». Alors que Simulmatics Corporation croyait que la même formule pouvait comprendre des populations aussi distinctes que les électeurs américains et les villageois vietnamiens, les technologies prédictives actuelles font souvent des promesses tout aussi grandioses. Alimentées par une collecte et une analyse de données bien plus sophistiquées, elles ne parviennent toujours pas à rendre compte de toute la gamme et de la richesse de la complexité et des variations humaines.

Ainsi, bien que Simulmatics est inventé le futur, ses tentatives de catégorisation et de prévision du comportement humain ont soulevé des questions sur l’éthique des données qui sont toujours d’actualité. Lepore décrit les audiences du Congrès sur la confidentialité des données en 1966, lorsqu’un scientifique du RAND a exposé au Congrès les questions qu’il devrait poser : Que sont les données ? À qui appartiennent les données ? Quelle est l’obligation du collecteur, du détenteur ou de l’analyste des données à l’égard du sujet des données ? Les données peuvent-elles être partagées ? Peuvent-elles être vendues ?

Lepore déplore qu’une époque antérieure n’ait pas su aborder de front ces questions. « Si, alors, dans les années 1960, les choses s’étaient passées différemment, cet avenir aurait pu être sauvé », écrit-elle, ajoutant que « beaucoup de gens croyaient à l’époque qu’une people machine était entièrement et totalement amorale ». Mais il est aussi étrangement rassurant d’apprendre que même lorsque nos technologies étaient à leur stade rudimentaire, les gens réfléchissaient aux conséquences probables de leur utilisation.

Comme l’écrit Lepore, la simulation a été entravée par les limites technologiques des années 1960 : « Les données étaient rares. Les modèles étaient faibles. Les ordinateurs étaient lents. La machine tombait en panne, et les hommes qui la construisaient ne pouvaient pas la réparer. » Mais bien que les machines d’aujourd’hui soient « plus élégantes, plus rapides et apparemment inarrêtables », elles ne sont pas fondamentalement différentes de celles de Simulmatics. Toutes sont basées sur la croyance que les lois mathématiques de la nature humaine sont réelles, de la même manière que les lois de la physique sont – une fausse croyance, note Lepore.

L’étude du comportement humain n’est pas la même chose que l’étude de la propagation des virus et de la densité des clouds et du mouvement des étoiles. Le comportement humain ne suit pas des lois comme la loi de la gravité, et croire qu’il le fait, c’est prêter serment à une nouvelle religion. La prédestination peut être un évangile dangereux. La collecte et l’utilisation à des fins lucratives de données sur le comportement humain, non réglementées par un quelconque organisme gouvernemental, a fait des ravages dans les sociétés humaines, en particulier dans les domaines dans lesquels Simulmatics s’est engagé : politique, publicité, journalisme, contre-insurrection et relations raciales.

La société Simulmatics a échoué parce qu’elle était en avance sur son temps, ses homologues modernes sont plus puissants et plus rentables. Mais se souvenir de son histoire peut aider à clarifier les déficiences d’une société construite sur des croyances réductrices concernant le pouvoir des données.