Catastrophe globale et transhumanisme
Les transhumanistes ne sont pas tous techno-optimistes
« Only a singleton could control evolution1 »
Nick Bostrom
En 2008, le philosophe transhumaniste Nick Bostrom (université d’Oxford) publiait un article au titre singulier : « Où sont-ils ? Pourquoi j’espère que la quête de la vie extraterrestre ne donnera rien2. » Tandis que la sonde spatiale américaine Phoenix poursuivait ses investigations sur Mars, il développait l’idée que si nous trouvions une trace de vie intelligente, ce serait un mauvais présage pour l’humanité.
Inspiré du paradoxe du physicien Enrico Fermi, son raisonnement procède de la sorte : alors que nous sondons l’univers depuis plus de 60 ans (notamment dans le cadre du projet SETI – Search for extraterrestrial intelligence)3, que la Voie lactée recèle plus de 200 milliards d’étoiles et l’univers observable entre 100 et 200 milliards de galaxies, pourquoi n’avons-nous pas trouvé de traces tangibles de vie extraterrestre ? En d’autres termes, alors que la probabilité de la vie semble si grande, pourquoi aucune intelligence extraterrestre n’a encore entrepris l’exploration de l’univers ? Comment expliquer ce paradoxe ? Reprenant le concept de l’économiste américain Robin Hanson4, Nick Bostrom s’interroge : existe-t-il « un grand filtre »5, un obstacle, un goulot d’étranglement, une étape critique, au saut évolutionniste nécessaire à l’expansion de la vie et l’essaimage d’une l’intelligence dans l’univers, la civilisation galactique ? Partant de là, il distingue deux possibilités. Soit le « grand filtre » se situe dans notre passé et nous l’avons franchi : au seuil de notre expansion dans l’univers, il est vrai encore timide, cela revient à dire que la vie est rare, peut-être unique, et qu’elle nécessite d’improbables coïncidences pour émerger, sinon d’autres intelligences seraient venues nous rendre visite. La vie étant peu répandue et l’univers immense, on peut aussi imaginer qu’elle a pu émerger loin de nous, dans ce cas les deux intelligences resteront peut-être pour toujours étrangères l’une à l’autre. Dans l’autre hypothèse, le « grand filtre » se situe devant nous, dans le futur, cela signifierait qu’il y a dans le développement technologique de la civilisation un stade critique, qui expliquerait que quelque chose a empêché l’essaimage de l’intelligence. Dans ce cas c’est le risque anthropique, lié à l’homme lui-même, qu’il faut redouter.
Ces considérations liminaires mettent en relief le primat de l’intelligence et le risque anthropique existentiel, qui pourrait nuire à l’étape prochaine de l’évolution désirée par certains transhumanistes, un mouvement philosophique, scientifique et politique, qui s’est cristallisé notamment en Californie dans les années 1960 et qui a pour ambition de prendre en main l’évolution humaine, jugée imparfaite, par la technologie.
Souvent présentés comme techno-fétichistes, il s’agit ici d’explorer un aspect moins connu des transhumanistes : les liens qui unissent certains d’entre eux à l’idée de catastrophe globale6 et comprendre les ressorts de cette inquiétude. Après quelques éléments biographiques sur Nick Bostrom et une définition du risque anthropique existentiel, nous développeront l’exemple de l’« explosion de l’intelligence ».
Nick Bostrom
Niklas Bostrom est né en Suède. Mû par une curiosité intellectuelle intense, adolescent, il décide de faire sa propre éducation7. Au début des années 1990, il réussi le tour de force d’être diplômé de l’université de Göteborg en philosophie, en logique mathématique et en intelligence artificielle. Il poursuit ensuite sa formation à Stockholm où il étudie la philosophie et les mathématiques puis au King’s College de Londres où il s’initie à l’astrophysique et aux neurosciences8.
Acteur transhumaniste historique, il fonde, en 1998, avec le philosophe anglais David Pearce, le World Transhumanist Association (maintenant Humanity +), une institution qui a pour ambition de donner corps au transhumanisme mais aussi lui donner du crédit afin de stimuler des recherches académiques9. La même année, il participe à la rédaction de La déclaration transhumaniste ainsi qu’à la création du Journal of Transhumanism (devenu Journal of Evolution & Technology).
Son doctorat de philosophie obtenu à la London School of Economics porte sur le paradoxe de l’Apocalypse (Doomsday argument), un raisonnement probabiliste sur le risque d’extinction de l’humanité inspiré par l’astrophysicien Brandon Carter que, selon Nick Bostrom, l’on sous-estime trop souvent, notamment dans sa dimension anthropique10. En 2005, il donne naissance, au sein d’Oxford Martin School11, au laboratoire Future of Humanity Institute (FHI)12. Son objectif : générer des outils pluridisciplinaires pour appréhender les risques technologiques émergents mais aussi les opportunités civilisationnelles associées afin de clarifier les choix qui façonnent le futur de l’humanité sur le long terme, en tirer le meilleur profit. En 2014, son livre, Superintelligence, paths, dangers, strategies, a eu un grand retentissement13. En écho à cette publication, qui alimente l’inquiétude autour de l’intelligence artificielle, Elon Musk (Tesla Motors, PayPal, SpaceX, SolarCity) a doté le FHI d’une somme d’un million de dollars14. Récemment on a pu voir Nick Bostrom témoigner sur le risque existentiel à l’ONU au côté du cosmologiste Max Tegmark (MIT)15 fondateur du Future of Life Institute16.
Le risque existentiel
Nick Bostrom définit le risque existentiel comme un risque qui menace prématurément l’extinction de l’intelligence née sur Terre avant qu’elle ne puisse atteindre sa maturité, l’expression de sa plénitude17.
Depuis 500 millions d’années, 15 extinctions de masse auraient eu lieu dont 5 ont failli faire disparaître la vie sur Terre. Une en particulier, au Permien-Trias, il y a 250 millions d’années, aurait éliminé 90 % des espèces18. Dans un passé plus récent, la chute d’un astéroïde comme celui du Yucatán (Mexique), il y a 65 millions d’années, mais aussi l’impact du supervolcan Toba (Indonésie) sont à l’origine d’extinctions massives, directement et indirectement par l’absence de luminosité et le refroidissement induit.
Cependant, si l’humanité a survécu aux risques naturels depuis des centaines de milliers d’années, Nick Bostrom est moins optimiste quant aux menaces nouvelles introduites par celle-ci, depuis peu : c’est le risque existentiel anthropique19. Outre le réchauffement climatique global, l’usage de l’arme nucléaire, d’autres risques sont mis en avant comme une pandémie anthropogène liée au bioterrorisme, l’altération du climat par la géo-ingénierie et l’avènement d’une superintelligence artificielle hostile.
Nick Bostrom fait aussi état du risque nanotechnologique, pas seulement le très fantasmé gray goo20, une écophagie environnementale liée à la perte de contrôle d’un assembleur moléculaire popularisée par Eric Drexler (FHI)21, mais aussi l’usage d’armes nanométriques22. Il ajoute quelque chose d’imprévisible23. Focalisons-nous sur le risque inhérent à l’émergence de la superintelligence artificielle.
« 10 scénarios pour la fin de l’homme (avec Nick Bostrom) :
L’ « explosion de l’intelligence »
Le statisticien Irving John Good (1916-2009) serait le premier à l’avoir exposée officiellement en 1965 :
« Supposons qu’existe une machine surpassant en intelligence tout ce dont est capable un homme, aussi brillant soit-il. […] cette machine pourrait à son tour créer des machines meilleures qu’elle-même ; cela aurait sans nul doute pour effet une réaction en chaîne du développement de l’intelligence, pendant que l’intelligence humaine resterait presque sur place. Il en résulte que la machine ultra-intelligente sera la dernière invention que l’homme aura besoin de faire, à condition que ladite machine soit assez docile pour constamment lui obéir. Il est curieux que ce point soit si rarement abordé en dehors de la science-fiction. Il faudrait parfois prendre la science-fiction au sérieux24. »
Cette ultra-intelligence devient singularité technologique sous la plume du mathématicien et auteur de science fiction Vernor Vinge en 1993.
« Within thirty years, we will have the technological means to create superhuman intelligence. Shortly after, the human era will be ended25. »
En 2008, Robin Hanson (FHI) et Eliezer Yudkowsky (Machine Intelligence Research Institute) ont débattu à ce propos, l’un considérant que le « décollage » (takeoff) sera lent, qu’il prendra des années, des décennies et l’autre, au contraire, fulgurant26. Nick Bostrom pense aussi que le décollage sera explosif27.
L’ « explosion de l’intelligence » peut être résumée de cette manière : lorsque la machine aura atteint le stade de l’intelligence humaine, elle pourrait se reprogrammer, puis à nouveau se reprogrammer à partir de cette nouvelle programmation et ainsi de suite jusqu’à produire une évolution exponentielle.
Les techno-optimistes de la Silicon Valley comme Peter Diamandis et Ray Kurzweil utilisent ce concept de singularité technologique pour illustrer l’émergence de la superintelligence28. Nous serions au seuil d’une « accélération technologique », objectivement impensable, qui passé un point d’inflexion deviendra explosive et profondément transformatrice. Cette singularité technologie échappe à nos catégories de pensée car nous pensons de façon linéaire, alors que l’évolution technologique se fait de manière exponentielle. Peter Diamandis utilise cette métaphore : si 30 pas linéaires (1, 2, 3, etc.) amènent approximativement à 30 mètres, 30 pas exponentiels (1, 2, 4, 8, 16, etc.) nous feraient parcourir 26 fois le tour de la planète29. Dans le cadre de cette accélération, Ray Kurzweil prophétise l’émergence de la super-intelligence autoréplicante pour 204530. Nous sommes dans un compte à rebours quasi messianique, espéré auto-réalisateur, comme l’a été la loi de Moore31. C’est le retour en grâce du fantasme de l’intelligence artificielle « forte » stimulé par le l’augmentation des capacités de stockage de l’information et des puissances de calcul.
Pour Nick Bostrom, parmi les leviers devant conduire à une augmentation cognitive, si la digitalisation du cerveau (whole brain emulation) semble la voie la plus prometteuse, la méthode la plus rapide à mettre en œuvre serait le couplage avec la superintelligence artificielle32. Seulement, cette méthode qui conditionne un devenir hybride, cyborg, comporte un risque existentiel ; nous sommes revenus au « grand filtre ».
Nick Bostrom considère que l’évolution ne sera pas toujours nécessairement avantageuse pour l’humanité33. Contrairement aux libertariens de la Silicon Valley, il n’est pas techno-optimiste, il redoute les risques existentiels qui pourraient nuire à l’humanité toute entière.
Plus précisément, ces risques menacent de façon prématurée l’extinction, selon lui, non pas de l’humanité au sens de l’Homo sapiens, une incarnation transitoire, mais de l’ « intelligence d’origine terrestre » et sa « maturité technologique », c’est-à-dire le maximum de ses potentialités : le posthumain et ses promesses comme la colonisation de l’espace, etc34.
Selon Nick Bostrom, nous sous-estimons le risque anthropique existentiel et notamment celui inhérent à la superintelligence artificielle.
Comment se prémunir contre cette catastrophe ? Une manière d’éviter le désastre consisterait à prendre en main l’évolution de l’humanité, aussi suggère-t-il de développer ce qu’il appelle un singleton (en mathématiques, un ensemble formé d’un seul élément), un ordre mondial présidé par une entité indépendante qui nous permettrait d’éviter les risques existentiels35. Ce singleton pourrait être un gouvernement mondial démocratique, une dictature ou… une superintelligence, une sorte de gouvernement pastoral machinique36.
Finalement, la création d’un singleton, quelque soit sa nature, pourrait anticiper et ainsi réduire certains risques. Il pourrait aussi en faire advenir d’autres comme un régime oppressif global et permanent37.
Notes
1 Nick Bostrom, « The future of human evolution », in Charles Tanguy (ed), Death and anti-death: two hundred years after Kant, fifty years after Turing, Palo Alto, rup, 2004, 2009, [version en ligne], p. 16.
2 Nick Bostrom, « Where are they. Why I hope the search for extraterrestrial Life Finds Nothing », MIT Technology review, mai/juin, 2008, p. 72-77.
4 Robin Hanson, « The great filter – Are we almost in the past ? », 15 septembre 1998.
5 Ce concept est utilisé en exobiologie (ou astrobiologie). Lire Aditya Chopra et Charles H. Lineweaver, « The case for a Gaian bottleneck. The biology of habitability », Astrobiology, vol. 16, no 1, 2016.
6 Le rapport de la fondation Global challenges définit la catastrophe globale comme un événement qui tuerait au moins 10 % de l’humanité, soit actuellement 750 millions de personnes. Lire Global Challenges Foundation/Global Priorities Project (Future of Humanity Institute), Global Catastrophic Risks, 2016, p. 6.
7 Raffi Khatchadourian, « The doomsday invention. Will artificial intelligence bring us utopia or destruction ? », The New Yorker, no 23, novembre 2015.
8 Curriculum vitae de Nick Bostrom.
9 Nick Bostrom, « A history of transhumanist thought », Journal of Evolution & Technology, vol. 14, no 1, avril 2005, p. 15.
10 Cet argument est discuté par John A. Leslie dans The end of the world. The science and ethics of human extinction, London, Routeldge, 1996
11 Fondé en 2005 par James Martin, un spécialiste des technologies de l’information, Oxford Martin School, est un centre de recherche pluridisciplinaire qui porte sur les enjeux globaux pour le XXIe siècle.
13 Nick Bostrom, Superintelligence, paths, dangers, strategies, Oxford, OUP, 2014.
14 Ideas into action, 10 years of groundbreaking research, Oxford Martin School/University of Oxford, 2015, p. 9.
15 Prof. Max Tegmark and Nick Bostrom speak to the UN about the threat of AI.
17 Nick Bostrom, « Existential risk prevention as global priority », Global Policy, vol. 4, no 1, 2013, p. 15.
18 Nick Bostrom et Milan M. Ćirković, « Introduction », Global Catastrophic Risks, Oxford, OUP, 2008, p. 8.
19 Nick Bostrom, « The future of humanity », in Jan-Kyrre Berg Olsen, Evan Selinger et Soren Riis (eds), New Wages in philosophy of technology, NY, Palgrave McMilla, 2009 [version en ligne], p. 10-11.
20 Nick Bostrom, Existential risks: Analyzing human, extinction scenarios and related hazards, Journal of Evolution and Technology, vol. 9, mars 2009, p. 8.
21 Eric K. Drexler, Engins de création : l’avènement des nanotechnologies, Paris, Vuilbert, 2005 [Engines and creation. The coming era of nanotechnology, 1986].
22 Nick Bostrom, « The future of humanity », op. cit., p. 10-11.
23 Nick Bostrom, Existential risks : Analyzing human, extinction scenarios and related hazards, op.cit., p. 8.
24 Irving J. Good, « Speculations concerning the first ultraintelligent machine », in F. Alt et M. Ruminoff (eds.), Advances in computers, vol. 6, 1965, p. 33.
25 Venor Vinge, « The coming technological singularity: How to survive in the post-human era », Vision-21, Interdisciplinary science and engineering in the era of cyberspace. Proceedings of a symposium cosponsored by the NASA Lewis Research Center and the Ohio Aerospace Institute and held in Westlake, Ohio March 30-31, 1993, p. 11.
26 Robin Hanson et Eliezer Yudkowsky, The Hanson-Yudkowsky AI foom debate, Berkeley, CA, Machine Intelligence Research Institute, 2013.
27 Nick Bostrom, Superintelligence, paths, dangers, strategies, op. cit., p. 64-65.
28 Voir Ray Kurzweil, The singularity is near. When humans transcend biology, London, Penguin Books, 2005.
29 Peter Diamandis et Steven Kotler, Bold. How to go big, create wealth and impact the world, NY, Simon and Schuster Books, 2014, p. 16.
30 Peter Diamandis, « Ray Kurzweil’s mind-boggling predictions for the next 25 years », Singularity Hub, 20 janvier 2015.
31 Walter Isaacson, Les innovateurs. Comment un groupe de génies, hackers et geeks a fait la révolution numérique, Paris, JC Lattès, 2015, p. 247.
32 Nick Bostrom, Superintelligence, paths, dangers, strategies, op. cit.
33 Nick Bostrom, « The future of human evolution », op. cit., p. 1-2.
34 Nick Bostrom, « Existential risk prevention as global priority », op. cit., p. 15-31.
35 Nick Bostrom, « The future of human evolution », op. cit., p. 16-18.
36 Nick Bostrom, « What is a Singleton », Linguistic and Philosophical Investigations, vol. 5, no 2, 2006, p. 48-54.
37 Nick Bostrom, « The future of human evolution », op. cit. p. 18.