Catastrophe globale et transhumanisme

Les transhumanistes ne sont pas tous techno-optimistes

« Only a singleton could control evolution1 »

Nick Bostrom

En 2008, le philosophe transhumaniste Nick Bostrom (université d’Oxford) publiait un article au titre singulier : « Où sont-ils ? Pourquoi j’espère que la quête de la vie extraterrestre ne donnera rien2. » Tandis que la sonde spatiale américaine Phoenix poursuivait ses investigations sur Mars, il développait l’idée que si nous trouvions une trace de vie intelligente, ce serait un mauvais présage pour l’humanité.

Inspiré du paradoxe du physicien Enrico Fermi, son raisonnement procède de la sorte : alors que nous sondons l’univers depuis plus de 60 ans (notamment dans le cadre du projet SETI – Search for extraterrestrial intelligence)3, que la Voie lactée recèle plus de 200 milliards d’étoiles et l’univers observable entre 100 et 200 milliards de galaxies, pourquoi n’avons-nous pas trouvé de traces tangibles de vie extraterrestre ? En d’autres termes, alors que la probabilité de la vie semble si grande, pourquoi aucune intelligence extraterrestre n’a encore entrepris l’exploration de l’univers ? Comment expliquer ce paradoxe ? Reprenant le concept de l’économiste américain Robin Hanson4, Nick Bostrom s’interroge : existe-t-il « un grand filtre »5, un obstacle, un goulot d’étranglement, une étape critique, au saut évolutionniste nécessaire à l’expansion de la vie et l’essaimage d’une l’intelligence dans l’univers, la civilisation galactique ? Partant de là, il distingue deux possibilités. Soit le « grand filtre » se situe dans notre passé et nous l’avons franchi : au seuil de notre expansion dans l’univers, il est vrai encore timide, cela revient à dire que la vie est rare, peut-être unique, et qu’elle nécessite d’improbables coïncidences pour émerger, sinon d’autres intelligences seraient venues nous rendre visite. La vie étant peu répandue et l’univers immense, on peut aussi imaginer qu’elle a pu émerger loin de nous, dans ce cas les deux intelligences resteront peut-être pour toujours étrangères l’une à l’autre. Dans l’autre hypothèse, le « grand filtre » se situe devant nous, dans le futur, cela signifierait qu’il y a dans le développement technologique de la civilisation un stade critique, qui expliquerait que quelque chose a empêché l’essaimage de l’intelligence. Dans ce cas c’est le risque anthropique, lié à l’homme lui-même, qu’il faut redouter.

Ces considérations liminaires mettent en relief le primat de l’intelligence et le risque anthropique existentiel, qui pourrait nuire à l’étape prochaine de l’évolution désirée par certains transhumanistes, un mouvement philosophique, scientifique et politique, qui s’est cristallisé notamment en Californie dans les années 1960 et qui a pour ambition de prendre en main l’évolution humaine, jugée imparfaite, par la technologie.

Souvent présentés comme techno-fétichistes, il s’agit ici d’explorer un aspect moins connu des transhumanistes : les liens qui unissent certains d’entre eux à l’idée de catastrophe globale6 et comprendre les ressorts de cette inquiétude. Après quelques éléments biographiques sur Nick Bostrom et une définition du risque anthropique existentiel, nous développeront l’exemple de l’« explosion de l’intelligence ».

Nick Bostrom

Niklas Bostrom est né en Suède. Mû par une curiosité intellectuelle intense, adolescent, il décide de faire sa propre éducation7. Au début des années 1990, il réussi le tour de force d’être diplômé de l’université de Göteborg en philosophie, en logique mathématique et en intelligence artificielle. Il poursuit ensuite sa formation à Stockholm où il étudie la philosophie et les mathématiques puis au King’s College de Londres où il s’initie à l’astrophysique et aux neurosciences8.

Acteur transhumaniste historique, il fonde, en 1998, avec le philosophe anglais David Pearce, le World Transhumanist Association (maintenant Humanity +), une institution qui a pour ambition de donner corps au transhumanisme mais aussi lui donner du crédit afin de stimuler des recherches académiques9. La même année, il participe à la rédaction de La déclaration transhumaniste ainsi qu’à la création du Journal of Transhumanism (devenu Journal of Evolution & Technology).

Son doctorat de philosophie obtenu à la London School of Economics porte sur le paradoxe de l’Apocalypse (Doomsday argument), un raisonnement probabiliste sur le risque d’extinction de l’humanité inspiré par l’astrophysicien Brandon Carter que, selon Nick Bostrom, l’on sous-estime trop souvent, notamment dans sa dimension anthropique10. En 2005, il donne naissance, au sein d’Oxford Martin School11, au laboratoire Future of Humanity Institute (FHI)12. Son objectif : générer des outils pluridisciplinaires pour appréhender les risques technologiques émergents mais aussi les opportunités civilisationnelles associées afin de clarifier les choix qui façonnent le futur de l’humanité sur le long terme, en tirer le meilleur profit. En 2014, son livre, Superintelligence, paths, dangers, strategies, a eu un grand retentissement13. En écho à cette publication, qui alimente l’inquiétude autour de l’intelligence artificielle, Elon Musk (Tesla Motors, PayPal, SpaceX, SolarCity) a doté le FHI d’une somme d’un million de dollars14. Récemment on a pu voir Nick Bostrom témoigner sur le risque existentiel à l’ONU au côté du cosmologiste Max Tegmark (MIT)15 fondateur du Future of Life Institute16.

Le risque existentiel

Nick Bostrom définit le risque existentiel comme un risque qui menace prématurément l’extinction de l’intelligence née sur Terre avant qu’elle ne puisse atteindre sa maturité, l’expression de sa plénitude17.

Depuis 500 millions d’années, 15 extinctions de masse auraient eu lieu dont 5 ont failli faire disparaître la vie sur Terre. Une en particulier, au Permien-Trias, il y a 250 millions d’années, aurait éliminé 90 % des espèces18. Dans un passé plus récent, la chute d’un astéroïde comme celui du Yucatán (Mexique), il y a 65 millions d’années, mais aussi l’impact du supervolcan Toba (Indonésie) sont à l’origine d’extinctions massives, directement et indirectement par l’absence de luminosité et le refroidissement induit.

Cependant, si l’humanité a survécu aux risques naturels depuis des centaines de milliers d’années, Nick Bostrom est moins optimiste quant aux menaces nouvelles introduites par celle-ci, depuis peu : c’est le risque existentiel anthropique19. Outre le réchauffement climatique global, l’usage de l’arme nucléaire, d’autres risques sont mis en avant comme une pandémie anthropogène liée au bioterrorisme, l’altération du climat par la géo-ingénierie et l’avènement d’une superintelligence artificielle hostile.

Nick Bostrom fait aussi état du risque nanotechnologique, pas seulement le très fantasmé gray goo20, une écophagie environnementale liée à la perte de contrôle d’un assembleur moléculaire popularisée par Eric Drexler (FHI)21, mais aussi l’usage d’armes nanométriques22. Il ajoute quelque chose d’imprévisible23. Focalisons-nous sur le risque inhérent à l’émergence de la superintelligence artificielle.

« 10 scénarios pour la fin de l’homme (avec Nick Bostrom) :

Partie 2

L’ « explosion de l’intelligence »

Le statisticien Irving John Good (1916-2009) serait le premier à l’avoir exposée officiellement en 1965 :

« Supposons qu’existe une machine surpassant en intelligence tout ce dont est capable un homme, aussi brillant soit-il. […] cette machine pourrait à son tour créer des machines meilleures qu’elle-même ; cela aurait sans nul doute pour effet une réaction en chaîne du développement de l’intelligence, pendant que l’intelligence humaine resterait presque sur place. Il en résulte que la machine ultra-intelligente sera la dernière invention que l’homme aura besoin de faire, à condition que ladite machine soit assez docile pour constamment lui obéir. Il est curieux que ce point soit si rarement abordé en dehors de la science-fiction. Il faudrait parfois prendre la science-fiction au sérieux24. »

Cette ultra-intelligence devient singularité technologique sous la plume du mathématicien et auteur de science fiction Vernor Vinge en 1993.

« Within thirty years, we will have the technological means to create superhuman intelligence. Shortly after, the human era will be ended25. »

En 2008, Robin Hanson (FHI) et Eliezer Yudkowsky (Machine Intelligence Research Institute) ont débattu à ce propos, l’un considérant que le « décollage » (takeoff) sera lent, qu’il prendra des années, des décennies et l’autre, au contraire, fulgurant26. Nick Bostrom pense aussi que le décollage sera explosif27.

L’ « explosion de l’intelligence » peut être résumée de cette manière : lorsque la machine aura atteint le stade de l’intelligence humaine, elle pourrait se reprogrammer, puis à nouveau se reprogrammer à partir de cette nouvelle programmation et ainsi de suite jusqu’à produire une évolution exponentielle.

Les techno-optimistes de la Silicon Valley comme Peter Diamandis et Ray Kurzweil utilisent ce concept de singularité technologique pour illustrer l’émergence de la superintelligence28. Nous serions au seuil d’une « accélération technologique », objectivement impensable, qui passé un point d’inflexion deviendra explosive et profondément transformatrice. Cette singularité technologie échappe à nos catégories de pensée car nous pensons de façon linéaire, alors que l’évolution technologique se fait de manière exponentielle. Peter Diamandis utilise cette métaphore : si 30 pas linéaires (1, 2, 3, etc.) amènent approximativement à 30 mètres, 30 pas exponentiels (1, 2, 4, 8, 16, etc.) nous feraient parcourir 26 fois le tour de la planète29. Dans le cadre de cette accélération, Ray Kurzweil prophétise l’émergence de la super-intelligence autoréplicante pour 204530. Nous sommes dans un compte à rebours quasi messianique, espéré auto-réalisateur, comme l’a été la loi de Moore31. C’est le retour en grâce du fantasme de l’intelligence artificielle « forte » stimulé par le l’augmentation des capacités de stockage de l’information et des puissances de calcul.

Pour Nick Bostrom, parmi les leviers devant conduire à une augmentation cognitive, si la digitalisation du cerveau (whole brain emulation) semble la voie la plus prometteuse, la méthode la plus rapide à mettre en œuvre serait le couplage avec la superintelligence artificielle32. Seulement, cette méthode qui conditionne un devenir hybride, cyborg, comporte un risque existentiel ; nous sommes revenus au « grand filtre ».

Nick Bostrom considère que l’évolution ne sera pas toujours nécessairement avantageuse pour l’humanité33. Contrairement aux libertariens de la Silicon Valley, il n’est pas techno-optimiste, il redoute les risques existentiels qui pourraient nuire à l’humanité toute entière.

Plus précisément, ces risques menacent de façon prématurée l’extinction, selon lui, non pas de l’humanité au sens de l’Homo sapiens, une incarnation transitoire, mais de l’ « intelligence d’origine terrestre » et sa « maturité technologique », c’est-à-dire le maximum de ses potentialités : le posthumain et ses promesses comme la colonisation de l’espace, etc34.

Selon Nick Bostrom, nous sous-estimons le risque anthropique existentiel et notamment celui inhérent à la superintelligence artificielle.

Comment se prémunir contre cette catastrophe ? Une manière d’éviter le désastre consisterait à prendre en main l’évolution de l’humanité, aussi suggère-t-il de développer ce qu’il appelle un singleton (en mathématiques, un ensemble formé d’un seul élément), un ordre mondial présidé par une entité indépendante qui nous permettrait d’éviter les risques existentiels35. Ce singleton pourrait être un gouvernement mondial démocratique, une dictature  ou… une superintelligence, une sorte de gouvernement pastoral machinique36.

Finalement, la création d’un singleton, quelque soit sa nature, pourrait anticiper et ainsi réduire certains risques. Il pourrait aussi en faire advenir d’autres comme un régime oppressif global et permanent37.

Notes

1 Nick Bostrom, « The future of human evolution », in Charles Tanguy (ed), Death and anti-death: two hundred years after Kant, fifty years after Turing, Palo Alto, rup, 2004, 2009, [version en ligne], p. 16.

2 Nick Bostrom, « Where are they. Why I hope the search for extraterrestrial Life Finds Nothing », MIT Technology review, mai/juin, 2008, p. 72-77.

3 SETI Institute Home.

4 Robin Hanson, « The great filter – Are we almost in the past ? », 15 septembre 1998.

5 Ce concept est utilisé en exobiologie (ou astrobiologie). Lire Aditya Chopra et Charles H. Lineweaver, « The case for a Gaian bottleneck. The biology of habitability », Astrobiology, vol. 16, no 1, 2016.

6 Le rapport de la fondation Global challenges définit la catastrophe globale comme un événement qui tuerait au moins 10 % de l’humanité, soit actuellement 750 millions de personnes. Lire Global Challenges Foundation/Global Priorities Project (Future of Humanity Institute), Global Catastrophic Risks, 2016, p. 6.

7 Raffi Khatchadourian, « The doomsday invention. Will artificial intelligence bring us utopia or destruction ? », The New Yorker, no 23, novembre 2015.

8 Curriculum vitae de Nick Bostrom.

9 Nick Bostrom, « A history of transhumanist thought », Journal of Evolution & Technology, vol. 14, no 1, avril 2005, p. 15.

10 Cet argument est discuté par John A. Leslie dans The end of the world. The science and ethics of human extinction, London, Routeldge, 1996

11 Fondé en 2005 par James Martin, un spécialiste des technologies de l’information, Oxford Martin School, est un centre de recherche pluridisciplinaire qui porte sur les enjeux  globaux pour le XXIe siècle.

13 Nick Bostrom, Superintelligence, paths, dangers, strategies, Oxford, OUP, 2014.

14 Ideas into action, 10 years of groundbreaking research, Oxford Martin School/University of Oxford, 2015, p. 9.

15 Prof. Max Tegmark and Nick Bostrom speak to the UN about the threat of AI.

17 Nick Bostrom, « Existential risk prevention as global priority », Global Policy, vol. 4, no 1, 2013, p. 15.

18 Nick Bostrom et Milan M. Ćirković, « Introduction », Global Catastrophic Risks, Oxford, OUP, 2008, p. 8.

19 Nick Bostrom, « The future of humanity », in Jan-Kyrre Berg Olsen, Evan Selinger et Soren Riis (eds),  New Wages in philosophy of technology, NY, Palgrave McMilla, 2009 [version en ligne], p. 10-11.

20 Nick Bostrom, Existential risks: Analyzing human, extinction scenarios and related hazards, Journal of Evolution and Technology, vol. 9, mars 2009, p. 8.

21 Eric K. Drexler, Engins de création : l’avènement des nanotechnologies, Paris, Vuilbert, 2005 [Engines and creation. The coming era of nanotechnology, 1986].

22 Nick Bostrom, « The future of humanity », op. cit., p. 10-11.

23 Nick Bostrom, Existential risks : Analyzing human, extinction scenarios and related hazards, op.cit., p. 8.

24 Irving J. Good, « Speculations concerning the first ultraintelligent machine », in F. Alt et M. Ruminoff (eds.), Advances in computers, vol. 6, 1965, p. 33.

25 Venor Vinge, « The coming technological singularity: How to survive in the post-human era », Vision-21, Interdisciplinary science and engineering in the era of cyberspace. Proceedings of a symposium cosponsored by the NASA Lewis Research Center and the Ohio Aerospace Institute and held in Westlake, Ohio March 30-31, 1993, p. 11.

26 Robin Hanson et Eliezer Yudkowsky, The Hanson-Yudkowsky AI foom debate, Berkeley, CA, Machine Intelligence Research Institute, 2013.

27 Nick Bostrom, Superintelligence, paths, dangers, strategies, op. cit., p. 64-65.

28 Voir Ray Kurzweil, The singularity is near. When humans transcend biology, London, Penguin Books, 2005.

29 Peter Diamandis et Steven Kotler, Bold. How to go big, create wealth and impact the world, NY, Simon and Schuster Books, 2014, p. 16.

30 Peter Diamandis, « Ray Kurzweil’s mind-boggling predictions for the next 25 years », Singularity Hub, 20 janvier 2015.

31 Walter Isaacson, Les innovateurs. Comment un groupe de génies, hackers et geeks a fait la révolution numérique, Paris, JC Lattès, 2015, p. 247.

32 Nick Bostrom, Superintelligence, paths, dangers, strategies, op. cit.

33 Nick Bostrom, « The future of human evolution », op. cit., p. 1-2.

34 Nick Bostrom, « Existential risk prevention as global priority », op. cit., p. 15-31.

35 Nick Bostrom, « The future of human evolution », op. cit., p. 16-18.

36 Nick Bostrom, « What is a Singleton », Linguistic and Philosophical Investigations, vol. 5, no 2, 2006, p. 48-54.

37 Nick Bostrom, « The future of human evolution », op. cit. p. 18.

Les spécialistes sont-ils inquiets du risque existentiel associé à l’intelligence artificielle ?

« Many of the points made in this book are probably wrong […]. I don’t know which ones1. »

Nick Boström

Les spécialistes sont-ils vraiment inquiets du risque existentiel associé à l’intelligence artificielle2 ? C’est la question que pose Oren Etzioni dans le MIT Technology Review3, en écho à des articles récents sur le philosophe transhumaniste Nick Boström (université d’Oxford) qui a publié Superintelligence, paths, dangers, strategies en 20144.

Las du discours associant IA et menace5, Oren Etzioni a décidé de réaliser son propre sondage auprès des membres de l’American association for artificial intelligence (AAAI). Ses résultats apparaissent, a priori, beaucoup moins tranchés que ceux exposés par Nick Boström dans son ouvrage6.

Superintelligence, paths, dangers, strategies – non traduit à ce jour en français – a pour objectif d’attirer l’attention sur le risque existentiel anthropique associé à l’intelligence artificielle qui pourrait, selon Nick Boström, menacer l’humanité d’extinction. Cette menace est largement relayée par des personnalités aussi célèbres que Bill Gates et Elon Musk (SpaceX, Tesla Motors, etc.) qui vient de fonder (2015) avec Sam Altman (Loopt, Y Combinator), une organisation non lucrative, dotée d’un milliard de dollars, nommée OpenAI7. Ce laboratoire a pour objet de stimuler des recherches en open source afin de promouvoir largement une IA bénéfique, qui auraient pour effet de « neutraliser la menace » en évitant le monopole8.

Au filtre du transhumanisme, ce risque existentiel menacerait prématurément l’extinction de l’intelligence née sur Terre avant qu’elle ne puisse atteindre sa maturité, l’expression de sa plénitude : le posthumain et ses potentialités comme l’exploration de l’univers9.

L’ « explosion de l’intelligence » peut être schématisée ainsi : lorsque la machine aura atteint le stade de l’intelligence humaine (human-level machine intelligence – HLMI) autrement appelée intelligence artificielle générale ou forte (une notion très subjective), elle pourrait se reprogrammer, puis à nouveau se reprogrammer à partir de cette nouvelle programmation et ainsi de suite jusqu’à produire une évolution exponentielle : la super-intelligence.

L’ouvrage de Nick Boström s’inscrit dans une ligne de recherche plus générale portant sur la catastrophe globale qui a donné naissance en 2005 à la création du Futur of Humanity Institute (FHI), une institution rattachée à la Martin Oxford School et dont Nick Boström est le directeur. Le FHI est constitué d’une équipe pluridisciplinaire ayant pour but de générer des recherches académiques sur les risques anthropiques afin de les identifier et les prévenir : comme ici le « décollage » (takeoff) d’une IA hostile. Cette institution vient de recevoir un financement d’un million de dollars de la part d’Elon Musk pour encourager ses activités.

Ce livre paraît dans un contexte marqué par le développement d’une IA polymorphe, extrêmement conquérante10. Ce phénomène suscite de multiples questionnements, qui favorisent, en retour, des spéculations jusqu’alors marginales, comme l’idée d’ultra-intelligence développée en 1965 par Irving J. Good devenue par la suite11, sous la plume du mathématicien et auteur de science-fiction Venor Vinge12 et Ray Kurzweil (Google)13, singularité technologique14. Ceux qui adhèrent à la faisabilité prochaine de l’intelligence artificielle générale, évoquent l’évolution des puissances de stockage et de calcul, la réalité augmentée15, etc.

Oren Etzioni est loin d’être un inconnu : chercheur de renom, il travaille dans de nombreux domaines de l’intelligence artificielle mais plus particulièrement dans la reconnaissance automatique de texte, notamment en ligne (Web search, Data mining et Information extraction). Entrepreneur fécond, il est à l’origine de plusieurs entreprises comme MetaCrawler (Infospace), Netbot (Excite), ClearForest (Reuters) et Decide (Ebay). Membre de l’American association of artificial intelligence depuis 2003, il est aussi PDG d’Allen institute for artificial intelligence (AI2) dont la mission est de contribuer au développement d’une IA pour le bien de l’humanité16. Récemment, ses interventions médiatiques ont eu majoritairement pour but de relativiser les progrès de l’IA. Il s’est manifesté dernièrement après les « victoires » du programme informatique AlphaGo (Google DeepMind) sur les joueurs de go Fan Hui et Lee Sedol, avec un article au titre explicite : « Deep Learning isn’t a dangerous magic genie. It’s just math »17.

Dans son article daté du 20 septembre dernier, Oren Etzioni s’attaque ainsi aux résultats du sondage effectué par Nick Boström dans Superintelligence. Ce faisant, il questionne habilement un passage clé du livre. En effet, les deux pages incriminées donnent du crédit au reste du texte, qui est, par nature, spéculatif ; un aspect assumé par le philosophe qui donne ainsi un habillage académique à des idées qui existent, pour certaines, depuis longtemps et indépendamment du transhumanisme.

L’étude réalisée par Nick Boström et Vincent C. Müller repose sur l’agrégation de quatre sondages distincts obtenus auprès de quatre groupes entre 2012 et 2013. Le premier a été réalisé auprès des membres d’une conférence intitulée « Philosophy and theory of IA » (PT-AI) qui s’est tenue en 2011 à Thessalonique (Grèce) et organisée Vincent C. Müller. Cependant, aux yeux d’Oren Etzioni ce sondage apparaît comme obscur. Il manque, selon lui, les questions et les réponses. Le second sondage a été réalisé auprès des participants de deux conférences autour de l’intelligence artificielle générale (AGI), un groupe a priori acquis à cette idée (cf. résultats du sondage). Le troisième a été fait auprès des membres de la Greek association for artificial intelligence (EETN). Cette association est-elle représentative ? L’ensemble est complété par un sondage effectué auprès « des plus grandes figures de l’histoire l’intelligence artificielle » selon Microsoft academic search.

Un document donne des détails sur les différents sondages : nature des groupes, effectifs ainsi que les questions et les réponses18. Nous savons ainsi que sur 549 personnes sollicitées, 170 ont répondu (soit 31 %).

Source : Vincent C. Müller et Nick Boström, « Future Progress in Artificial Intelligence : A survey of Expert
Opinion », http://www.nickBoström.com/papers/survey.pdf

Cette enquête menée par Nick Boström et Vincent C. Müller a pour objectif de sonder l’opinion des experts sur une hypothétique émergence de l’intelligence artificielle générale, qu’ils définissent par la capacité pour une IA d’exercer, aussi bien que les humains, toutes les métiers19. Une définition utilisée par un des pères historiques de l’intelligence artificielle : Nils J. Nilsson20. Cette question centrale est assortie d’un jeu de sous-questions. Quelle sous-discipline de l’IA contribuera le plus à cette réalisation ? À cette question ce sont les sciences cognitives qui arrivent en tête. Nick Boström et Vincent C. Müller font remarquer à cet endroit la grande disparité d’appréciation sur la digitalisation du cerveau (whole brain emulation) qui obtient 0 % dans le Top 100 mais 46 % dans le groupe de l’intelligence artificielle générale. Mais aussi, dans combien de temps l’intelligence artificielle forte (human-level machine intelligence) sera-t-elle effective21? Enfin, en considérant que nous accédions un jour au stade de l’intelligence artificielle générale (stade 1), combien de temps faudra-t-il pour atteindre la super-intelligence (stade 2) ? Sera-t-elle neutre, positive, négative ? Le sondage réalisé auprès du Top 100, envoyé par e-mail, précisait l’usage qui en serait fait, à savoir la contribution à la nouvelle publication de Nick Boström : Superintelligence22. Selon les chercheurs sollicités, l’intelligence artificielle générale pourrait émerger selon cette projection :

Quand émergera l’intelligence artificielle générale (HLMI) ?

Source : Nick Boström, Superintelligence, paths, dangers, strategies, op. cit., p. 19.

Soit :

10 % en 2022

50 % en 2040

90 % en 2075

Ils complètent cette question par :

Combien de temps faudra-t-il pour passer de l’IAG (HLMI) à la super-intelligence ?

Source : Nick Boström, Superintelligence, paths, dangers, strategies, op. cit., p. 19.

En réalisant son propre sondage, l’idée d’Oren Etzioni est de donner la parole à des chercheurs actifs qu’il estime signifiants dans ce champ. Celui-ci a été réalisé auprès de 193 membres de l’Americain association of artificial intelligence (AAAI). La question est formulée ainsi : Nick Boström, dans son livre, définit la super-intelligence comme un intellect plus intelligent que les meilleurs cerveaux humains dans pratiquement tous les domaines incluant la créativité scientifique, la sagesse et l’intelligence sociale. Quand pensez-vous que nous réaliserons cette super-intelligence ? 41 % des membres contactés ont répondu soit 80 personnes. La question pose ici probléme, en effet alors que Nick Boström sonde l’émergence de l’intelligence artificielle générale (stade 1), Oren Etzioni fait référence à la super-intelligence (stade 2). Sur cette base, il paraît impossible de comparer les deux sondages.

Oren Etzioni conclut, commentaires à l’appui, que la majorité des personnes sondées considèrent la super-intelligence comme au-delà de l’horizon prévisible23.

« We’re competing with millions of years’ evolution of the human brain. We can write single-purpose programs that can compete with humans, and sometimes excel, but the world is not neatly compartmentalized into single-problem questions24. »

Il rapporte par ailleurs des propos qui dénoncent « le marchand de peur professionnel » :

« Nick Bostrom is a professional scare monger. His Institute’s role is to find existential threats to humanity. He sees them everywhere. I am tempted to refer to him as the ‘Donald Trump of AI’25. »

En réalisant ce contre-sondage, Oren Etzioni s’attaque au point névralgique du texte de Nick Boström : sa justification académique. Ce faisant, il tente d’affaiblir la portée de l’ouvrage. Déjà en 2014, répondant aux craintes formulées par Elon Musk et Bill Gates, il affirmait et expliquait dans un article pourquoi, en tant que chercheur en intelligence artificielle, il n’avait pas peur. Dans ce texte, il laissait déjà apparaître l’exaspération du chercheur contre cette vision dystopique qu’il qualifie, en référence à Isaac Asimov, de complexe de Frankenstein (la créature qui se retourne contre son créateur). Il illustre son point de vue par la formule du philosophe américain John Searle utilisée suite à au succès de Watson en 2011 dans le jeu populaire américain : Jeopardy! : « Watson doesn’t know it won Jeopardy! ». Oren Etzioni considère que l’évolution de l’IA, qui n’est qu’à ses balbutiements, est nécessairement disruptive, mais elle est aussi tissée d’opportunités. Il concluait que ce climat de crainte contrariait les bénéfices que pouvaient apporter l’IA à l’humanité26.

Indépendamment des résultats qui finalement ne sont que des spéculations, cette prise de position montre que les travaux du philosophe Nick Boström, ses propos, commencent à exaspérer un certain nombre de personnes dans le champ de l’intelligence artificielle…

Notes :

1 Raffi Khatchadourian, « The doomsday invention. Will artificial intelligence bring us utopia or destruction? », The New Yorker, no 23, novembre 2015.
2 Je remercie Daniel Lewkowicz et Béatrice Guérin-Gorgeard pour leurs remarques judicieuses.
3 Oren Etzioni, « Are the experts worried about the existential risk of artificial intelligence », MIT Technology Review, 20 septembre, 2016.
4 Nick Boström, Superintelligence, paths, dangers, strategies, Oxford, OUP, 2014.
5 Tim Adams, « Artificial Intelligence : ‘We’re like children playing with a bomb’ », TheGuardian, 12 juin 2016 ; et Seung Lee, « Artificial Intelligence is coming and it could wipe us out », Newsweek, 4 mars 2016.
6 « Opinions about the future of machine intelligence », in Nick Boström, Superintelligence, paths, dangers, strategies, op. cit. p. 18-21
7 Site OpenAI.
8 Cade Metz, « Inside OpenIA, Elon Musk’s wild plan to set artificial intelligence free », Wired, 27 avril 2016.
9 Nick Boström, « Existential risk prevention as global priority », Global Policy, vol. 4, no 1, 2013, p. 15.
10 Lire Erik Brynjolfsson et Andrew McAfee, The second machine age. Work, progress, and prosperity in a time of brilliant technologies, NY, Norton, 2014 [Le deuxième âge de la machine. Travail et prospérité à l’heure de la revolution technologique, Paris, Odile Jacob, 2015.
11 Irving J. Good, « Speculations concerning the first ultraintelligent machine », in F. Alt et M. Ruminoff (eds.), Advances in computers, vol. 6, 1965, p. 33.
12 Venor Vinge, « The coming technological singularity: How to survive in the post-human era », Vision-21, Interdisciplinary science and engineering in the era of cyberspace, Ohio March 30-31, 1993, p. 11.
13 Ray Kurzweil, The singularity is near. When humans transcend biology, London, Penguin Books, 2005.
14 Pour une critique : Drew McDermott, Kurzweil’s argument for the success of AI, Artificial intelligence, no 170, 2006, p. 1227-1233 ; et la réponse de Ben Goertzel, «Huma-level artificial general intelligence and the possibility of a technological singularity. A reaction to Ray Kurzweil’s The singularity is near, and McDermott’s critique of Kurzweil», Artificial intelligence, no 171, 2007, p. 1161-1173.
15 Hugo de Garis et Ben Goertzel, Report on the first conference on artificial general intelligence (AGI-08), AI Magazine, printemps 2009, p. 122.
17 Oren Etzioni, « Deep Learning isn’t a dangerous magic genie. It’s just math », Wired, 15 juin 2016.
18 Vincent C. Muller et Nick Boström, « Future Progress in Artificial Intelligence : A survey of Expert Opinion », op. cit.
19 Idem.
20 Nils J. Nilsson, « Human-level artificial intelligence? Be serious! », AAAI, hiver 2005.
21 Dans Superintelligence Nick Bostrom utilise HLMI pour human-level machine intelligence, alors que dans le texte commentant le sondage il fait référence à high-Level machine intelligence.
22 Idem.
23 Oren Etzioni, « Are the experts worried about the existential risk of artificial intelligence », op. cit.
24 Idem.
25 Idem.
26 Oren Etzioni, « It’s time to intelligently discuss artificial intelligence. I am AI researcher and I’m not scared. Here’s why », BlackChannel, 9 décembre 2014.

L’histoire de la superintelligence et la question de l’éthique des machines

Publié in Marianne Celka et Fabio La Rocca (dir.), Transmutations, Esprit Critique, Revue internationale de sociologie et sciences sociales, vol. 24, n° 1, été 2016, p. 43-57. Par Vincent Guérin, Docteur en histoire contemporaine.

Résumé : Ce texte a pour objet d’analyser, chez les transhumanistes, le couplage de l’éthique des machines avec les risques inhérents à la superintelligence. La première favorisant l’émergence de la seconde. Par ce biais, nous observons une accentuation du rapprochement de l’homme et de la machine, initié par le paradigme informationnel ; un renversement même avec une machine considérée comme « smarter than us ».

Introduction

En 2014, l’informaticien et cofondateur de Skype Jaan Tallinn a créé The Future of Life Institute (FLI) avec entre autres les cosmologistes Anthony Aguirre (Université de Californie) et Max Tegmark (MIT). Dans le comité scientifique se trouve une constellation de personnalités célèbres comme Stephen Hawking, des auteurs à succès comme Erik Brynjolfsson (MIT Center for Digital Business), mais aussi l’acteur Morgan Freeman (film Transcendance de Wally Pfister, 2015) et l’inventeur et chef d’entreprise Elon Musk. Jaan Tallinn était déjà à l’initiative du Centre For The Study Of Existential Risk (CSER) ou Terminator studies en 2012 à l’Université de Cambridge avec le cosmologiste Martin Rees. Ces deux institutions ont pour ambition, entre autres, d’anticiper les risques majeurs qui menacent l’humanité, notamment ceux inhérents à l’intelligence artificielle (IA).

Dernièrement, Bill Gates, fondateur de Microsoft, lui-même, se dit préoccupé par l’IA. Ces deux institutions et Bill Gates ont un dénominateur commun : Nick Boström. l’auteur de Superintelligence, Paths, Dangers, Strategies (2014), qui a impressionné Bill Gates, est membre du comité scientifique de la FLE et du CSER. Il est professeur à la faculté de philosophie de la prestigieuse Université d’Oxford et fondateur de la Future of humanity Institute (FHI) qui a pour objet d’anticiper les risques majeurs qui menacent l’humanité (existential risks). Ses recherches portent sur l’augmentation de l’homme, le transhumanisme, les risques anthropiques et spécifiquement celui de la superintelligence. En 2008, il a codirigé avec Milan M. Ćirković Global Catastrophic Risks (Boström, Ćirković, 2008). Cet ouvrage dénombre dix risques catastrophiques au sens d’un bouleversement radical qui menacerait l’humanité (anthropiques ou non) 1 . Parmi les risques anthropiques recensés, Eliezer S. Yudkowsky (1979-), chercheur au Machine Intelligence Research Institute à Berkeley (MIRI), développe le chapitre sur l’IA (Yudkowsky, 2008).

Nick Boström et Eliezer Yudkowsky sont transhumanistes, un courant de pensée qui conçoit l’humain, l’humanité comme imparfaits et prône une prise en main de leur évolution par la technologie. En 1998, Nick Boström a fondé avec David Pearce la World Transhumanist Association (WTA) et l’Institute for Ethics & Emerging Technologies (IEET) avec James Hughes.

Plusieurs objectifs irriguent le transhumanisme, dont le devenir postbiologique (posthumain), la superintelligence et l’amortalité (une immortalité relative). Parmi les NBIC, deux technologies ont leur faveur. La première, la nanotechnologie (une construction à partir du bas à l’échelle du nanomètre soit un milliardième de mètre) est en devenir, et la seconde, l’intelligence artificielle générale (IAG) reste un fantasme. Nick Boström et Eliezer Yudkowsky pensent que l’IA favorisera la nanotechnologie, elle-même porteuse d’inquiétude (Drexler, 1986). Eric Drexler, transhumaniste et membre du FHI, a créé en 1986, le Foresight Institute afin de prévenir les risques technologiques et favoriser un usage bénéfique de la nanotechnologie. Qu’est-ce-que la (super) intelligence artificielle ? Quelles sont les corrélations entre le transhumanisme et cette inquiétude montante vis-à-vis de l’IA, ou plus exactement la superintelligence ? Comment et quand pourrait-elle émerger ? Comment s‟articule le complexe dit de Frankenstein et l’éthique des machines ?

pour lire la suite, télécharger le PDF


Sommaire :

Introduction
La (super) intelligence artificielle
Le complexe dit de Frankenstein et l’éthique des machines
Épilogue
Références bibliographiques

Google DeepMind et FHI collaborent pour présenter un système de neutralisation de l’IA

Safely Interruptible Agents (agents interruptibles en toute sécurité) Télécharger le PDF de l’étude.

Les Universitaires d’ Oxford font équipe avec Google DeepMind pour rendre l’intelligence artificielle plus sûre. Laurent Orseau, de Google DeepMind, et Stuart Armstrong, du Future of Humanity Institute à l’Université d’Oxford, présenteront leurs travaux de recherche sur le renforcement de l’apprentissage de l’agent d’interruptibilité à l’AUI 2016. La conférence, l’une des plus prestigieuses dans le domaine du machine learning, se tiendra à New York à partir du 25-29 juin. Le document qui a résulté de cette recherche collaborative sera publié dans le compte rendu de la 32e Conférence sur l’incertitude dans l’intelligence artificielle (UAI).

La recherche d’Orseau et Armstrong explore une méthode pour faire en sorte que l’apprentissage par renforcement de la machine (un agent) peut être interrompu à plusieurs reprises en toute sécurité par des surveillants humains ou automatiques : inclure un mécanisme d’urgence. Cela garantit que les agents n’«apprennent» pas de ces interruptions et ne prennent pas de mesures pour éviter ou manipuler les interruptions : s’assurer que la machine n’apprendra pas à planifier autour de ce mécanisme.

Lire la suite du Communiqué de presse

Le Directeur de l’IARPA (Director of the Intelligence Advanced Research Projects Activity), Jason Matheny, un ancien chercheur à FHI, discute des prévisions et des risques des nouvelles technologies.

Domaines de recherche de l’Université d’Oxford, le Future of Humanity Institute

Composante du département de philosophie de la prestigieuse Université d’Oxford, le Future of Humanity Institute (FHI) est le premier centre de recherche qui étudie les changements technologiques exponentiels de façon transversale, multidisciplinaire et exhaustive.

L’approche du FHI utilise l’outillage mathématique qu’elle intègre à la philosophie des sciences pour explorer les risques et les opportunités qu’offrent aujourd’hui les mutations technologiques NBIC (Nanotechnologie, Biotechnologie, Informatique, sciences Cognitives).

Le FHI cherche avant tout à évaluer les priorités mondiales, à mettre en lumière les dilemmes éthiques qui accompagnent les progrès NBIC et finalement à clarifier les choix auxquels l’humanité est confrontée dans son ascension technologique.

La production de recherche du FHI vient d’être évaluée de façon très positive par plusieurs commissions extérieures. Les conclusions de l’évaluation ont insisté sur les caractères pionniers et stratégiques des missions de l’Institut.

L’équipe de recherche dirigée par le professeur Nick Bostrom oriente ses études sur des questions qui sont :

  • d’une importance cruciale pour l’humanité (les grands défis des trente prochaines années),
  • souvent négligées par la recherche jusqu’à présent,
  • pour lesquelles une réponse originale et une approche inédite peuvent être construites par l’équipe.

La démarche s’appuie sur un ensemble diversifié d’outils méthodologiques (théorie des données scientifiques, probabilités – statistiques, philosophie analytique).

L’approche multidisciplinaire est renforcée par des collaborations avec des expertises extérieures.

L’activité de recherche du FHI couvre quatre grands domaines :

1 – Les risques de catastrophes globales

2 – L’épistémologie appliquée

3 – L’homme augmenté, amélioré

4 – Les technologies du futur

L’ADN du FHI est finalement très proche de l’Université de la Singularité créée il y a cinq ans par Google, Cisco, la Nasa et d’autres partenaires influents sur le sol américain.

Des structures de recherche équivalentes se développent également en Corée du sud, en Russie et en Chine avec bien entendu, des spécificités d’approche des grandes questions d’évolution humaines, propres à chaque culture. Ces laboratoires optent tous pour une prise en compte globale et transversale des mutations technologiques et des turbulences qu’elles induisent.