Des informations disponibles tout le temps, partout et pour tout le monde… La numérisation permet d’accéder à une quantité infinie de données. Mais comment garder une vue d’ensemble sur la totalité d’entre elles ? Comment organiser les données et les rendre exploitables par ordinateur ? Intelligence collective, intelligence artificielle et puissance de l’information : ARTE Future s’intéresse à l’avenir de la pensée en réseau.

Nick Bostrom : Superintelligence

Sommes-nous sur le chemin de la superintelligence artificielle ? Oui, d’après Nick Bostrom. Le philosophe suédois Nick Bostrom est directeur de l’Institut pour l’avenir de l’humanité à l’université d’Oxford.

Dans cet extrait de son livre Superintelligence, il appelle à une coopération mondiale dans la recherche de la superintelligence, notamment sous l’égide des Nations Unies.

Travailler ensemble vers la superintelligence

par Nick Bostrom

La collaboration

La collaboration peut prendre différentes formes en fonction de l’échelle des acteurs concernés. À petite échelle, les équipes IA qui s’estiment en concurrence peuvent faire le choix d’unir leurs forces. Les entreprises peuvent fusionner ou effectuer des investissements croisés. À plus grande échelle, les États ont la possibilité de se fédérer autour d’un projet d’envergure internationale. Il existe nombre d’exemples de collaboration internationale à grande échelle dans les sciences et la technologie (le CERN, le Projet du génome humain, la Station spatiale internationale, etc.), mais une initiative internationale visant à développer une superintelligence sûre soulèverait des problèmes d’un autre ordre en raison des implications en matière de sécurité. Il faudrait la définir non pas comme une collaboration académique ouverte mais comme une société mixte strictement contrôlée. Peut-être serait-il nécessaire que les scientifiques impliqués dans le projet soient physiquement isolés et interdits de toute communication avec le reste du monde pendant tout le processus, à l’exception d’un système de communication soigneusement contrôlé. Le niveau de sécurité requis pour une telle entreprise est hors de portée à l’heure actuelle, mais les progrès constatés dans la détection de mensonges et dans les technologies de surveillance pourraient le rendre envisageable d’ici à quelques décennies. Gardons aussi à l’esprit le fait qu’une collaboration à grande échelle ne signifie pas forcément que le projet de recherche devra impliquer un très grand nombre de scientifiques. En revanche, les personnes susceptibles de donner leur avis sur les objectifs du projet seraient, elles, très nombreuses. En principe, un projet soutenu par l’Humanité tout entière (représentée, par exemple, par l’Assemblée générale des Nations Unies) pourrait se contenter d’un seul chercheur pour mener à bien la mission.

Le contexte actuel semble favorable à un lancement rapide d’une collaboration en ce sens. Il convient, en effet, de profiter du voile d’ignorance qui nous empêche aujourd’hui de savoir, faute d’informations, quel projet aboutira le premier à la superintelligence. Car plus nous serons proches de la ligne d’arrivée, moins il y aura d’incertitudes sur les chances des projets concurrents et plus il sera compliqué de justifier un intérêt, pour le précurseur, à participer à un projet collaboratif qui redistribuerait les avantages à toute l’Humanité. En même temps, il paraît compliqué d’envisager une collaboration formelle de portée mondiale avant que la perspective de la superintelligence ne soit plus largement reconnue, sachant qu’elle pourrait conduire à la superintelligence des machines. En outre, dans la mesure où une telle collaboration contribuerait au progrès, elle pourrait s’avérer contreproductive sur le plan de la sécurité, comme nous l’avons vu précédemment.

Pour l’heure, le format de collaboration idéal semble être celui qui ne nécessiterait aucun engagement formel à priori et qui ne précipiterait pas l’avancée de l’intelligence des machines. Comment satisfaire à ces critères ? En proposant l’instauration d’un principe moral exprimant notre loyauté envers l’idée d’une superintelligence au service du bien commun. Ce principe pourrait être formulé comme suit :

Le principe du bien commun

La superintelligence doit être développée exclusivement pour le bien de toute l’Humanité et mise au service d’idéaux éthiques communément partagés.

En établissant dès le début que l’immense potentiel de la superintelligence appartient à toute l’Humanité, on laisse beaucoup plus de temps à ce principe pour s’enraciner.

Le principe du bien commun n’exclut pas la mise en place d’incitations commerciales pour les individus ou les sociétés travaillant dans des domaines connexes. Par exemple, une société peut satisfaire à l’idée de partage universel des avantages de la superintelligence en adoptant une clause contre l’effet d’aubaine. Ainsi, les revenus enregistrés jusqu’à un certain montant, même élevé (disons un billion de dollars annuel), seraient redistribués selon la procédure classique aux actionnaires et aux ayants droit, et les recettes dépassant ce seuil reviendraient à l’Humanité de façon équitable (ou selon des critères moraux universels). L’adoption d’une telle clause serait pratiquement gratuite dans la mesure où aucune société ne serait susceptible de dépasser ce seuil stratosphérique (et que ces scénarios peu probables ne jouent généralement aucun rôle dans les décisions des dirigeants et des investisseurs). Pourtant, son adoption généralisée offrirait à l’Humanité une garantie inestimable (pour autant que l’on puisse croire en ces engagements) en vertu de laquelle toute société privée gagnant le jackpot grâce à l’explosion de l’intelligence partagerait les bénéfices avec tout le monde. Cette même idée pourrait s’appliquer aux autres entités. Par exemple, si les États pouvaient se mettre d’accord pour dire que si le PIB d’un État quel qu’il soit dépasse une fraction très élevée (disons 90 %) du PIB mondial, alors ce supplément devrait être distribué équitablement aux autres.

Le principe de bien commun (et ses restrictions particulières, comme les clauses contre l’effet d’aubaine) pourrait être initialement adopté sous la forme d’un engagement moral volontaire pris par les personnes et les organisations actives dans des domaines proches de l’intelligence de la machine. Dans un second temps, il pourrait être approuvé par un ensemble d’entités plus vaste et intégré aux lois et aux traités. Une formulation vague telle que celle donnée ci-dessus pourrait être un bon point de départ, sachant que dans un second temps il serait impératif de la décliner sous la forme d’un ensemble d’exigences spécifiques vérifiables.

By permission of Oxford University Press, USA.

Superintelligence by Bostrom (2014) 1000w from pp.253-254

source