Nick Bostrom: Superintelligence | Talks at Google

La Superintelligence pose les questions suivantes : que se passe-t-il lorsque les machines surpassent les humains en intelligence générale ? Les agents artificiels vont-ils nous sauver ou nous détruire ? Nick Bostrom jette les bases pour comprendre l’avenir de l’humanité et de la vie intelligente.

Le cerveau humain a des capacités qui manquent au cerveau des autres animaux. C’est à ces capacités distinctives que notre espèce doit sa position dominante. Si les cerveaux des machines surpassaient les cerveaux humains dans l’intelligence générale, alors cette nouvelle Superintelligence pourrait devenir extrêmement puissante – peut-être en dehors de notre contrôle.

Comme le destin des gorilles dépend maintenant plus de l’homme que de l’espèce elle-même, le destin de l’humanité dépendrait également des actes de la Superintelligence artificielle.

Mais nous avons un avantage : nous pouvons faire le premier pas. Sera-t-il possible de construire une graine d’Intelligence Artificielle, d’organiser les conditions initiales de manière à permettre la survie d’une explosion d’intelligence ? Comment peut-on obtenir une détonation contrôlée ?

Ce livre profondément ambitieux et original décompose une vaste piste de terrain intellectuel difficile. Après un voyage passionnant qui nous amène aux frontières de la réflexion sur la condition humaine et l’avenir de la vie intelligente, nous ne trouvons dans l’œuvre de Nick Bostrom rien de moins qu’une reconceptualisation de la tâche essentielle de notre époque.

Cette conférence était animée par Boris Debic.

Les risques potentiels de l’intelligence artificielle avancée

En un mot :

Quel est le problème? Il semble plausible que les gens vont développer des systèmes algorithmiques capables de réaliser efficacement un grand nombre, voire la totalité des tâches cognitives que les humains effectuent. Ces avancées pourraient conduire à des développements positifs extrêmes, mais pourraient aussi présenter des risques pour des abus intentionnels ou d’accidents catastrophiques. Par exemple, il semble possible que (i) la technologie pourrait être militarisée ou utilisée comme un outil de contrôle social, ou (ii) une personne pourrait créer un agent d’intelligence artificielle extrêmement puissant avec des valeurs mal alignées pour les intérêts de l’humanité. Il semble également possible que des progrès dans ce sens pourraient être étonnamment rapides, laissant la société, insuffisamment préparée pour la transition.

Quelles sont les interventions possibles? Un philanthrope pourrait financer la recherche technique visant à assurer la robustesse, la prévisibilité et l’objectif d’alignement des systèmes d’intelligence artificielle de pointe; la recherche en droit, éthique, économie et politique liée à l’intelligence artificielle avancée; et / ou des études liées à ces recherches.

Qui d’autre travaille sur cette question? Elon Musk, a fait un don de 10 millions $ au Future of Life Institute pour les chercheurs axés sur ces problèmes et d’autres risques potentiels futurs de l’intelligence artificielle avancée. En outre, quelques petits instituts à but non lucratif / universitaires travaillent sur les futurs risques potentiels de l’intelligence artificielle avancée. Machine Intelligence Research Institute et Future of Humanity Institute ont chacun un budget annuel d’environ 1 million $, et d’autres nouvelles organisations travaillent sur ces questions aussi.

lire la suite sur GiveWell (article en anglais)