Ego4D : Apprendre à une IA à percevoir le monde à travers vos yeux

Ego4D : Perception égocentrique 4D

Une IA qui comprend le monde du point de vue de la première personne pourrait ouvrir une nouvelle ère d’expériences immersives, à mesure que des dispositifs tels que les lunettes de réalité augmentée et les casques de réalité virtuelle deviennent aussi utiles dans la vie quotidienne que les smartphones. Imaginez que votre dispositif de réalité augmentée vous montre exactement comment tenir les baguettes pendant une leçon de batterie, vous guide dans la réalisation d’une recette, vous aide à retrouver vos clés perdues ou vous rappelle des souvenirs sous forme d’hologrammes qui prennent vie devant vous.

Pour mettre au point ces nouvelles technologies, il faut apprendre à l’IA à comprendre et à interagir avec le monde comme nous le faisons, à partir d’une perspective à la première personne – ce que la communauté des chercheurs appelle communément la perception égocentrique. Cependant, les systèmes actuels de vision par ordinateur apprennent généralement à partir de millions de photos et de vidéos capturées dans une perspective à la troisième personne, où la caméra n’est qu’un spectateur de l’action. “Les systèmes d’IA de la prochaine génération devront apprendre à partir d’un tout autre type de données – des vidéos qui montrent le monde depuis le centre de l’action, plutôt que depuis les coulisses”, explique Kristen Grauman, chercheuse scientifique principale chez Facebook.

L’IA de Facebook annonce Ego4D un ambitieux projet à long terme visant à relever les défis de la recherche en matière de perception égocentrique. Ils ont réuni un consortium de 13 universités et laboratoires répartis dans neuf pays, qui ont recueilli plus de 2 200 heures de vidéos à la première personne dans la nature, mettant en scène plus de 700 participants dans leur vie quotidienne. Cela augmente considérablement l’échelle des données égocentriques accessibles au public pour la communauté des chercheurs, d’un ordre de grandeur, plus de 20 fois supérieur à tout autre ensemble de données en termes d’heures de séquences. Facebook a financé le projet par des dons universitaires à chacune des universités participantes.

Ego4D Perception égocentrique Credit: Ego4D facebook

En collaboration avec le consortium et Facebook Reality Labs Research (FRL Research), Facebook AI a également mis au point cinq repères de référence centrés sur l’expérience visuelle à la première personne qui stimuleront les progrès vers des applications réelles pour les futurs assistants IA.

Les cinq repères d’Ego4D sont la mémoire épisodique, la prévision, la manipulation des mains et des objets, la journalisation auditive et visuelle et l’interaction sociale.

“Ces repères catalyseront la recherche sur les éléments de base nécessaires au développement d’assistants IA plus intelligents, capables de comprendre et d’interagir non seulement dans le monde réel, mais aussi dans le métavers, où la réalité physique, la réalité augmentée et la réalité virtuelle se rejoignent dans un même espace”, a précisé Facebook.

Les ensembles de données seront rendus publics en novembre de cette année pour les chercheurs qui signent l’accord d’utilisation des données d’Ego4D.

Un simulateur de vol de réalité augmentée pour drones

Epson Moverio – Le simulateur de vol AR d’Epson met un drone holographique dans votre salon!

Epson annonce le lancement d’un simulateur de vol à réalité augmentée qui vous permettra de piloter un drone virtuel à travers l’espace physique autour de vous. Il fonctionne avec les lunettes Moverio AR et le drone Mavic Pro de DJI. Une fois que vous liez les deux appareils, les lunettes afficheront un drone holographique que vous pourrez guider avec la télécommande Mavic.

La réalité augmentée va transformer votre vie

Philippe Starck a découvert dans les médias un concept de smartphone, créé par lui-même en 1996

Le téléphone, appelé Alo, a été présenté par Jérôme Olivet comme une collaboration avec Starck, qui est l’un des designers les plus célèbres du monde.

Cependant, Starck affirme qu’il a développé le téléphone il y a 20 ans lorsqu’il était directeur artistique de Thomson Multimedia.

“En quelques mots, ce sont de fausses informations disséminées par une personne qui cherche manifestement un buzz artificiel”.

Il aimerait informer les médias que ce n’est pas un nouveau produit et que, malgré sa fierté de voir un concept de 20 ans encore considéré comme révolutionnaire, il a de nouveaux projets avec de nouveaux partenaires en téléphonie mobile et il n’envisage pas la poursuite du développement de ce vieux modèle.

Il est répertorié comme un projet passé sur le site de Starck.

La semaine dernière, Olivet a publié des images et du texte sur le téléphone aux médias, affirmant qu’il avait co-conçu avec Starck.

Le smartphone Alo est décrit pour être gélatineux, translucide et d’une forme allongée pour s’adapter naturellement à la main, sans écran tactile et entièrement à commande vocale (reconnaissance vocale haute performance). Conçu par Jérôme Olivet et Philippe Starck, ce design promet d’être l’avenir des smartphones.

Ce téléphone ne ressemble à aucun modèle actuel, et sa caractéristique la plus notable est qu’il est en mesure de projeter des hologrammes. Tous les messages, photos, ou même des films pourraient être affichés en hologramme 3D. Même si un smartphone entièrement à commande vocale peut sembler un peu étrange et difficile à utiliser, il est censé être conçu pour être remarquablement facile à utiliser.

Selon Olivet, le spécialiste de la conception du produit, « l’appareil photo du téléphone agit comme un “œil”. Il permet au lecteur de lire les textes qu’il détecte ou d’identifier les visages. Il permet également de projeter un hologramme 3D pour voir un film ou un message.»

L’utilisateur peut également communiquer avec le dispositif par des vibrations et, assez curieusement, la chaleur. Il y aurait à l’intérieur du téléphone un centre composé d’un alliage d’aluminium qui vibrerait et donnerait une rétroaction à l’utilisateur par le biais de la température. Selon Olivet, « son revêtement translucide émet des vibrations ou communique en produisant de la chaleur en fonction de son activité », et « son revêtement se répare automatiquement dès qu’il est endommagé. ».

Olivet a également déclaré que le dispositif “est une véritable intelligence artificielle.” (machine learning). (traduction Thomas Jousse)

Olivet a l’intention de continuer à développer le design sans Thomson et Starck. Le bureau de Starck a déclaré qu’ils « s’opposeront à tout détournement ou recyclage de ses travaux passés ».

Dezeen

credit: Philippe Starck

Le festival Futur en Seine 2016 met à l’honneur les technologies du futur

Futur en Seine revient pour sa 7e édition du 9 au 19 juin 2016 à Paris et partout en Île-de-France : le festival s’affirme plus que jamais comme le rendez-vous incontournable des forces vives de l’innovation et de l’économie numérique. Créé en 2009 par Cap Digital, pôle de compétitivité et de transformation numérique, Futur en Seine est le premier festival international, gratuit et ouvert à tous, dédié aux innovations technologiques : IOT, réalité augmentée, réalité virtuelle, impression 3D, robots, hologrammes, drones, gaming, fintech, E-santé, éducation, fintech, Blockchain …

Futur en Seine et son Village des innovations investissent les lieux emblématiques du quartier des Arts et Métiers à Paris. Le Carreau du temple et la Gaîté lyrique, sont les deux lieux principaux de l’édition 2016.

Pas d’implant party cette année. Futur en Seine propose – via son cycle de conférences – un véritable manifeste : Tous Hackés ? Tous Hackers ! Sous la direction d’Eric Scherer, directeur de la prospective à France Télévisions, les échanges et débats verront entrepreneurs du changement, penseurs engagés et figures du numérique interroger avec optimisme et sens critique les évolutions économiques, sociales, culturelles liées au numérique dans nos vies.

Détail du programme est à retrouver sur le site : www.futur-en-seine.paris/programme

sous le filtre « conférences »

Des hologrammes pourraient aider les soldats à voir derrière les murs

Une équipe d’ingénieurs du SMU a mené des recherches financées par DARPA en imagerie holographique 3D pour la détection “d’objets cachés”.

DARPA cherche une technologie afin de permettre aux soldats de « voir » dans les coins, derrière les murs.

Les chercheurs de Lyle School of Engineering – SMU dirigent une équipe multi-universitaire financée par la DARPA pour construire un cadre théorique pour la création d’une image générée par ordinateur d’un objet caché de la vue, dans un coin ou derrière un mur.

Le noyau de la proposition est de développer un algorithme informatique pour déchiffrer la lumière rebondissant sur des surfaces irrégulières pour créer une image holographique d’objets cachés.

« Cela nous permettra de construire une représentation 3D – un hologramme – de quelque chose qui est hors de vue, » a déclaré Marc Christensen, doyen de la B. de Bobby Lyle School of Engineering à SMU et chercheur principal du projet.

« Vos yeux ne peuvent pas faire ça, » dit Christensen. « Cela ne signifie pas que nous ne pouvons pas faire cela. »

La récompense de DARPA est un projet sur quatre ans avec un financement total anticipé de $4,87 millions. SMU Lyle a reçu $ 2,2 millions pour les deux premières années pour le projet “REVEAL” (Revolutionary Enhancement of Visibility by Exploiting Active Light-fields  – Amélioration Révolutionnaire de la Visibilité en Exploitant la Lumière des champs Actifs), avec l’attente d’un autre financement pour la phase II de $ 2,67 millions a attribué d’ici 2018. SMU est l’Université de chef de file pour cette recherche et travaille en collaboration avec les ingénieurs des universités de Rice, Northwestern et Harvard.

Les co-chercheurs de l’équipe SMU sont Duncan MacFarlane, Bobby B. Lyle Centennial Chair in Engineering Entrepreneurship et professeur de génie électrique ; et Prasanna Rangarajan, un professeur adjoint de recherche qui dirige l’école Lyle Photonics Architecture Lab.

La mission de la DARPA, qui remonte à la réaction contre le lancement de Spoutnik de l’Union soviétique en 1957, est de faire des investissements clef dans les technologies innovantes pour la sécurité nationale.

Dans la recherche de propositions pour son programme «REVEAL», les responsables DARPA ont noté que les systèmes d’imagerie optiques conventionnels se limitent aujourd’hui en grande partie à la mesure de l’intensité de la lumière, offrant des rendus bidimensionnels de scènes en trois dimensions et en ignorant des quantités importantes d’informations supplémentaires qui peuvent être transportées par la lumière capturée. Christensen du SMU, un expert en photonique, explique le défi comme ceci :

« La lumière rebondit sur la surface lisse d’un miroir sous le même angle, au cours de laquelle elle frappe le miroir, qui est ce qui permet à l’œil humain de « voir » une image reconnaissable de l’événement – une réflexion, » dit Christensen. “Mais la lumière qui rebondit sur une surface irrégulière d’un mur ou une autre surface non réfléchissante est éparse, aucun œil humain ne peut imaginer quoi que ce soit d’intelligible.

« Donc la question est de savoir si un ordinateur peut manipuler et traiter la lumière se reflétant sur un mur – déchiffrer pour former une image reconnaissable – comme la lumière se reflétant sur un miroir, » a expliqué Christensen. « Un ordinateur peut-il interpréter la lumière rebondissant d’une façon que nos yeux ne peuvent pas ? »

Dans un effort pour résoudre le problème, l’effort de recherche proposé s’étendra aux modèles de transport légers actuellement employés dans l’infographie et les communautés de vision basées sur la propagation de rayonnement pour accueillir simultanément la vitesse de la lumière finie et la nature ondulatoire de la lumière. Par exemple, la lumière se déplace à des vitesses différentes dans les différents milieux (air, eau, verre, etc.) et des ondes lumineuses dans l’éparpillement du spectre visible à des taux différents selon la couleur.

L’objectif du programme de la DARPA est de développer une science fondamentale pour l’imagerie indirecte dans des environnements de diffusion. Cela conduira à des systèmes qui peuvent « voir » dans les coins et derrière toute obstruction (des obstacles) à des distances allant de quelques mètres à plusieurs kilomètres.

Les gens ont utilisé des systèmes d’imagerie pour acquérir des connaissances des objets éloignés ou microscopiques pendant des siècles, fait remarquer Christensen. Mais la dernière décennie a été témoin d’un certain nombre de progrès qui préparent les ingénieurs à la révolution que DARPA recherche.

« Par exemple, la vitesse et la sophistication du traitement des signaux (le processus de conversion des transmissions analogiques en signaux numériques) a atteint le point où nous pouvons accomplir des tâches informatiques vraiment intensives sur des appareils portables », a déclaré Christensen. « Cela signifie que quelles que soient les solutions que nous concevons, elles doivent être facilement transportables sur le champ de bataille. »

Le projet dirigé par SMU DARPA travaille sous le sigle OMNISCIENT – “Obtaining Multipath & Non-line-of-sight Information by Sensing Coherence & Intensity with Emerging Novel Techniques.” – « Obtenant l’Information par trajets Multiples et sans visibilité directe en Sentant la Cohérence et l’Intensité avec l’Émergence des Nouvelles Techniques. »

Southern Methodist University SMU Research, DailyMail

Les villes du futur

voir l’article sur Samsung Newsroom

Britain’s leading space scientist Dr Maggie Aderin-Pocock unveils the SmartThings Future Living Report, which predicts that within the next 100 years, sub aquatic communities will be commonplace. The surrounding water will be used to create breathable atmospheres, generating hydrogen fuel through the process. The report was commissioned by Samsung. EMBARGOED TO 00.01hrs 15th February 2016.