Ego4D : Apprendre à une IA à percevoir le monde à travers vos yeux

Ego4D : Perception égocentrique 4D

Une IA qui comprend le monde du point de vue de la première personne pourrait ouvrir une nouvelle ère d’expériences immersives, à mesure que des dispositifs tels que les lunettes de réalité augmentée et les casques de réalité virtuelle deviennent aussi utiles dans la vie quotidienne que les smartphones. Imaginez que votre dispositif de réalité augmentée vous montre exactement comment tenir les baguettes pendant une leçon de batterie, vous guide dans la réalisation d’une recette, vous aide à retrouver vos clés perdues ou vous rappelle des souvenirs sous forme d’hologrammes qui prennent vie devant vous.

Pour mettre au point ces nouvelles technologies, il faut apprendre à l’IA à comprendre et à interagir avec le monde comme nous le faisons, à partir d’une perspective à la première personne – ce que la communauté des chercheurs appelle communément la perception égocentrique. Cependant, les systèmes actuels de vision par ordinateur apprennent généralement à partir de millions de photos et de vidéos capturées dans une perspective à la troisième personne, où la caméra n’est qu’un spectateur de l’action. “Les systèmes d’IA de la prochaine génération devront apprendre à partir d’un tout autre type de données – des vidéos qui montrent le monde depuis le centre de l’action, plutôt que depuis les coulisses”, explique Kristen Grauman, chercheuse scientifique principale chez Facebook.

L’IA de Facebook annonce Ego4D un ambitieux projet à long terme visant à relever les défis de la recherche en matière de perception égocentrique. Ils ont réuni un consortium de 13 universités et laboratoires répartis dans neuf pays, qui ont recueilli plus de 2 200 heures de vidéos à la première personne dans la nature, mettant en scène plus de 700 participants dans leur vie quotidienne. Cela augmente considérablement l’échelle des données égocentriques accessibles au public pour la communauté des chercheurs, d’un ordre de grandeur, plus de 20 fois supérieur à tout autre ensemble de données en termes d’heures de séquences. Facebook a financé le projet par des dons universitaires à chacune des universités participantes.

Ego4D Perception égocentrique Credit: Ego4D facebook

En collaboration avec le consortium et Facebook Reality Labs Research (FRL Research), Facebook AI a également mis au point cinq repères de référence centrés sur l’expérience visuelle à la première personne qui stimuleront les progrès vers des applications réelles pour les futurs assistants IA.

Les cinq repères d’Ego4D sont la mémoire épisodique, la prévision, la manipulation des mains et des objets, la journalisation auditive et visuelle et l’interaction sociale.

“Ces repères catalyseront la recherche sur les éléments de base nécessaires au développement d’assistants IA plus intelligents, capables de comprendre et d’interagir non seulement dans le monde réel, mais aussi dans le métavers, où la réalité physique, la réalité augmentée et la réalité virtuelle se rejoignent dans un même espace”, a précisé Facebook.

Les ensembles de données seront rendus publics en novembre de cette année pour les chercheurs qui signent l’accord d’utilisation des données d’Ego4D.

L’augmentation humaine militaire sera nécessaire

Le scientifique en chef de la toute nouvelle US Space Force a déclaré que l’augmentation humaine ne tarderait pas à arriver.

Le Dr Joel Mozer, qui s’exprimait lors d’un événement au Airforce Research Laboratory, a déclaré qu’il était “impératif” que les États-Unis surpassent leurs adversaires en étant à la pointe de l'”augmentation humaine” dans la technologie militaire.

“Au siècle dernier, la civilisation occidentale est passée d’une société industrielle à une société de l’information, mais aujourd’hui, nous sommes à l’aube d’une nouvelle ère : celle de l’augmentation humaine”, a déclaré Mozer. “Dans le domaine de la défense nationale, il est impératif que nous nous engagions dans cette nouvelle ère, sous peine de prendre du retard sur nos concurrents stratégiques”.

Mozer, dont la carrière s’est déroulée en grande partie au sein de l’armée de l’air américaine, où il a développé des technologies de vol spatial, a prévenu que des progrès “inimaginables” seront réalisés au cours de la prochaine décennie, citant les avancées en matière d’intelligence artificielle déjà réalisées par des programmes comme AlphaGo de Google.

Le scientifique de la Space Force a ajouté que l’IA pourrait un jour développer des tactiques et des stratégies militaires qu'”aucun humain ne pourrait développer”, et que des programmes ou des machines “autonomes” pourraient conseiller les commandants en temps réel.

“L’IA pourrait un jour créer des programmes qui conçoivent des lignes d’attaque trop complexes pour être comprises par les humains, a souligné Mozer. Cela s’étendra au champ de bataille, où les commandants et les décideurs auront à leur disposition de multiples agents autonomes, chacun pouvant contrôler l’exécution de tâches telles que la reconnaissance, le contrôle du tir ou l’attaque”, ajoute Mozer.

Il a averti que “nous devons réfléchir attentivement à l’éthique de tout cela, et à la façon dont nous ferons confiance à ces agents autonomes, en particulier à l’ère de la guerre autonome mortelle”.

Concernant l’augmentation humaine, il a suggéré que la technologie d’augmentation pourrait éventuellement produire une “main-d’œuvre surhumaine”, qui utilise des technologies telles que “la réalité augmentée, la réalité virtuelle et la stimulation nerveuse”.

Vous pouvez mettre un individu dans un état de flux, où l’apprentissage est optimisé et la mémorisation est maximisée”, a-t-il déclaré. Cet individu pourrait être transformé en une personne au potentiel très élevé.

DailyMailMetro UK

La France va débuter les recherches sur le soldat augmenté
Le soldat augmenté – Regards croisés sur l’augmentation des performances du soldat

Microsoft va équiper les soldats américains de casques de réalité augmentée

Microsoft et l’armée américaine ont annoncé que le système intégré de renforcement visuel (IVAS – Integrated Visual Augmentation System), une version militaire améliorée du dispositif de réalité augmentée HoloLens, allait passer du stade du prototypage à celui de la production.

Dans une annonce datée du 31 mars, le Program Executive Office – Soldier (PEO Soldier) de l’armée de terre a annoncé “un accord de production à prix fixe pour la fabrication” d’IVAS, ajoutant que le contrat “fait passer IVAS à la production et à la mise en service rapide”.

Alex Kipman, membre technique de Microsoft, a publié sur son blog : Nous apprécions le partenariat avec l’armée américaine et nous sommes reconnaissants de la confiance qu’elle nous accorde pour faire passer IVAS du prototypage rapide à la mise en service rapide.

IVAS réalité augmentée Courtney Bacon / Soldat PEO

L’IVAS ajoute des capteurs de vision nocturne et d’imagerie thermique à l’habituel affichage tête haute HoloLens, et est renforcé pour un usage militaire. En plus de permettre aux soldats de voir dans l’obscurité et en vision thermique, il est destiné à leur permettre de visualiser et de comprendre facilement des informations provenant de nombreuses sources.

La position des autres soldats, signalée par les systèmes GPS de leurs propres IVAS, apparaîtrait sur l’affichage tête haute. Il en va de même pour les ennemis, détectés par les drones ou les avions qui les survolent, ou trouvés par d’autres soldats. Il serait possible de projeter un viseur de canon sur l’écran IVAS, afin de montrer où l’arme d’un soldat est dirigée, même si celui-ci ne regarde pas dans le viseur. Naturellement, le système peut être utilisé pour appeler des cartes et d’autres informations utiles.

D’autres applications pourraient permettre aux soldats de voir à travers les murs, par exemple lorsqu’ils sont assis à l’arrière d’un véhicule blindé et qu’ils peuvent simplement tourner la tête pour voir ce qui se trouve à l’extérieur en important les données des systèmes de caméras omnidirectionnelles du véhicule.

Les troupes peuvent également avoir accès à des cartes en 3D de la ville ou des bâtiments, ce qui leur permet de savoir ce qui les attend avant de franchir une porte ou de prendre un virage.

Le président de Microsoft, Brad Smith, a même suggéré que l’IVAS pourrait intégrer la technologie de reconnaissance faciale, en signalant dans la base de données des informations sur les personnes qu’il a détectées devant un soldat.

Microsoft a audacieusement déclaré à l’AP que l’IVAS pourrait désormais valoir “jusqu’à” 21,88 milliards de dollars au cours des dix prochaines années. Cependant, seulement 1,12 milliard de dollars ont été budgétés pour le projet dans l’exercice 2021, et le Congrès a réduit ce montant à 897 millions de dollars en décembre.

Si IVAS réussit, il sera probablement le sauveur de HoloLens. À l’origine, Microsoft, comme d’autres entreprises technologiques, espérait que les lunettes de VR/AR pourraient être vendues aux joueurs, mais ces espoirs sont maintenant largement morts. HoloLens 2, la version civile actuelle, est désormais présentée comme un appareil de travail destiné aux chirurgiens, aux ingénieurs de maintenance, etc.

Guerres et soldats du futur (conférence en ligne)

Dans l’imaginaire collectif, les soldats du futur sont perçus comme augmentés par la technologie, tels des Robocops. Mais quelle est la réalité des évolutions en cours dans le domaine ? Et quelle en serait la véritable utilité ? Cette visioconférence, présentée par Michel Goya, militaire chevronné et historien spécialiste de l’innovation militaire, nous permettra d’y voir beaucoup plus clair. Elle répondra également à des questions essentielles : Qu’est-ce qu’un soldat ? Comment vit-il le combat ? Comment peut-il le gagner ? Et enfin, comment les guerres sont-elles en train de changer ?

Cette conférence d’une heure trente (en comptant les échanges entre le conférencier et le public) aura lieu en ligne. Il est nécessaire de s’inscrire afin d’obtenir le lien pour se connecter. Une fois votre billet pris, nous vous enverrons par mail toutes les informations liées à la connexion un peu avant l’événement.

Michel Goya est spécialiste de l’innovation militaire, de l’analyse des conflits, et du comportement au combat. Ancien colonel des troupes de marine, il a été déployé sur de nombreux théâtres d’opérations (Sarajevo, Rwanda, Centrafrique…) et a également été membre du cabinet du chef d’État-Major des armées. Par ailleurs docteur en histoire, il a beaucoup enseigné, notamment comme titulaire de la chaire d’histoire militaire de l’École de Guerre. Enfin, il a écrit de nombreux ouvrages tels que Sous le feu : la mort comme hypothèse de travail ou encore S’adapter pour vaincre : Comment les armées évoluent.

Détails
Date : 14 avril
Heure : 19 h 00 min – 20 h 30 min
Prix : Gratuit à 7€
Présenté par : Michel Goya
Inscription nécessaire pour obtenir le lien de connexion

Le bracelet neuronal de Facebook : l’avenir de la réalité augmentée ?

Facebook fabrique un bracelet qui vous permet de contrôler les ordinateurs avec votre cerveau

L’appareil vous permettrait d’interagir avec les prochaines lunettes de réalité augmentée de Facebook simplement par la pensée

Facebook affirme avoir créé un bracelet qui traduit les signaux moteurs de votre cerveau afin que vous puissiez déplacer un objet numérique simplement par la pensée. Le bracelet utilise des capteurs pour détecter les mouvements que vous avez l’intention de faire (données neuronales). Il utilise l’électromyographie (EMG) pour interpréter l’activité électrique des nerfs moteurs lorsqu’ils envoient des informations du cerveau à la main.

Selon la société, l’appareil vous permettrait de naviguer dans des menus de réalité augmentée en pensant simplement à bouger votre doigt pour les faire défiler. On ne sait pas encore quand il sera commercialisé ni combien cela coûtera. Le produit est encore en phase de recherche et de développement dans les laboratoires internes de Facebook.

Lors de l’avant-première, Thomas Reardon, directeur des interfaces neuromotrices chez Facebook Reality Labs, a déclaré que le dispositif n’était “pas un moyen de contrôle mental”. Il a ajouté : “Cela vient de la partie du cerveau qui contrôle les informations motrices, pas la pensée.”

L’expérience la plus réussie en matière de réalité augmentée a été Pokémon Go, qui a pris le monde d’assaut en 2016. Cette promesse initiale s’est toutefois estompée au cours des années qui ont suivi, car les entreprises ont eu du mal à traduire cette technologie en quelque chose de réellement utile. Le fondateur de Facebook, Mark Zuckerberg, a investi de manière agressive dans la réalité augmentée et virtuelle, reconnaissant que des produits comme ceux-ci peuvent donner accès à d’innombrables sources de données précieuses. Est-ce que Facebook va percer ?

Tech@Facebook, Wired

La France va débuter les recherches sur le soldat augmenté

Un comité d’éthique du ministère de la défense a rendu un rapport qui autorise les forces armées françaises à lancer des recherches sur le thème du soldat augmenté. Créé à la demande de la ministre des Armées à la fin de l’année 2019, le Comité d’éthique de la défense est chargé d’apporter des éclairages sur les questions éthiques soulevées par les innovations scientifiques, techniques et leurs éventuelles applications militaires.

Le rapport examine les traitements médicaux, les prothèses et les implants corporels qui améliorent les capacités physiques, cognitives, perceptives et psychologiques, et pourraient permettre le suivi de la géolocalisation ou la connectivité à un système d’armes où à d’autres soldats. Où encore qui permettent d’améliorer les capacités cérébrales par stimulation cérébrale profonde.

Parmi les autres interventions possibles envisagées par le comité d’éthique figurent des traitements médicaux visant à prévenir ou à diminuer la douleur, le stress et la fatigue, ainsi que des substances qui amélioreraient la résistance mentale si un soldat était fait prisonnier.

Le comité a déclaré que la France doit maintenir “la supériorité opérationnelle de ses forces armées dans un contexte stratégique difficile” tout en respectant les règles régissant le droit militaire, le droit humanitaire et les “valeurs fondamentales de notre société”.

En conséquence, on a interdit toute modification dont on estime qu’elle est de nature à diminuer la maîtrise de l’emploi de la force, ou à provoquer une perte d’humanité ou encore qu’elle serait contraire au principe de respect de la dignité de la personne humaine. D’autres exemples de modifications interdites sont les implants cognitifs qui porteraient atteinte au libre arbitre d’un soldat, ou les changements qui affecteraient sa réintégration dans la vie civile.

La ministre des Armées, Florence Parly, a déclaré que les augmentations “invasives” telles que les implants ne font actuellement pas partie des plans militaires.

« Mais il nous faut être lucide, tout le monde n’a pas nos scrupules et c’est un futur auquel il nous faut nous préparer », a déclaré la ministre dans un communiqué de presse. « C’est un avis qui n’est pas gravé dans le marbre et qui sera régulièrement reconsidéré à l’aune des prochaines évolutions. »

La publication de ce rapport fait suite à une colonne d’opinion de John Ratcliffe, directeur du renseignement national des États-Unis, dans le Wall Street Journal, dans laquelle il a fait part de ses inquiétudes quant à la menace que représente la Chine pour les États-Unis et la démocratie mondiale, ainsi qu’à ses projets en matière de technologie militaire.

“Les renseignements américains indiquent que la Chine a déjà effectué des tests humains sur des militaires dans l’espoir de développer des soldats aux capacités biologiques améliorées”, a déclaré Ratcliffe.

Tendances technologiques pour les PME françaises en 2020-2021

Les entreprises acquièrent et investissent de plus en plus dans les nouvelles technologies. Ces changements de comportement et de pratiques pour les PME, notamment au niveau des investissements et de la diversification des budgets, sont dus à l’évolution constante des nouvelles technologies dans le monde du travail.

En décembre 2019, Gartner a mené l’enquête auprès de 248 personnes travaillant dans des PME en France. L’objectif de l’étude est de proposer une vue d’ensemble des intentions d’investissement et les prédictions d’impact des nouvelles technologies sur les entreprises d’ici 2021.

L’étude indique les technologies les plus utilisées actuellement, celles qui ont un potentiel de croissance significatif et celles pour lesquelles les PME prévoient un budget.

Actuellement, les technologies les plus utilisées en France sont les logiciels de sécurité des données et de l’information (68%). En effet, les cyberattaques, fuites et vols de données de ces dernières années, poussent les entreprises à investir dans la sécurité des données. Les logiciels de finance et de comptabilité arrivent en seconde position. Ces technologies sont les premiers outils comme ayant un impact sur les PME aujourd’hui.

Les technologies ayant le plus fort potentiel de croissance d’ici 2021 sont : la réalité virtuelle et augmentée, les chatbots, l’intelligence artificielle et le machine learning. Les chatbots de plus en plus précis grâce au machine learning et l’Internet des objets font partie des technologies qui auront un impact sur les entreprises d’ici 2021.

Mais étrangement, les prévisions d’investissement en France d’ici 2021 ne concernent pas dans l’immédiat les technologies ayant le plus d’impact. En effet, se sont les logiciels RH qui arrivent en tête avec 32 % des répondants pour un budget moyen de 22 700 $. En ce qui concerne la sécurité des données, elle n’est citée que par 29 % des répondants. Il n’y a que 16 % des entreprises interrogées qui ont prévu un budget moyen de 51 900 $ pour l’intelligence artificielle et le machine learning et 51 900 $ pour les véhicules autonomes.

Les principales motivations d’investissement dans les nouvelles technologies pour les PME interrogées, viennent surtout des requêtes de clients (63 %) puis de l’amélioration de la productivité (58 %). Et ce, malgré certains obstacles, plus ou moins tangibles comme le financement de l’investissement en question cité par 45 % des entreprises interrogées. Mais également les compétences internes à adapter et les changements dans les pratiques de l’entreprise.

Les PME doivent miser sur l’innovation et le développement de nouvelles technologies pour conserver leur avantage concurrentiel, et l’adoption de nouvelles solutions est essentielle à leur l’essor.

L’étude a été menée par l’analyste Caroline Rousseau de chez Capterra, une entreprise Gartner.

IKEA veut que vous achetiez avec la réalité augmentée

IKEA permettra bientôt aux clients de commander des meubles en ligne via une application pour smartphone à réalité augmentée (Reuters). La nouvelle application associe le type de position de mobilier de réalité augmentée que nous avions précédemment vue dans l’application IKEA Place à des achats en ligne complets – ce que IKEA a limité à son site Web jusqu’à maintenant.

Le service sera expérimenté en France et aux Pays-Bas et devrait être déployé d’ici à la fin de l’année sur les huit plus grands marchés d’IKEA, y compris le Royaume-Uni. La société affirme qu’elle pourrait reconfigurer ses magasins avec davantage d’entrepôts si son dernier projet de commerce électronique est un succès.

Démonstration du prototype militaire HoloLens 2 de Microsoft

Il y a quelques mois, Microsoft avait remporté un contrat de 480 millions de dollars pour fournir plus de 100 000 casques de réalité augmentée HoloLens à l’armée américaine.

CNBC a pu voir ce que Microsoft a préparé sous la forme d’un HoloLens 2 modifié et, bien qu’il semble qu’il s’agisse davantage d’une démo haut de gamme que d’une démonstration raffinée, il semble que les militaires obtiennent ce qu’ils veulent, ce que craignaient les employés de Microsoft qui avaient signé une lettre en février 2019 contre le projet.