Nous avons vu dans le chapitre précédent les événements qui ont marqué l’évolution de la réalité virtuelle et de la réalité augmentée. Les points saillants de cette évolution sont principalement issus du domaine industriel. Dans ce chapitre, nous abordons les travaux de recherche actuels et les technologies qui s’y rapportent. Nous faisons le lien entre les éléments de l’historique et les périphériques actuellement disponibles sur le marché. Ils seront abordés en détail dans le chapitre suivant. Ce chapitre offre une vue d’ensemble sur les recherches et projets nouveaux. Nous illustrons les secteurs académiques et industriels qui sont en pleine effervescence à l’heure actuelle. Nous expliquons également le matériel utilisé dans le cadre de ces recherches. Cet article se compose de huit sous-sections :
- Psychologie et neurologie
- Actes médicaux
- Tests et prototypage
- Éducation et enseignement
- Mobilité
- Divertissement
- Optimisation des technologies existantes
- Discussions sur les éléments de cet article
Psychologie et neurologie
En Août 2015, M. Cogné et associés présentent l’intérêt de la réalité virtuelle dans l’étude neurologique des déplacements spatiaux (I.E dans notre monde physique) (voir ICI). Le déplacement spatial d’un individu est un processus complexe. Un environnement digital contrôlé offre de nouvelles voies de recherche empiriques. Cela concerne tant la compréhension de ce processus à l’échelle neuronale que l’élaboration de nouveaux traitements. La désorientation spatiale est un trouble fréquent chez les patients souffrant de déficiences neurologiques. La réalité virtuelle permet de mieux comprendre quelles sont les causes à l’origine de cette désorientation. L’article présente une revue de la littérature sur les sujets médicaux en lien avec l’étude des déplacements spatiaux.
Parallèlement, les travaux de D. Freeman ont pour objectif d’introduire un nouveau paradigme dans le domaine de la psychologie. Freeman cherche à étudier et à traiter la schizophrénie au travers de la réalité virtuelle (voir ICI). L’article a été publié en juillet 2016. Pour comprendre cette pathologie, il est nécessaire de comprendre les interactions du patient dans son environnement social. L’interprétation faussée du comportement des personnes par le patient est nécessaire pour comprendre son sentiment de persécution. En effet, selon Freeman, les occurrences et l’intensité des hallucinations sont affectées par le contexte social. Des symptômes négatifs tels que l’asociabilité et l’anhédonie (I.E. incapacité à ressentir des émotions positives lors d’expériences de vie considérées comme autrefois plaisantes). Le repli sur soi et l’évitement des gens sont fréquents dans le trouble de la schizophrénie. Il en résulte une isolation sociale pour le patient. L’utilisation de la réalité virtuelle fournir un environnement informatisé sous contrôle. L’expérience interactive et immersive de cette technologie fournit un nouveau moyen de compréhension, de recherche, mais aussi de traitement. D’autres études visent à mieux comprendre les maladies mentales à l’aide de la réalité virtuelle (voir ICI, ICI et ICI).
En Juin 2016, Seung-Wook Kim et Joon-Kyung Seong utilisent un casque oculus rift pour visualiser la structure vasculaire d’un cerveau humain. L’idée est de pouvoir visualiser ces données dans un environnement tridimensionnel (voir ICI). La structure vasculaire est à la base présentée comme une structure à trois dimensions projetée sur un écran d’ordinateur à deux dimensions. Dès lors, il apparaît plus intuitif de visualiser cette structure directement dans un espace tridimensionnel. Ce moyen de consulter les données les rend plus expressives et plus rapide à comprendre pour le corps médical.
Actes médicaux
En 2013, la société Evena Medical a commercialisé des lunettes intelligentes baptisées « Eyes-on » et capables de révéler les veines sous la peau . Elles ont été conçues à partir des lunettes Epson Moverio que nous exposons dans la suite de cette série d’article. Eva Medial a incorporé aux lunettes deux périphériques supplémentaires pour rendre possible cet exploit. Premièrement un système d’éclairage multi spectral basé sur l’infrarouge pour détecter les vaisseaux sanguins. Deuxièmement, deux caméras stéréoscopiques filment en continu la vue de l’utilisateur pour projeter cette image enrichie de la vue des veines sur les lentilles de l’utilisateur. Ces lunettes permettent au corps médical de piquer avec plus de précision. Cela diminue les pertes de temps pour les professionnels et les désagréments pour les patients (voir ICI et ICI). La figure ci-dessous est une illustration de la vue utilisateur produite par les lunettes Eyes-on. La source originale de cette photo est disponible ICI.
La réalité augmentée a été testée avec succès pour la guidance des actes chirurgicaux. En Aout 2015, Dimitrios Ntourakis, Ricardo Memeo et associés expliquent dans un article disponible ICI une application de guidance chirurgicale pour l’ablation de métastases colorectales résiduelles. Les auteurs présentent un montage expérimental permet au chirurgien d’avoir une vue de la zone opérée avec les repères anatomiques en vue superposée. L’ensemble de ces informations est affiché sur un écran placé en face du chirurgien. Les images affichées sont capturées à l’aide d’une caméra pneumatique et traitée par un technicien avant d’être affichées au chirurgien. L’illustration ci-dessous représente le montage effectué. Elle est issue de ce document. Le point critique de la technologie est la précision de la superposition du traitement informatique sur les images capturées. Les auteurs évoquent une précision de 5 millimètres avec le montage effectué. Le processus de traitement des images nécessite l’intervention d’un opérateur humain. Les auteurs ne proposent pas d’algorithme pour effectuer un traitement automatisé. Le processus s’avère encore trop complexe. Une démonstration vidéo de ce procédé est disponible ici.
Tests et prototypages
La réalité virtuelle peut être utilisée comme un moyen simple de tester des dispositifs d’aide à la sécurité. C’est ce que Giovanni Cosma, Enrico Ronchi et Daniel Nilsson illustrent dans un article disponible ICI. L’article date de janvier 2016. Ils utilisent un casque de réalité augmentée oculus rift pour recréer un scénario d’incendie dans un tunnel. Dans cet environnement artificiel, des lampes LED sont placées sur le sol afin de guider les personnes vers les sorties. Le but de l’étude est de déterminer la position de ces lampes la plus adaptée. La meilleure position est celle qui maximise les chances de survie. Un ensemble de trois scénarios sont créés pour illustrer trois dispositions différentes. Pour cela, les auteurs utilisent un ensemble de mesures quantitatives. Parmi celles-ci le temps nécessaire aux participants pour sortir. L’expérience menée illustre que la réalité virtuelle peut être utilisée pour collecter des données sur le comportement humain. C’est un moyen sans risque et peu coûteux de recréer des scénarios complexes ou impossibles à mettre en oeuvre dans notre monde physique. Il permet aussi aux participants de réaliser les tests sans aucun danger.
Éducation et enseignement
La réalité augmentée touche aussi le secteur des jouets pour enfants. En effet, ces jouets sont de plus en plus digitalisés. Or, ils jouent un rôle important dans l’apprentissage et le développement des enfants. Les jouets digitaux seraient plus avantageux que les jouets traditionnels. Ils offriraient un environnement plus créatif aux enfants. En Aout 2015, Rabia Yimaz expose dans cet article les intérêts de la réalité augmentée sur un public âge de cinq à six ans. L’auteur cherche à expliciter les comportements et l’atteinte cognitive des enfants qui sont en contact avec cette technologie. L’étude montre que l’interaction des enfants avec le matériel est un point crucial de l’apprentissage. Un mauvais design des applications et des erreurs de conception se traduisent directement par un désintéressement des enfants. Dans une telle situation, l’expérience d’apprentissage est faible pour deux raisons. Premièrement, la désorientation engendrée par le design. Les enfants ne savent pas quoi faire, car ils ne comprennent pas ce qu’on attend d’eux. Deuxièmement, la concentration nécessaire pour comprendre le design plutôt que la matière à apprendre. Ils passent plus de temps à comprendre le fonctionnement de l’application plutôt que d’assimiler une nouvelle matière. En revanche, lorsque l’interaction des enfants avec le matériel est intuitive, les résultats d’apprentissage sont meilleurs. Les enfants sont plus curieux et intéressés par les matières enseignées. L’auteur évoque l’utilisation de lunettes intelligentes en compléments des jouets digitaux. Nous expliquons en détail les différents types de lunettes intelligentes dans le chapitre suivant.
Déjà en 1998 Christine Youngblut présente dans cet article un état de l’art des applications de la réalité virtuelle et de la réalité augmentée dans le domaine de l’éducation. Cet article est à mettre en lien avec l’historique évoqué dans l’article précédent. Il coïncide avec l’apparition des premiers périphériques à destination du grand public. L’auteur présente ces applications comme de réelles avancées. La réalité virtuelle et la réalité augmentée peuvent être utilisées pour dépasser les limites physiques des institutions dans l’apprentissage. Elles offrent des environnements de tests sécurisés et peu coûteux. C’est particulièrement utile dans le cadre des travaux pratiques. Youngbult prend l’exemple suivant pour illustrer ses propos : « il serait imprudent d’autoriser des étudiants en ingénierie chimique à réaliser des expérimentations sur un site de production opérationnel sans qu’ils aient connaissance des processus sous-jacents. » C’est une question évidente de sécurité. Pratiquer ce type de manipulation dans un environnement virtuel est sans danger. C’est aussi une approche pédagogiquement plus riche que les cours de l’enseignement traditionnel. En effet, l’expérience d’immersion diminue l’abstraction des explications pour mieux se focaliser sur l’apprentissage des matières. C’est encore plus pertinent dans l’apprentissage de notions abstraites non perceptibles par les cinq sens communs. C’est notamment le cas des champs de force magnétiques ou gravitationnels voir encore le concept de radioactivité. Nous pouvons percevoir les conséquences de ces phénomènes, mais nous ne pouvons pas les visualiser naturellement. En avoir une représentation dans un environnement virtuel faciliterait l’apprentissage de ces concepts.
En outre, l’auteur présente le concept de classe virtuelle. Ce sont des espaces d’enseignement dématérialisés permettant à tout le monde de suivre un cours donné à distance par un enseignant. Le lieu où se trouve l’étudiant n’a pas d’importance. Ce concept est retracé par l’auteur comme existant depuis 1995 .Il le présente comme un nouveau paradigme d’enseignement qui ouvre la voie à un apprentissage tout au long de la vie. L’idée est de faire sortir le savoir hors des écoles et des universités pour le diffuser. Les « Massive Online Open Courses » actuels, abrégés MOOC, sont une conséquence des travaux poursuivis à cette époque. La réalité virtuelle se présente comme une continuité naturelle et possible des MOOC. Elle permettrait d’augmenter le degré d’immersion et de faciliter la représentation de concepts à apprendre. C’est un support appréciable dans la pédagogie. Par exemple, visiter un site historique pour un cours d’histoire, analyser la chute d’un objet avec la représentation des vecteurs de force pour un cours de physique, visualiser des espèces microscopiques pour un cours de biologie voir encore des applications de manipulation et d’entraînement tel que le projet VIEW de la NASA (voir ICI). Au vu de ces informations, une observation s’impose. Les avancées actuelles se placent en continuité des concepts déjà relatés dans la littérature durant les années 1990. Seules les avancées technologiques ont élargi l’éventail des applications pour la réalité augmentée et la réalité virtuelle. Les concepts sous-jacents sont restés les mêmes.
Mobilité
En Février 2016, Anton Fedosov et associés présentent une application de réalité augmentée destinée aux skieurs (voir ICI et ICI). Le Ski est une activité qui se pratique souvent en groupe. Les skieurs utilisent traditionnellement des cartes géographiques en papier ou montée sur tableau comme une aide à la décision. Il s’agit typiquement de savoir quelle route emprunter, où s’arrêter voir encore quels dangers éviter en cas de hors-piste. Les auteurs illustrent l’implémentation d’un système informatique permettant aux utilisateurs d’enrichir le contenu des cartes traditionnelles avec du contenu personnel. Ce projet se nomme SkiAR et repose sur les principes de la réalité augmentée. Il permet à un groupe de skieurs de partager du contenu sur une carte géographique commune. Le périphérique utilisé pour afficher la carte est un smartphone monté dans un casque. C’est le périphérique le plus adapté à cette application. Le smartphone remplit les besoins de mobilité sans fils et de positionnement GPS. Il n’est utilisé que pour afficher des informations. Le périphérique d’entrée est une montre intelligente smartWatch, les capteurs du smartphone sont utilisés pour collecter des informations sur les déplacements de l’utilisateur (E.G. vitesse et position). L’article ne précise pas si les utilisateurs voient uniquement leur environnement au travers de l’écran du smartphone ou d’une autre façon.
En Mai 2016, la société Skully Helmet lance sur le marché un casque pour les motards grâce à une campagne de crowdfounding. Le produit porte le nom de Skully AR-1 . Il est disponible pour une somme de 1499 $ USA. Le dispositif intégré permet d’afficher sur la visière du casque des informations telle que la vitesse instantanée ou encore un itinéraire guidé par GPS. Il permet aussi la gestion des appels téléphoniques. C’est une application qui assure confort et sécurité. En effet, un motard doit garder les mains sur le guidon et le regard sur l’horizon. Il est limité dans ses possibilités d’interaction. En conséquence, ce type de casque de réalité augmentée ne s’impose pas comme un simple accessoire divertissant mais bien comme un équipement susceptible de révolutionner le marché de la moto dans les prochaines années (voir ICI). La première photographie ci-dessous est une représentation du casque. La source originale peut être consultée ICI. Il est tout à fait comparable à un casque traditionnel. Tous les composants sont intégrés. Seule une légère circonvolution est présente sur la partie supérieure du casque. Elle intègre une caméra grand angle (I.E 180 degrés) qui rend compte au motard du trafic situé derrière lui. Cette technologie permet de combler l’angle mort des deux rétroviseurs. L’utilisateur dispose ainsi d’un rétroviseur virtuel grand format. La seconde photographie ci-dessous expose la vue utilisateur. Le coin inférieur droit de l’image évoque l’utilisation d’une application de navigation GPS par l’utilisateur. Sa vitesse est aussi indiquée. De cette manière, le motard accède à toutes les informations nécessaires dans devoir quitter la route des yeux.
La vidéo promotionnelle du casque AR-1 est disponible ci-dessous :
Divertissement
Le projet « THE VOID » est un projet lancé par le milliardaire Ken Breshneider qui le décrit comme le parc d’attraction du futur. Il a pour objectif de recréer des environnements de jeux artificiels à taille réelle. Les utilisateurs sont plongés dans un monde virtuel construit par-dessus un environnement physique minimal. L’ensemble des sensations qui ne peuvent pas être recréées par la réalité virtuelle son ainsi fournies par l’environnement physique. Citons par exemple le vent ou le mouvement de recul d’une arme à feu factice. Les concepteurs parlent d’hyper-réalité. C’est un jeu vidéo grandeur nature. Une vidéo promotionnelle du projet est disponible sur YouTube :
Les deux photographies ici-bas sont respectivement des illustrations de l’environnement physique utilisé et de la vue utilisateur associée. Elles sont extraites de la vidéo promotionnelle. Elles permettent de mieux comprendre l’ensemble des technologies mises en ouvre. Outre le casque de réalité virtuelle, c’est un environnement étoffé de capteurs qui rend possible cette intensité d’immersion pour les utilisateurs. Nous n’avons pas trouvé de projets similaires dans nos recherches. Le projet « THE VOID » semble unique en son genre. Il met en œuvre des technologies complexes et coûteuses. Il se destine aux particuliers sous la forme d’une expérience à vivre.
Sur son site internet, l’entreprise propose déjà des tickets en ligne pour un premier jeu baptisé Ghost Buster Dimension. Le jeu est temporairement installé à New York et accessible pour un prix situé entre 49.75 $ et 57 $. C’est une offre conjointe à la visite du musée de Cire Madame Tussauds. L’entreprise réalise plusieurs partenariat afin de faire connaître ses offres commerciales. La page Facebook de THE VOID expose les dernières avancées du projet. On peut y trouver un ensemble de vidéo exposant les réactions des premiers utilisateurs.
De manière plus générale, c’est le secteur des jeux vidéo qui est le plus prolifique en ce moment. Des sociétés telles que Vive, Sony et Oculus VR conçoivent des jeux vidéo pour parfaire l’attractivité des casques de réalité virtuelle qu’ils ont respectivement fabriqués. Ils cherchent à étoffer l’ensemble de leurs produits et services. C’est une façon de maximiser l’expérience des utilisateurs avec ces périphériques. C’est pourquoi apparaissent de plus en plus d’application de divertissement à destination des casques de réalité virtuelle. Historiquement, ce secteur a toujours été riche en innovation. Au vu de l’historique, cet engouement pour le secteur des jeux et du divertissement est en continuité direct avec les développements réalisés pendant les années 1990 (voir ICI). L’ensemble de ces technologies seront présentées dans le chapitre suivant.
Optimisation des technologies actuelles
En 2016, les travaux de Charles Ruizhongtai visent le domaine de la reconnaissance sémantique liée à la réalité augmentée (voir ICI et ICI). Il s’agit de pouvoir reconnaître les éléments présents dans l’environnement de l’utilisateur. Par exemple, faire en sorte que le périphérique de réalité augmentée fasse la différence entre une chaise, un fauteuil, une TV voir encore une table. C’est une étape nécessaire pour augmenter le degré d’immersion des applications. La figure ci-dessous est une illustration du niveau d’immersion que rendrait possible une reconnaissance sémantique. Faire la différence entre les différents éléments du décor permet de disposer des éléments holographiques comme illustrés sur cette figure. Elle est issue de cet article.
De manière analogue, les travaux de Valeria Farinazzo et associés ont pour objectif d’étendre les fonctionnalités des périphériques de réalité virtuelle. Dans \cite{martins2016usability}, ils proposent d’étendre les fonctionnalités de visualisation d’un casque oculus rift au moyen de commandes vocales. L’article a été publié en juillet 2016. En effet, une fois plongé dans un environnement virtuel, il est plus aisé pour l’utilisateur de dicter des commandes plutôt que d’appuyer sur des boutons qu’il ne peut pas voir. Les auteurs présentent une application permettant de naviguer au sein de Google Street View. Leur application permet de convertir une entrée vocale en chaîne de caractères. Ensuite, ces données sont dirigées vers l’interface de programmation du logiciel Google MAP. Enfin, le casque de réalité virtuelle reçoit les données géographiques à afficher et modifie la vue de l’utilisateur en conséquence. Le montage expérimental est illustré à la figure ci-dessous. Elle est issue de cet article.
Discussion
L’ensemble des éléments présentés dans les sous-sections précédentes sont des applications de la réalité virtuelle et de la réalité augmentée. Elles illustrent la diversité des développements actuels tant dans le domaine de la recherche que dans les secteurs industriels. Les applications présentées dans les sous-sections précédentes s’inscrivent dans une perspective de développement plus générale. L’ensemble des applications peut être mis en lien avec les données d’analyse publiées par la société Gartner.
La société Gartner est une entreprise spécialisée dans le conseil et la recherche des techniques nouvelles et avancées. Son siège social est situé à Stanford aux États-Unis Chaque année, l’entreprise publie un rapport sur les nouvelles tendances technologique. Ce rapport contient un graphique nommé « Courbe de Gartner ». Cette courbe représente la tendance pour l’ensemble des technologies à la mode ou en développement pour une période donnée. Nous présentons à la figure ci-dessous la courbe de Gartner pour Juillet 2015. La source originale est consultable ICI. Elle nous permet de mieux comprendre la trajectoire des développements actuels. Cette courbe se décompose en cinq sections. Premièrement, le lancement des technologies. Il s’agit des technologies en cours de prototypage et d’étude. Elles ne sont pas encore disponibles sur le marché. Deuxièmement, un pic des attentes surestimées. Une médiatisation forte et illusoire de ces technologies conduit à la création de startups. Ces entreprises souhaitent lancer de nouveaux produits et services basés sur ces technologies. Troisièmement, le gouffre de la désillusion. Les produit et services commercialisés ne comblent pas les attentes du public. En conséquence, la presse fait critique de ses technologies et un grand nombre d’entreprises fait faillite. Quatrièmement, la pente de l’illumination. Tenant compte des erreurs du passé, certaines entreprises persistent et développent de nouveaux produits. On parle de produits de seconde génération. Les travaux de recherche et de développement permettent de mieux comprendre les technologies et leurs réelles utilités. Les marchés se développement selon une croissance faible et continue. Ils croissent linéairement. Cinquièmement, le plateau de productivité. Cette dernière section marque la maturité des technologies. On assiste à l’apparition de produit de troisième génération. Ils sont plus aboutis et sont plus affinés quant à leurs domaines d’application. L’éventail des applications dépend qu’il s’agit d’un marché de niche ou d’un marché de masse.
Sur la figure ci-dessous, plusieurs sphères bleues sont présentes sur la courbe. Deux d’entre elles illustrent la position de la réalité augmentée et de la réalité virtuelle. En Juillet 2015, elles se trouvaient dans la troisième section de la courbe. Selon les derniers chiffres publiés par Gartner le 19 juillet 2016, la réalité augmentée est toujours dans le puits des désillusions et la réalité virtuelle se trouve maintenant dans la quatrième section du graphique (voir ICI). Les deux technologies devraient atteindre un plateau de stabilisation dans une période de cinq à dix ans.
La phase de désillusion de la réalité augmentée s’explique simplement. Prenons un exemple. Dans la section précédente est illustrée une capture d’écran du spot publicitaire utilisé par Microsoft pour faire la promotion de ses lunettes Hololens. On peut y voir le jeu vidéo MineCraft se superposer aux éléments mobiliers de l’utilisateur. Pour réaliser cela, les lunettes Hololens doivent être capables de reconnaissance sémantique. Elles doivent pouvoir déterminer si un élément mobilier est une chaise, un fauteuil, une table, etc. Or, les travaux de recherche concernant cette matière sont toujours en cours. C’est ce qu’illustrent les travaux de Charles Ruizhongtai. Aucune version commerciale des lunettes Hololens n’intègre ce type de reconnaissance. En conséquence, il existe un décalage entre les attentes du public et les fonctionnalités actuelles du produit. Cependant, la recherche et le développement sont des étapes nécessaires pour obtenir des produits plus affinés. On parle alors de produits de seconde génération. La réalité virtuelle est dans une phase montante. Le nombre de périphériques mis sur le marché est en augmentation et les versions de produit se succèdent. Nous l’illustrerons notamment au travers du casque Oculus Rift et de l’utilisation des smartphones au chapitre suivant. Les produits et services disponibles sont de plus en plus affinés. Leur nombre ne cesse d’augmenter. Le domaine de la réalité virtuelle se dirige vers un ensemble de technologies plus matures. Nous sortons de la phase de prototypage pure pour aller vers un produit qui sera amélioré par plusieurs versions successives.
La courbe de Gartner et les applications présentées ici indiqueraient que le développement des applications liées à la réalité virtuelle et à la réalité augmentée va continuer de progresser et de se diversifier dans les prochaines années. Le foisonnement qui nous occupe actuellement va continuer de croître pour se stabiliser dans le futur. Les secteurs liés à la santé, l’aide aux personnes, l’éducation et l’enseignement sont prometteurs. La tendance de leur évolution est à surveiller sur le courant des années futures.
