Ce second article présente le développement historique des concepts de réalité virtuelle et de réalité augmentée. C’est une étape nécessaire pour mieux comprendre les techniques, outils et les périphériques actuels. Nous présentons les points saillants de l’évolution selon un ordre chronologique. Nous montrons que les concepts fondamentaux de la technologie virtuelle et de réalité augmentée sont restés les mêmes au cours du temps. Le fait le plus notable est le glissement de ces technologies des laboratoires de recherche vers le salon des particuliers. On assiste à une démocratisation de masse. La réalité virtuelle et la réalité augmentée deviennent accessibles à tout un chacun même si le coût d’acquisition reste important. C’est rendu possible par deux phénomènes : d’une part, l’évolution technologique des composants électroniques ; d’autre part, la diminution du coût économique de ces composants. Au vu du foisonnement de ces technologies nouvelles, une rétrospective s’impose pour mieux comprendre les concepts qui les sous-tendent. Nous présentons l’historique en cinq sous-sections. Dans un premier temps, les travaux précurseurs de la réalité augmentée et de la réalité virtuelle sont exposé ICI. Ensuite, nous expliquons les développements effectués au cours des années 1990 ICI. Après quoi, nous discutons des développements relatifs aux années 2000  ICI. Les événements liés aux années 2010 à nos jours sont explicités ICI. Enfin, nous présentons nos observations à la section disponible ICI.

Les précurseurs

Nous présentons dans cette section trois travaux considérés comme parmi les plus important dans le domaine de la réalité virtuelle et de la réalité augmentée. Nous présentons le Sensorama. Ensuite, l’épée de Damoclès. Finalement, le gant digital.

Le sensorama

Les casques de réalité virtuelle et de réalité augmentée trouvent leurs origines aux environs de 1950. Ils s’inscrivent comme un produit de la réalité virtuelle dans son sens large. Parmi les précurseurs de ce concept se trouve Morton Heiling, inventeur du premier cinéma immersif dès 1962 (Source : ICIet ICI). Cette technologie baptisée Sensorama avait pour objectif d’exploiter les sens du spectateur au travers de 5 courts-métrages. En plus du traditionnel contenu vidéo et sonore, des ventilateurs et un siège vibrant lui permettaient de ressentir les scènes au travers de sensations nouvelles. L’illustration ci-dessous représente l’affiche publicitaire utilisée à l’époque. La source originale de la photo peut être consultée ICI.

L’épée de Damoclès

En 1968, Ivan Sutherland invente l’épée de Damoclès après le sketchpad en 1963 pour lequel il reçut le prix Turing en 1988 (voir ICI et ICI). C’est le premier casque de réalité virtuelle. Son poids conséquent obligeait à soutenir ses composants avec un bras mécanique. C’est de ce bras que Sutherland tira le nom de son invention. L’interface était primitive, mais offrait une vue tridimensionnelle à l’utilisateur basée sur des cadres rectangulaires. Le casque affichait une vue en perspective aux yeux d’un utilisateur en fonction de ses mouvements de tête. Pour ce faire, des capteurs étaient placés au-dessus de la tête de l’utilisateur. Ils renvoyaient la position courante à un programme informatique déterminant le déplacement de position à l’aide de calcul matriciel. Ensuite, un second programme calculait la vue à projeter sur les lentilles du casque pour finalement les envoyer au driver d’affichage. Cette technologie était capable de calculer les coordonnées d’un espace tridimensionnel situé autour de l’utilisateur et d’afficher des éléments se trouvant devant ou derrière lui au gré de ses déplacements de tête. L’illustration ci-dessous est extraite de l’article rédigé par Sutherland pour présenter son invention (voir ICI). Elle expose le montage de l’épée de Damoclès et le casque monté sur la tête d’un utilisateur.

Gant digital

En 1977 est développé le premier prototype de gant digital (voir ICI, ICI et ICI). C’est à Electronic Visualisation Laboratory que Daniel J.Sandin et Thomas Defanti conçoivent le Sayre Glove. Un gant digital, aussi nommé dataglove en anglais, est un périphérique d’entrée constitué d’un gant posé sur la main de l’utilisateur et d’un ensemble de capteurs intégrés sur ce gant permettant à un utilisateur de retranscrire le mouvement de ses mains dans un environnement virtuel. C’est un aspect complémentaire au casque de réalité virtuelle. En effet, les gants assurent une expérience utilisateur encore plus immersive dans un monde virtuel. Envisageons la problématique des dispositifs de pointage. Un dispositif de pointage est un périphérique d’entrée permettant d’indiquer où et comment agir au sein d’une interface. Par exemple, une souris d’ordinateur conventionnelle permet de déplacer un curseur sur un écran. C’est en déplaçant la souris qu’un utilisateur définit où effectuer une action. En complément, les clics gauche et droit définissent comment agir sur la zone pointée. Ce sont couramment des opérations de sélection et d’option sur la sélection. Une souris conventionnelle d’ordinateur ne permet que des déplacements dans un environnement en deux dimensions. C’est typiquement le cas des interfaces traditionnelles comme les ordinateurs portables ou de bureau. Le Sayre glove est l’une des premières tentatives fructueuses de dispositif de pointage adaptée aux environnements tridimensionnels. Il est intuitif et naturel pour l’utilisateur. L’illustration ici-bas est une vue latérale droite du Sayre glove. Elle est issue de cet article.

Le fonctionnement technique du gant est ingénieux par sa simplicité. Il utilise des segments de fibre optique partant du poignet et s’arrêtant sur l’extrémité de chacun des doigts du gant. Une source lumineuse placée sur le poignet ou en amont de celui-ci émet de la lumière au sein de ses fibres. À l’intersection de chaque phalange se trouve une cellule photosensible. Le dispositif déterminait la position de la main en fonction du voltage calculé par l’ensemble de ces cellules. La première illustration ici bas montre ce type de montage. Elle est issue de cet article. Cependant, il faudra attendre les travaux de Gary Grimes en 1983 pour voir apparaître le premier gant doté de capteurs multiples. Il porta le nom de Digital Data Entry Gloveet fut développé au sein des laboratoires Bell. Un ensemble de capteurs de pression et de touché permettait de savoir la position exacte de chaque doigt et ainsi la position exacte de la main (voir ICI). La second illustration ci-dessous est extraite de cet article. Elle présente une vue d’artiste ce type de technologie. Le développement de ces gants digitaux marque le début du développent des contrôleurs externes. Par contrôleurs externes, nous entendons tout type de manettes, de senseurs et de capteurs utilisable par un utilisateur pour interagir avec un système informatique de réalité virtuelle. Ils se démarquent des contrôleurs précédents par leurs capacités d’interactions avec un environnement tridimensionnel.

Années 1990

Aux années 1990 correspond une période mouvementée en recherche et expérimentation. On assiste au développement des premiers casques de réalité virtuelle à destination du grand public. Ils ont été portés par l’industrie du jeu vidéo et des loisirs digitaux. La conception de ces casques implique un ensemble de contraintes supplémentaires. En effet, les casques doivent pouvoir être fabriqués industriellement et avec un coût acceptable. Un produit tel que l’épée de Damoclès ne peut exister qu’en laboratoire. Il est trop encombrant et trop coûteux que pour être commercialisé en masse. Parmi les plus accessibles et les plus répandus, nous en identifions trois. Nous décrivons brièvement chacun de ces casques dans les sous-sections suivantes. Le casque CyberMaxx ICI, Le casque I-Glasses ICI et le casque VFX-1 ICI. Enfin nous terminons cette section par un ensemble de remarques ICI.

VictorMaxx CyberMaxx

En novembre 1994, la société VictorMaxx propose le casque Cybermaxx pour la somme de 699\$. Il était équipé de deux écrans LCD actifs d’une taille de 505×230 pixels chacun. Son utilisation était purement dédiée aux jeux vidéo. Plusieurs titres étaient disponibles à la vente. Trois d’entre eux étaient fournis avec le casque. La figure ici-bas est une photographie d’un casque Cybermaxx. La source est disponible ICI. C’est le premier casque commercialisé avec un jeu de lentilles incorporé pour effectuer la mise au point. Il permet aux utilisateurs possédant des lunettes d’utiliser le périphérique en l’ajustant à leurs besoins. Nous n’avons trouvé aucune informations sur les outils et les ressources de développement compatibles avec ce casque.

I-Glasses

En 1995, la société Virtual I-O commercialise I-Glasses pour la somme de 799 $. Ce casque fonctionne seul, connecté à un téléviseur ou à un ordinateur. Il avait pour vocation les loisirs tels que les films ou les jeux de simulations sur ordinateur(voir ICI et ICI). Ce modèle de casque se destine à la réalité virtuelle et à la réalité augmentée. Le champ d’application était novateur et particulièrement large pour l’époque. Il se voulait être un produit futuriste tout-en-un capable de se fondre dans le quotidien de ses utilisateurs. Nous n’avons trouvé aucune information sur le développement logiciel associé à ce matériel. La vidéo suivante est le spot publicitaire original des I-Glasses :

VFX-1

Aussi en 1995, Forte Technologies lance le casque VFX-1 pour la somme de 695 $ (voir ICI). Il était équipé de deux écrans LCD de 263×230 pixels permettant 256 couleurs. De plus, il intègre trois capteurs déterminant la position de la tête de l’utilisateur. C’est un casque fonctionnant uniquement avec un ordinateur type PC. Il ne peut pas fonctionner en isolation. C’est le seul à intégrer un combiné son et micro en plus d’un contrôleur externe. C’est le plus complexe et le plus sophistiqué de sa génération. En outre, ses interfaces de programmation étant libres, il ouvre une nouvelle voie aux concepteurs d’applications. C’est le seul à proposer cette ouverture (voir ICI et ICI). La figure ci-dessous est une photographie d’un casque VFX-1. La source originale est consultable ICI. Une démonstration du fonctionnement de ce casque est illustré dans la vidéo suivante :

On y voit un utilisateur tester le casque VFX-1 avec le jeu Quake. Remarquons la synchronisation presque instantanée entre les mouvements de tête de l’utilisateur et la vue à la première personne du jeu vidéo. Dans le contexte des années 1990, c’est une technologie novatrice. Le kit de développement est toujours disponible sur divers forums et groupes de discussion. Cependant, le VFX-1 dépend de composants logiciels et matériels devenus obsolètes tels que le bus de communication ISA ou encore MS-Dos 5. Utiliser le VFX-1 pour effectuer de la recherche et du développement n’est donc plus possible à l’heure actuelle.

Remarques

D’après Charlie Ecenbarger et Robert Brookey dans cette thèse, les années 1990 marquent la chute de la réalité virtuelle et de la réalité augmentée dans une niche que seuls les technophiles passionnés explorent. Les trois modèles de casque présentés n’ont jamais pris place sur le marché commercial. Les joueurs et technophiles n’étaient pas prêts pour une telle technologie. Compte tenu des caractéristiques techniques des différents casques, on peut aussi s’interroger sur le confort d’utilisation. Ainsi, le manuel d’utilisation du VFX-1 conseille de faire des pauses toutes les 15 minutes lors de l’utilisation pour éviter les maux de tête et la fatigue oculaire (voir ICI). Les capacités matérielles étaient encore un frein vers une expérience plus immersive de la réalité virtuelle.

En conséquence, la réalité virtuelle et la réalité augmentée se sont principalement cantonnées aux bornes d’arcades et aux jeux virtuels. Plutôt que de rendre compte d’une réalité virtuelle totalement immersive, les développements se sont orientés vers des aspects plus spécifiques. Il s’agit typiquement de deux concepts : d’une part, le perfectionnement des dispositifs de pointage et de perception (E.G les casques de réalité virtuelle) ; d’autre part, la qualité et le rendu des graphismes. Les deux étaient motivés par l’idée de rendre la réalité virtuelle plus immersive. Par exemple, la borne d’arcade BeachHead 2000 permettait à un utilisateur d’effectuer deux types de mouvement. Premièrement, bouger la tête de haut en bas et de bas en haut (I.E axe vertical). Deuxièmement, effectuer une rotation à 360 degrés vers la gauche ou vers la droite (I.E axe horizontal). Une illustration de cette borne d’arcade est disponible ci-dessous. La source originale est consultable ICI. En parallèle, l’industrie du jeu vidéo a poussé le développement de la qualité des graphismes et des consoles de jeu. Cela traduit un désir persistant d’améliorer les technologies liées à la réalité virtuelle et à la réalité augmentée.

Dans notre revue de la littérature, nous n’avons identifié qu’une seule campagne de recherches mixant plusieurs aspects de la réalité virtuelle au cours des années 1990. Il s’agit d’une série de projets soutenus par la Nasa dans le cadre de l’exploration spatiale (voir ICI et ICI). Parmi eux, le projet VIEW pour Virtual Interactive Environment Workstation (voir ICI). Il avait pour objectif d’immerger les utilisateurs dans le cyberespace. VIEW est un dispositif constitué de composants logiciels et matériels. Il incorpore notamment un casque de réalité virtuelle et le Sary glove présenté plus haut dans cet article. Les possibilités offertes par VIEW en faisaient un outil de choix pour le programme d’entraînement des astronautes. Équipé d’une base de données de contenu graphique en trois dimensions, il permettait de simuler tout type d’environnement. L’illustration ci-dessous est une photographie du montage expérimental de ce projet.

 

Années 2000

Les années 2000 se placent en continuité des années 1990. Le développent des techniques et des outils se poursuit. Le confort des écrans s’améliore par une densité plus importante du nombre de pixels par unité de surface. La résolution des écrans augmente. Prenons un cas pratique. Dans les casques étudiés précédemment, la résolution maximale était de 640×480 pixels. Ce qui correspond à 0,3 mégapixel. Sachant que la majorité des périphériques étaient équipés d’écrans HD en 2015, la résolution moyenne actuelle est de 1920×1080 (voir ICI). Cela correspond à 2,07 mégapixels. Ainsi, on constante une augmentation de la densité des pixels de 690 % en l’espace de vingt ans. Cette avancée technologique a rendu possible le mariage du smartphone avec la réalité virtuelle et augmentée. L’avantage résultant de cette association est une réalité virtuelle et augmentée nomade. Elle tire parti de la mobilité du smartphone au travers de tous ses aspects. Il est dès lors possible de sortir hors des laboratoires et des salons pour découvrir le monde extérieur. Les frontières s’estompent et le champ d’application de la réalité virtuelle et augmentée s’accroît.

Années 2010 à nos jours

Ce n’est qu’à parti des années 2010 que se profilent les acteurs et les produits actuellement présents. C’est en 2010 que Palmer Luckey conçoit le prototype du casque Oculus Rift. Ce prototype servira de base à la fondation de l’entreprise Oculus VR en 2012 (voir ICI) qui sera rachetée par Facebook en 2014 pour un montant de 2 milliards de dollars (voir ICI). La même année, Sony annonce le lancement du projet Morpheus à l’origine du casque de réalité augmentée PlayStation VR. En parallèle, Google annonce le projet de lunettes stéréoscopique Cardboard (voir ICI) à destination des smartphones. En 2015, trois événements importants se produisent. Premièrement, les entreprises HTC et Vive Corproration annoncent leur partenariat pour la conception et le développement d’un casque de réalité virtuelle nommé HTC Vive. Deuxièmement, le Samsung Gear VR développé par Samsung Electronics en collaboration avec Oculus VR est commercialisé. Ce produit permet de transformer un smartphone Samsung en un casque de réalité virtuelle. Troisièmement, la société Microsoft annonce le développement d’un casque de réalité augmentée basé sur une vision holographique. Connu initialement sous le nom de projet Baraboo, il correspond à la technologie Microsoft Hololens (voir ICI). L’ensemble de ces technologies sera expliqué en détail dans la suite de ce document.

Un autre exemple illustre la montée en intérêt de la réalité virtuelle et de la réalité augmentée. Ainsi, des jeux de réalité augmentée font leur apparition sur les smartphones. C’est le cas du jeu « Pokémon GO » disponible en Europe depuis approximativement le 16 Juillet 2016 (voir ICI et ICI). Le joueur a la possibilité de capturer des créatures nommées « pokémons » et de se confronter à d’autres joueurs dans des « arènes ». Le jeu superpose ses graphismes sur les images capturées par la caméra au gré des déplacements du joueur. Pour ce faire, il se déplace dans notre monde physique et le capteur GPS du Smartphone est utilisé par l’application pour déterminer sa position. Cette approche est novatrice : les possibilités offertes par le jeu semble illimitées. En effet, la carte sur laquelle évolue le joueur est infinie. L’intérêt social porté à ce jeu est grandissant et son succès ne cesse de croître (voir ICI et ICI). La première figure ici-bas est une capture d’écran du jeu Pokémon Go. La source originale est disponible ICI. Remarquons que ce jeu n’est pas la première tentative du genre. Ainsi, déjà en 2003, Siemens proposait sur ses téléphones mobiles un jeu de chasse aux moustiques nommé « Mozzies ». L’objectif était de tuer des moustiques projetés sur les images capturées par la caméra (voir ICI). L’utilisateur devait placer un curseur sur les moustiques par des mouvements de bras ou de mains. Une fois le curseur placé sur un moustique, il mourrait. La seconde illustration est une capture d’écran de ce jeu. La source originale est consultable ICI. Bien que les scénarios soient fort différents sur l’un et l’autre de ces deux jeux, les concepts informatiques utilisés sont similaires. C’est une superposition d’images virtuelle sur des images de notre monde réel.

Observations

Au vu de l’historique présenté dans cette section, les développements actuels ne sont pas novateurs : il existait déjà des technologies similaires dans le passé. Ils n’ont pas l’exclusivité d’être les premiers. Les principes fondateurs et sous-jacents sont restés les mêmes. Il s’agit plutôt d’un regain d’intérêt pour la réalité virtuelle et augmentée. Ce nouvel élan depuis les années 2010 se présente comme le réveil d’un domaine resté en sommeil. Il est principalement supporté par les innovations technologiques récentes et l’industrie du jeu vidéo. Dans la section suivante, nous présenterons les techniques, outils et les périphériques actuels. Nous verrons en quoi ils restent fidèles aux principes fondateurs de la réalité virtuelle et augmentée. Nous montrerons également par quoi se concrétisent les dernières avancées technologiques.