Quand l’ENISE tient ses promesses : vers la réalité virtuelle augmentée

Le projet PROMESS s’inscrit dans une démarche de captation et de restitution des savoirs sensibles par le biais des nouvelles technologies. Nous cherchons à mettre en symbiose différents stimuli utiles à la transmission de savoir, en particulier les stimuli visuels, auditifs et olfactifs. Pour illustrer les ambitions du projet et la route empruntée, voici quelques exemples de travaux préliminaires.

Au travers d’une première campagne de captation au château de Guédelon fin octobre, nous avons pu réaliser des captations vidéo et sonores avec Mylène PARDOEN et Martin GUESNEY de la MSH pour le son. Nous souhaitons restituer les mouvements des artisans dans un environnement virtuel en combinant une représentation en trois dimensions sous forme d’avatar de l’artisan, combiné à un son spatialisé ainsi qu’une odeur marquante du corps de métier (pierre, bois, argile, etc) : le tout permettant une retransmission immersive pour un visiteur, qui pourrait alors se déplacer librement dans la scène.

Pour capturer ces mouvements, nous testons plusieurs méthodes.

  • la première utilise des marqueurs réfléchissants infra-rouges, dont le suivi est assuré par des caméras adaptées pour constituer le nuage de points virtuel. Nous lions ensuite un modèle d’avatar à ces points pour l’animer (cf. figure 1).

Figure 1. Artisan tailleur de pierres équipé de boules réfléchissantes (à droite) et le nuage de points virtuel correspondant (à gauche)

La séquence animée ci-dessous représente le mouvement de l’artisan tailleur de pierres. La trace du mouvement de la main droite est représentée par le trait vert.

  • La seconde approche que nous testons, moins invasive, permet de reconstituer le mouvement à partir de caméras classiques, sans besoin de porter de marqueurs réfléchissants.

Figure 2. Points de vue de trois caméras synchronisées pour reconstituer les mouvements sans marqueurs réfléchissants

La vidéo illustre la captation multi-vues sans marqueurs :

Sur cette image, l’avatar est volontairement laissé neutre. L’apparence de ce dernier pouvant être modifiée selon les besoins et les objectifs visés.

Figure 3. Reconstruction d’un avatar 3D animé à partir d’une vidéo.

Afin de remettre l’avatar 3D animé dans son contexte, à savoir l’atelier de travail, nous réalisons une photogrammétrie du lieu pour créer un clone numérique 3D. Nous pouvons ainsi placer l’avatar dans ce modèle reconstitué pour enrichir la scène.

Figure 4. Photographie de l’atelier de l’ébéniste de Guédelon (à gauche), et son clone numérique 3D (à droite).

Voici une vidéo de présentation de l’atelier de l’ébéniste, à Guédelon :

Pour en savoir plus : un billet relate les captations vidéos et sonores réalisées en septembre dernier à Guédelon avec l’équipe de l’ENISE, Patrick Baert, Charles Javerliat et Eliott Zimmermann. Découvrez le geste du maçon, la taille de la pierre et le geste du menuisier.


Crédits photos et vidéos : © ENISE PROMESS 2022



Citer ce billet
cjaverliat (2023, 23 janvier). Quand l’ENISE tient ses promesses : vers la réalité virtuelle augmentée. L'archéologie du paysage sonore. Consulté le 26 février 2024, à l’adresse https://doi.org/10.58079/bd5e

Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search