Quand l’ENISE tient ses promesses : vers la réalité virtuelle augmentée

Le projet PROMESS s’inscrit dans une démarche de captation et de restitution des savoirs sensibles par le biais des nouvelles technologies. Nous cherchons à mettre en symbiose différents stimuli utiles à la transmission de savoir, en particulier les stimuli visuels, auditifs et olfactifs. Pour illustrer les ambitions du projet et la route empruntée, voici quelques exemples de travaux préliminaires.

Au travers d’une première campagne de captation au château de Guédelon fin octobre, nous avons pu réaliser des captations vidéo et sonores avec Mylène PARDOEN et Martin GUESNEY de la MSH pour le son. Nous souhaitons restituer les mouvements des artisans dans un environnement virtuel en combinant une représentation en trois dimensions sous forme d’avatar de l’artisan, combiné à un son spatialisé ainsi qu’une odeur marquante du corps de métier (pierre, bois, argile, etc) : le tout permettant une retransmission immersive pour un visiteur, qui pourrait alors se déplacer librement dans la scène.

Pour capturer ces mouvements, nous testons plusieurs méthodes.

• la première utilise des marqueurs réfléchissants infra-rouges, dont le suivi est assuré par des caméras adaptées pour constituer le nuage de points virtuel. Nous lions ensuite un modèle d’avatar à ces points pour l’animer (cf. figure 1).

La séquence animée ci-dessous représente le mouvement de l’artisan tailleur de pierres. La trace du mouvement de la main droite est représentée par le trait vert.

• La seconde approche que nous testons, moins invasive, permet de reconstituer le mouvement à partir de caméras classiques, sans besoin de porter de marqueurs réfléchissants.

La vidéo illustre la captation multi-vues sans marqueurs :

Sur cette image, l’avatar est volontairement laissé neutre. L’apparence de ce dernier pouvant être modifiée selon les besoins et les objectifs visés.

Afin de remettre l’avatar 3D animé dans son contexte, à savoir l’atelier de travail, nous réalisons une photogrammétrie du lieu pour créer un clone numérique 3D. Nous pouvons ainsi placer l’avatar dans ce modèle reconstitué pour enrichir la scène.

Voici une vidéo de présentation de l’atelier de l’ébéniste, à Guédelon :

Pour en savoir plus : un billet relate les captations vidéos et sonores réalisées en septembre dernier à Guédelon avec l’équipe de l’ENISE, Patrick Baert, Charles Javerliat et Eliott Zimmermann. Découvrez le geste du maçon, la taille de la pierre et le geste du menuisier.

---

Crédits photos et vidéos : © ENISE PROMESS 2022

---

---