Cette année 2024 voit naître un nouveau projet qui permet de renforcer des partenariats déjà bien ancrés dans le paysage de nos recherches : ENISE/LIRIS/Origami et Guédelon :
MENECHME1 = nouvelles MEthodologies de captatioN audio-visuElle, synCHronisation et restitution imMErsive pour le patrimoine immateriel
Ce projet est financé dans le cadre de l’appel à projet MITI – Jumeaux numériques : Nouvelles frontières et futurs développements (2024-2025).
Présentation du projet MENECHME le jumeau numérique
La conservation, la diffusion et la valorisation du patrimoine culturel sont des enjeux stratégiques centraux aux niveaux national et international. Dans ce cadre, de nombreuses initiatives ont été menées pour la création de jumeaux numériques dédiés au patrimoine culturel. Ces projets et initiatives se sont très majoritairement focalisés sur les données visuelles (photos, vidéos, objets 3D) et dans le cadre du patrimoine matériel (monument, bâtiments, pièces archéologiques). En rupture avec ces travaux existants, le projet MENECHME se focalise sur la proposition de nouveaux protocoles et des nouvelles technologies pour la capture et la restitution de jumeaux numériques pour le patrimoine immatériel (en particulier les gestes artisanaux) permettant une exploration immersive à 6 degrés de liberté ou 6DoFs (contrairement à de simples vidéos ou vidéos 360°), et avec une approche multi-sensorielle (à la fois visuelle et sonore).
Le terrain d’application de MENECHME est le château de Guédelon, chantier de construction expérimental où plusieurs dizaines d’ouvriers construisent un château fort avec les gestes, les techniques et matériaux du Moyen Âge. Le projet MENECHME s’appuie sur l’expérience et les données récoltées dans le cadre du projet PROMESS (2022-2025) financé par la région Auvergne-Rhône-Alpes et viendra explorer des approches technologiques et scientifiques complémentaires et de rupture permettant d’améliorer radicalement la fidélité et la précision des données audio-visuelles capturées et le réalisme de la restitution immersive.
Son objectif
L’objectif du projet MENECHME est de repousser les limites de restitution existantes, en produisant des technologies (logicielles et matérielles) et des protocoles de capture et de restitution immersive permettant de véritablement franchir un cap dans la fidélité et la précision des données audio-visuelles capturées et dans le réalisme de la restitution immersive. Ainsi, un casque de réalité virtuelle haute définition sera utilisé pour la restitution visuelle (ex. Varjo XR-3 ou HTC Vive Pro2).
L’équipe de la MSH-LSE concentre ses activités autour de la restitution sonore. Dans un premier temps, il est prévu de déployer une matrice d’enceintes qui permettra une restitution du champ sonore par la technologie WFS – Wave Field Synthesis (Corteel and Caulkins, 2004). Ce champ sonore sera dynamique en fonction des mouvements de l’utilisateur. A l’issue de cette première phase, de nouveaux dispositifs techniques seront créés afin de permettre à l’utilisateur de tourner autour d’une source sonore, virtuellement placée au sein de la zone de déambulation. Ce type d’hologramme acoustique 6DoFs n’existe pas actuellement. Ce dispositif de restitution sera dupliqué chez les deux partenaires.
Le projet MENECHME ciblera comme cas d’étude deux ateliers d’artisans spécifiques présentant deux degrés différents de complexité : l’atelier d’équarrissage (en plein air, grande amplitude de gestes et déplacement longitudinal), et l’atelier forge (environnement semi-fermé et sous abri, petite amplitude de gestes, déplacement spatial ample).
Actuellement :
Actuellement, avec la WFS, on peut entendre en immersion, mais les objets sonores se situent hors du cercle des enceintes
Effet recherché : l’hologramme sonore
Diffusion permettant de tourner autour de la source sonore
A moyen terme : effet combiné
L’effet combiné permet une déambulation dans une ambiance sonore immersive (sources sonores externe à la zone de diffusion) et l’écoute d’objets présents dans la zone de diffusion.
Informations : Mylene.pardoen@cnrs.fr (MSH-LSE/UAR2000/CNRS) / Guillaume.lavoue@enise.EC-Lyon.fr (LIRIS)
- MENECHME : personnes ayant une ressemblance plus que frappante, mais n’étant pas jumeau au sens biologique [↩]
