Immersion & Social Impact
Projets de recherche
r&d lab
AXE 2 : Immersion & Social Impact
Le jeu vidéo va bien au-delà de l’aspect divertissant. Les sujets développés à travers cet axe mettent l’humain au cœur d’intérêt, en explorant des projets innovants qui répondent aux besoins des entreprises, des sciences et de la société.
Ces projets nécessitent des compétences spécifiques ancrées dans l’identité de l’école, notamment en:
1- Simulation visuelle :
- Simulation et Modélisation temps-réel,
- Visualisation Scientifique & Infographie 2D/3D,
- Jumeaux Numériques,
2 - Interactivité et Immersion :
- Réalité Virtuelle / Augmentée,
- Informatique affective,
- Musique & Son dynamique et Adaptatif,
- Gamification et LudoPédagogie,
En raison de la nature pluri- et inter-disciplinaire de cet axe, qui s’aplique à d’autres domaines comme :
- La Santé mentale,
- L’Innovation pédagogique,
- L’Industrie,
- L’écologie,
- La culture et la patrimoine,
Les projets réalisés sont donc orientés vers une application pratique et concrète, impliquant ainsi des collaborations avec nos partenaires académiques ou industriels.
Mots-clés : Visualisation 3D, e-learning, computer graphics, rendering, modélisation 3D, réalité virtuelle, UI & UX, émotions.
projets
Les projets & Publications
1 - Modélisation 3D d’un quartier de Nice : Simulation de la pollution de l’air et du Bruit
- topographie réel issus du terrain de la région avec OpenStreeMap pour garantir la précision géographique de l’environnement et l’immersion.
- modélisation des assets 3D sur Maya / Blender afin de personnaliser les objets 3D incorporés dans la scène virtuelle
- modèles d’IA planificatrices pour la gestion de la foule et du trafic routier.
- carte en temps réel et moyenné dans le temps de la pollution aérienne et sonore.
Mots clés : Aide à la planification urbanistique, visualisation scientifique, temps-réel, modélisation 3D, pollution.
Partenaire : IMREDD- UCA
Année 2023-2024 (projet en cours)
2- ImmerSim : Simulation scientifique pour visualiser en 3D les impacts des activités humaines et de politiques sur le système Terre.
Contexte
Face à la crise environnementale, comment mesurer l’impact de chaque nouvelle décision ou politique sur le « système Terre », composé des sociétés humaines, du climat et de la biodiversité ?
Il n’existe pas – aujourd’hui – une solution permettant de déterminer le plus scientifiquement possible quels seraient les comportements individuels et collectifs les plus dommageables ou vertueux. Une équipe du Laboratoire d’Informatique de Sorbonne Université (LIP6) a créé le projet TerraNeon afin de combler ce manque, en développant un outil d’aide à la décision basé sur une approche multi-agents (issue de l’intelligence artificielle collective) systémique. Cet outil permet de modéliser et simuler :
- les activités économiques (individus et entreprises)
- les activités humaines (individuelles et collectives),
- les réglementations et lois qui régissent la société.
Pour profiter des avantages de TerraNeon, il est crucial de sensibiliser tous les acteurs de la société sur l’impact de leurs actions sur le climat. Cela peut être réalisé grâce à ImmerSim, outil de visualisation 3D (sous forme de jeu vidéo), qui offrira une immersion 3D des résultats des simulations multi-agents.
Sujet
Ce projet consiste à développer un environnement 3D – sous Unity – possédant une vue globale (échelle planétaire) et locale (échelle humaine) à la façon d’un « google earth ». L’utilisateur/joueur pourra ainsi mieux se rendre compte de l’impact de telle ou telle décision politique en matière de climat sur l’environnement et la biodiversité en se promenant à la surface du globe, dans les villes et les campagnes, à différentes échelles de temps.
Les jeux de données temporelles seront issues de TerraNeon. Les éléments de décors dans l’univers virtuel sont générés procéduralement pour tenir compte, de manière dynamique, de l’impact climatique en fonction des données issues de la simulation.
Mots clés : visualisation scientifique, temps-réel, modélisation 3D, génération procédurale , système multi-agents,
Partenaire : projet en partenariat avec le LIP6 de la SU
Année 2023-2024 (projet en cours)
3 - CoVR : Expériences Immersives en Réalité virtuelle avec le Retour Haptique
Contexte
Le retour haptique permet d’enrichir l’expérience d’un jeu en réalité virtuelle (VR) en engageant plusieurs sens (visuel, auditif, tactile), offrant ainsi une immersion multisensorielle riche. À l’ISIR, une arène CoVR a été développée où les utilisateurs peuvent se déplacer et interagir avec des objets physiques sans l’utilisation de contrôleurs. Cependant, les joueurs immergés à 360° peuvent être enclins à se distraire et à se déplacer n’importe où dans le monde virtuel 3D. Ceci représente des défis en termes de conception de jeu, surtout lorsque l’espace et les objets physiques sont limités, comme c’est le cas avec CoVR. Comment pouvons-nous donc optimiser l’utilisation de l’espace et l’interaction avec les quelques éléments physiques disponibles de l’arène CoVR afin de proposer des expériences immersives, ludiques et captivantes qui exploitent pleinement le sens du toucher ?
Sujet
Le principal objectif de ce projet est de concevoir et mettre en œuvre un jeu en VR en Unity3D qui met en avant les capacités uniques de la plateforme CoVR afin d’offrir une expérience multisensorielle. Un système robotisé présentant d’objets physiques (boutons, volant, étagère, etc.) est utilisé pour prédire la trajectoire de l’utilisateur dans l’arène, lui permettant ainsi d’interagir avec ces objets. De plus, les utilisateurs peuvent ressentir différentes forces grâce aux fonctionnalités d’interaction homme-machine du CoVR, comme tirer, pousser, bloquer, toucher, déplacer, etc.
Etant donné les contraintes techniques, le premier scénario du jeu est relativement simple et dure environ entre 5 et 15 min. Il s’inspire du concept de “Fort-Boyard”, où les joueurs peuvent explorer différentes planètes en voyageant à bord d’une capsule spatiale à la recherche d’artefacts mystérieux. Chaque planète visitée correspond à un niveau de jeu et possède ses propres défis et mécaniques de jeu. Les univers 3D varient d’une planète à l’autre afin d’offrir une diversité de décors et une immersion renouvelée. Cette aventure est modulable et peut s’adapter à plusieurs situations (joueur seul, accompagné d’amis, etc.). De plus, la modularité de l’architecture du jeu permet d’ajouter facilement de nouvelles expériences et scénarios, permettant ainsi de le développer progressivement.
Mots clés : Réalité Virtuelle, Retour Haptique, Interaction Homme-Machine, Robotique
Partenaire : projet en partenariat avec l’ISIR de la SU
Année 2023-2024 (projet en cours)
4 - Visualisation Scientifique 3D : culture et Patrimoine
Contexte
La visualisation 3D des données scientifiques dans des domaines variés (médical, industriel, archéologique, etc.) permet de faciliter la compréhension des phénomes complexes, d’améliorer la présentation des modèles et de valoriser les résultats de recherche. Dans cette optique, l’école ISART DIGITAL et l’institut des sciences du calcul et des données (ISCD) de Sorbonne Université (SU) favorisent une recherche interdisciplinaire en combinant leurs expertises respectives en matière de techniques de rendu temps-réel 3D et de sciences des données.
Sujet
Dans le cadre de ce partenariat, divers sujets ont été explorés, en utilisant le moteur temps-réel Unreal Engine pour visualiser des données scientifiques dans les domaines biomécanique, archéologique, artistique et historique, etc. Parmi les projets réalisés :
- la reconstruction du théâtre antique d’Orange,
- la maison de Molière,
- des quartiers de Rome antique,
- la création de visages à partir de données issues de crânes.
Mots clés : Visualisation scientifique 3D, calcul scientifique, temps-réel, culture et patrimoine.
Partenaire :projet en partenariat avec l’ISCD de la SU
Année : (projet depuis 2021)
5 - TEACHMOD : santé mentale
Contexte
Les technologies de jeux vidéo jouent un rôle important dans le domaine de la santé mentale en raison de leur caractère immersif, le design, la narration, et le gamefeel, etc. Les jeux vidéo peuvent aider les individus à développer leurs capacités à se détendre, à gérer leurs émotions et à traiter des troubles cognitifs tels que l’axiété et la dépression. De plus, ils servent à sensibiliser les personnes sur des problèmes liés à la santé mentale.
C’est dans cette optique que le laboratoire d’ISART DIGITAL travaille en collaboration avec le Cognition Behaviour Technology Lab (COBTEK) de l’Université de Côte d’Azur pour définir et réaliser des projets de recherche multidisciplinaire exploitant le potentiel du jeu vidéo pour améliorer la santé mentale des individus.
Projets
Projet 1 : Dans le cadre de ce partenariat, l’application TeachModvr a été développée sous Unity3D comme un outil interactif utilisant la RA pour faciliter l’enseignement et l’évaluation de bases relationnelles lors d’une consultation clinique avec le patient. L’application disponible gratuitement2, propose à ce jour deux scénarios (vidéos omnidirectionnelles 360°) orientés sur les dimensions psychologiques. Deux troubles cognitifs des patients ont été abordés : troubles de mémoire et de langages. Plus de détails sont disponibles dans la publication.
Projet 2 : La fréquence des symptômes dépressifs et anxieux chez les étudiants a connu une augmentation du fait de l’épidémie de COVID-19 (cours à distance, confinement et isolement etc.). De plus, les méthodes de régulation émotionnelle sont très peu enseignées en France. De ce fait, TeachMod RE, développée sous Unity3D, offre un univers virtuel 3D où l’apprenant incarne un avatar d’étudiant à la première personne pour augmenter l’immersion dans le jeu. Le scénario principal consiste à évaluer la pression engendrée par les examens avec différentes mises en situations.
Plusieurs questions à choix multiples sont affichées à l’étudiant dans le but d’étudier ses stratégies de régulation émotionnelle (suppression émotionnelle ou réévaluation cognitive). L’évolution des événements varie en fonction des choix précédents de l’utilisateur. Des informations théoriques basées sur la régulation émotionnelle sont également fournies. Plus de détails sont disponibles dans la publication.
L’application peut être téléchargée suivant ces liens :
6 - Etude de l’effet de la pro-action sonore dans un jeu 3D
Contexte
Les travaux antérieurs menés sur un jeu de Tetris ont mis en évidence l’effet de la synchronisation de la musique sur la performance des joueurs. La désynchronisation du tempo dans le jeu semble aider les joueurs. D’autres études (sur d’autres jeux) rapportent un résultat inverse : chez eux, la synchronisation de la musique aide le joueur. Cependant, ces derniers ont synchronisé le son sur les actions souhaitées du joueur et non sur des évènements « stressants » du gameplay (chute des pièces, apparition d’un ennemi, etc…).
Hypothèse de l’étude : Est-ce que la synchronisation du son, agit différemment en fonction de l’élément de gameplay qui est utilisé comme référence ?
Autrement dit, nous souhaiterions déterminer si un son synchronisé sur les actions du joueur a un effet différent d’un son synchronisé sur les évènements du gameplay.
Sujet
Pour répondre à cette problématique, l’équipe de recherche d’ISART DIGITAL a travaillé avec l’équipe IA pour l’Ingénieire Comportementale (AIPIC) du Centre de Recherche de Coëtquidan. Les équipes ont développé avec le moteur Unity un jeu de tir sur PC offrant un univers militaire 3D à plusieurs niveaux. Le joueur incarne à la première personne un soldat franc-tireur qui doit viser des ennemis à des emplacements bien précis afin de marquer des points.
La synchronisation de la musique est réalisée soit sur :
- les actions désirées par les joueurs (mode exploration/surveillance ou mode combat) ;
ou
- les évènements de gameplay correspondant aux difficultés à surmonter comme:
- cible de petite taille,
- ennemis éloignés, leur nombre et leur rapidité,
- obstacles,
- autres éléments distrayants la concentration du joueur.
L’outil Wwise a été utilisé pour concevoir et générer la bande de son et l’intégrer dans le jeu.
Partenaire : École spéciale militaire de Saint-Cyr CreC
Année 2022-2023
7 - Explication de l’émergence du médulloblastome via l’Animation
Contexte
Le médulloblastome est un cancer embryonnaire qui survient dans les phases précoces du développement du cervelet lorsque les futurs neurones migrent et prolifèrent dans le cervelet. Ces futurs neurones s’orientent grâce à des signaux moléculaires, à l’instar des oiseaux migrateurs qui s’aident de repères topographiques tout le long de leur parcours. L’explication de ce cancer est difficile pour le grand public (parents des patients, etc.) mais aussi pour les experts comme les étudiants, les médecins et chercheurs etc.
Sujet
L’objectif de ce projet est donc d’utiliser l’animation artistique 2D/3D afin de fournir un support pédagogique (vidéo d’animation) permettant d’expliquer, de façon simple et compréhensible :
- le développement du cervelet,
- le contexte dynamique dans lequel émerge ce cancer (migration des neurones, divisions cellulaires, établissement des connexions neuronales etc.)
- le principe de notre approche expérimentale
Ce support sera utilisé pour :
- le grand public (associations de patients, bénévoles, fête de la science et événements caritatifs pour collecter des fonds pour la Recherche)
- un public d’experts (étudiants, chercheurs, cliniciens et pédiatres).
Partenaire : Faculté de médecine de l’université Lyon 1 – Institut MyoGène Unité Mélis (CNRS & INSERM)
Année 2023-2024
