Charles Bailly

Mots-clés :

Interaction Homme-Machine, Réalité mixte, Réalité augmentée, Chirurgie augmentée, Menus.

Résumé de la thèse :

Cette thèse s'inscrit dans le domaine de l’Interaction Homme-Machine (IHM) et est dédiée à l’interaction en Réalité Mixte (RM) avec un casque. La RM permet de créer des environnements mixtes mêlant du contenu virtuel à du contenu physique. L'ensemble de l'espace de travail, objets physiques comme virtuels, peuvent alors servir à interagir avec le système. Contrairement aux interfaces graphiques traditionnelles, la RM combine les avantages de l'environnement physique tout en offrant la flexibilité des éléments virtuels. Les domaines d'application sont nombreux et variés, allant de la fabrication industrielle à la médecine.

La chirurgie est un contexte applicatif dans lequel la RM est particulièrement prometteuse. La possibilité de visualiser des données médicales directement sur le corps du patient et autour de la table d'opération est en effet un atout crucial pour les chirurgiens. Cependant, les techniques existantes permettant d'interagir avec ces informations virtuelles ne sont pas adaptées aux nombreuses contraintes du bloc opératoire. De nouvelles approches sont nécessaires pour permettre aux chirurgiens de visualiser, manipuler et éditer du contenu virtuel pendant une opération.

Notre recherche est motivée par ce besoin de techniques d'interaction en RM pour la chirurgie augmentée. Grâce à notre partenariat avec la société Aesculap pour cette thèse CIFRE, notre travail est dédié aux opérations de prothèse de genou. Nous nous concentrons sur l'utilisation de casques de RM (Head-Mounted Display), avec lesquels le champ de vision augmenté est directement lié à la position de la tête.

Nous commençons par proposer un espace de conception pour l'interaction basée sur les mouvements de la tête en RM. Nous explorons cet espace de conception en concevant de nouvelles techniques d'interaction pour interagir avec des menus. Ces techniques impliquent l'ensemble du continuum réalité-virtualité en considérant différentes physicalités pour les cibles et des transitions entre la réalité mixte et la réalité virtuelle. Notre but est de respecter les contraintes du chirurgien en tirant partie des objets déjà présents en bloc opératoire.

Après avoir exploré les techniques basées sur la tête, nous élargissons notre domaine de recherche en considérant les étapes chirurgicales où les chirurgiens ont au moins une main disponible pour interagir avec le système. Nos contributions sur cet aspect sont doubles. Nous poursuivons tout d'abord notre étude de l'interaction avec les menus en considérant un aspect clé du travail du chirurgien : l'attention visuelle sur le champ opératoire. Nous proposons ainsi trois nouvelles techniques permettant au chirurgien de ramener des widgets virtuels dans son champ de vision sans avoir besoin de détourner le regard du champ opératoire. Ensuite, nous étudions l'exploration de scène 3D en RM avec des vues multiples en nous inspirant de l'étape du planning chirurgical. L’originalité des travaux réside dans la nature différente des vues multiples considérées : vue virtuelle et vue mixte. Nous proposons deux nouvelles techniques d’interaction complémentaires qui permettent de contrôler le niveau de couplage entre ces vues de nature différente et implémentent des transitions entre réalité augmentée et réalité virtuelle.

Le jury est composé de :

Mme Laurence Nigay, Professeur des Universités, Université Grenoble Alpes,    Directrice de thèse

M. Martin Hachet,        Directeur de recherche,        INRIA Bordeaux Sud-Ouest, Rapporteur

M. Marcos Serrano,     Maître de conférence,          Université de Toulouse III,     Rapporteur

M. Frédéric Noël,         Professeur des Universités, Grenoble INP,                        Examinateur

M. François Faure,      Professeur des Universités, Université Grenoble Alpes,    Invité

M. François Leitner,    Ingénieur Docteur,                Entreprise Aesculap,             Invité et Co-encadrant