Quentin Labourey - Fusions multimodales pour la recherche d'humains par un robot mobile

11:30
Vendredi
19
Mai
2017
  • Soutenance de thèse
Organisé par : 
Quentin Labourey
Intervenant : 
Quentin Labourey
Équipes : 

Lieu de soutenance : au département Images et Signal du GIPSA-lab, Site Ampère, Bâtiment D, Salle Mont-Blanc. L'adresse est le 11 rue des Mathématiques, 38402 Saint-Martin D'Hères.

Membres du Jury :

  • Véronique BERGE-CHERFAOUI - Maître de conférences - Heudiasyc - Rapporteur
  • Laurent TRASSOUDAINE - Professeur - Institut Pascal - Rapporteur
  • Simon LACROIX - Directeur de recherche - LAAS - Examinateur
  • Didier COQUIN - Professeur - LISTIC - Examinateur
  • Olivier AYCARD - Maitre de conférences - LIG - Directeur de thèse
  • Denis PELLERIN - Professeur - GIPSA-lab - Co-directeur de thèse

 

Dans ce travail, nous considérons le cas d’un robot mobile d’intérieur dont l’objectif est de détecter les humains présents dans l’environnement et de se positionner physiquement par rapport à eux, dans le but de mieux percevoir leur état. Pour cela, le robot dispose de différents capteurs (capteur RGB- Depth, microphones, télémètre laser). Des contributions de natures variées ont été effectuées :

- Classification d’événements sonores en environnement intérieur : La méthode de classification proposée repose sur une taxonomie de petite taille et est destinée à différencier les marqueurs de la présence humaine. L’utilisation de fonctions de croyance permet de prendre en compte l’incertitude de la classification, et de labelliser un son comme « inconnu ».

- Fusion audiovisuelle pour la détection de locuteurs successifs dans une conversation : Une méthode de détection de locuteurs est proposée dans le cas du robot immobile, placé comme témoin d’une interaction sociale. Elle repose sur une fusion audiovisuelle probabiliste. Cette méthode a été testée sur des vidéos acquises par le robot.

- Navigation dédiée à la détection d’humains à l’aide d’une fusion multimodale : A partir d’informations provenant des capteurs hétérogènes, le robot cherche des humains de manière autonome dans un environnement connu. Les informations sont fusionnées au sein d’une grille de perception multimodale. Cette grille permet au robot de prendre une décision quant à son prochain déplacement, à l’aide d’un automate reposant sur des niveaux de priorité des informations perçues. Ce système a été implémenté et testé sur un robot Q.bo.

- Modélisation crédibiliste de l’environnement pour la navigation : La construction de la grille de perception multimodale est améliorée à l’aide d’un mécanisme de fusion reposant sur la théorie des fonctions de croyance. Ceci permet au robot de maintenir une grille « évidentielle » dans le temps comprenant l’information perçue et son incertitude. Ce système a d’abord été évalué en simulation, puis sur le robot Q.bo.