Ky Trung Nguyen - Génération d'histoires à partir de données de smartphones: une approche par script

Le script est une structure qui décrit une séquence stéréotypée d’événements ou d’actions survenant dans notre vie quotidienne. Les histoires utilisent des scripts, avec plusieurs déviations possibles, qui nous permettent de mieux saisir les situations quotidiennes rapportées et les faits saillants du récit. Ainsi, la notion de script est très utile dans de nombreuses applications d’intelligence ambiante telles que la surveillance de la santé et les services d’urgence. Ces dernières années, l’avancement des technologies de détection et des systèmes intégrés permettent de collecter en permanence les activités des êtres humains, en intégrant des capteurs dans des dispositifs portables (par exemple smart-phone ou smart-watch). La reconnaissance de l’activité humaine (HAR) a ainsi connue un essor important grâce notamment à des approches d’apprentissage automatique telles que le réseau neuronal ou le réseau bayésien. Ces avancées ouvre des perspectives qui vont au delà de la simple reconnaissance d’activités. Ce manuscrit défend la thèse selon laquelle ces données de capteurs portables peuvent être utilisées pour générer des récits articulés autour de scripts en utilisant l’apprentissage automatique. Il ne s’agit pas d’une tâche triviale en raison du grand écart sémantique entre les informations brutes de capteurs et les abstractions de haut niveau présente dans les récits. A notre connaissance, il n’existe toujours pas d’approche pour générer une histoire à partir de données de capteurs en utilisant l’apprentissage automatique, même si de nombreuses approches d’apprentissage automatique (réseaux de neurones convolutifs, réseaux de neurones profonds) ont été proposées pour la reconnaissance de l’activité humaine au cours des dernières années. Afin d’atteindre notre objectif, nous proposons premièrement dans cette thèse un nouveau cadre qui traite le problème des données non uniformément distribuées (problème du biais induit par des classes majoritaires par rapport aux classes minoritaires) basé sur un apprentissage actif associé à une technique de suréchantillonnage afin d’améliorer la macro-exactitude de classification des modèles d’apprentissage classiques comme le perception multi-couche. Deuxièmement, nous présentons un nouveau système permettant de générer automatiquement des scripts à partir de données d’activité humaine à l’aide de l’apprentissage profond. Enfin, nous proposons une approche pour l’apprentissage de scripts à partir de textes en langage naturel capable d’exploiter l’information syntaxique et sémantique sur le contexte textuel des événements. Cette approche permet l’apprentissage de l’ordonnancement d’événements à partir d’histoires décrivant des situations typiques de vie quotidienne. Les performances des méthodes proposées sont systématiquement discutées sur une base expérimentale.