Anuvabh Dutt - Continual learning for image classification

Cette thèse traite de l’apprentissage profond appliqué aux tâches de classification d’images. La principale motivation du travail est de rendre les techniques d’apprentissage profond actuelles plus efficaces et de faire face aux changements dans la distribution des données et les étiquettes. Nous travaillons dans le cadre de l’apprentissage continu, dans le but d’obtenir des modèles d’apprentissage automatique pouvant être améliorés en permanence. La première contribution implique une modification de l’espace des étiquettes d’un ensemble de données, les échantillons de données restant les mêmes. Nous considérons une hiérarchie d’étiquettes sémantiques. Nous montrons comment il est possible d’utiliser cette hiérarchie pour obtenir une amélioration des modèles formés à différents niveaux de cette hiérarchie. La deuxième contribution implique un apprentissage continu exploitant un modèle génératif. Nous analysons la possibilité d’utiliser des échantillons issus d’un modèle génératif pour obtenir de bons classifieurs discriminants. Nous proposons ainsi des techniques pour améliorer la sélection et la génération d’échantillons à partir d’un modèle génératif. Enfin, nous observons que les algorithmes d’apprentissage continu subissent certaines pertes de performances lorsqu’ils sont entraînés séquentiellement à plusieurs tâches. Pour la troisième contribution, nous analysons la dynamique de l’apprentissage dans ce scénario et comparons avec l’apprentissage sur plusieurs tâches simultanément. Nous faisons des observations qui indiquent des difficultés potentielles dans l’apprentissage de modèles dans un scénario d’apprentissage continu. Pour la quatrième contribution, nous proposons un nouveau type d’architectue pour les réseaux convolutifs. Cette architecture permet d’entrainer des modèles plus petits sans perte de performances. De plus, cette architecture se prête facilement à la parallélisation, ce qui permet un apprentissage distribué efficace. En conclusion, nous avons examiné deux types de scénarios d’apprentissage continu et nous proposons des méthodes qui conduisent à des améliorations. Notre analyse a mis également en évidence des problèmes plus importants, qui laissent penser que nous aurions peut-être besoin de changements dans notre procédure actuelle d’apprentissage de réseau neuronal.