Grégoire Nieto - Light Field Remote Vision

Les champs de lumière ont attisé la curiosité durant ces dernières décennies. Capturés par une caméra plénoptique ou un ensemble de caméras, ils échantillonnent la fonction plénoptique qui informe sur la radiance de n’importe quel rayon lumineux traversant la scène observée. Les champs lumineux offrent de nombreuses applica- tions en vision par ordinateur comme en infographie, de la reconstruction 3D à la segmentation, en passant par la synthèse de vue, l’inpainting ou encore le matting par exemple.
Dans ce travail nous nous attelons au problème de reconstruction du champ de lumière dans le but de synthétiser une image, comme si elle avait été prise par une caméra plus proche du sujet de la scène que l’appareil de capture plénoptique. Notre approche consiste à formuler la reconstruction du champ lumineux comme un problème de rendu basé image (IBR). La plupart des algorithmes de rendu basé image s’appuient dans un premier temps sur une reconstruction 3D approximative de la scène, appelée proxy géométrique, afin d’établir des correspondances entre les points image des vues sources et ceux de la vue cible. Une nouvelle vue est générée par l’utilisation conjointe des images sources et du proxy géométrique, bien souvent par la projection des images sources sur le point de vue cible et leur fusion en intensité.
Un simple mélange des couleurs des images sources ne garantit pas la cohérence de l’image synthétisée. Nous proposons donc une méthode de rendu direct multi- échelles basée sur les pyramides de laplaciens afin de fusionner les images sources à toutes les fréquences, prévenant ainsi l’apparition d’artefacts de rendu. Mais l’imperfection du proxy géométrique est aussi la cause d’artefacts de rendu, qui se traduisent par du bruit en haute fréquence dans l’image synthétisée. Nous introduisons une nouvelle méthode de rendu variationnelle avec des contraintes sur les gradients de l’image cible dans le but de mieux conditionner le système d’équation linéaire à résoudre et supprimer les artefacts de rendu dus au proxy.
Certaines scènes posent de grandes difficultés de reconstruction du fait du caractère non-lambertien éventuel de certaines surfaces ; d’autre part même un bon proxy ne suffit pas, lorsque des réflexions, transparences et spécularités remettent en cause les règles de la parallaxe. Nous proposons une méthode originale basée sur l’ap- proximation locale de l’espace plénoptique à partir d’un échantillonnage épars afin de synthétiser n’importe quel point de vue sans avoir recours à la reconstruction explicite d’un proxy géométrique. Nous évaluons notre méthode à la fois qualitati- vement et quantitativement sur des scènes non-triviales contenant des matériaux non-lambertiens.
Enfin nous ouvrons une discussion sur le problème du placement optimal de caméras contraintes pour le rendu basé image, et sur l’utilisation de nos algorithmes pour la vision d’objets dissimulés derrière des camouflages.
Les différents algorithmes proposés sont illustrés par des résultats sur des jeux de données plénoptiques structurés (de type grilles de caméras) ou non-structurés. Mots-Clés Rendu basé image, photographie computationnelle, reconstruction 3D, champ de lumière, imagerie plénoptique.