Skip to content. | Skip to navigation

Emergences

Lettre d'information n° 41

Image emergences pour impression
Personal tools
You are here: Home 2016 Lettre d'information n° 41 Du traitement logiciel pour les images à champs de lumière
Document Actions

Du traitement logiciel pour les images à champs de lumière

Symbolisée par le Lytro, une nouvelle sorte d'appareils photo fait son apparition. On les appelle des plénoptiques ou encore des appareils à champs de lumière. Signe particulier : ils saisissent simultanément de multiples images d'une même scène. Après la prise de vue, on peut puiser dans cette riche matière visuelle pour changer la mise au point, modifier la profondeur de champ ou l'ouverture focale. Cependant, les logiciels actuels seraient bien en peine de traiter ces fichiers tant ils s'avèrent gros et complexes. Le Conseil européen de la recherche (ERC) vient d'attribuer une bourse Advanced Grant à Christine Guillemot, scientifique à Inria, pour concevoir les nouveaux algorithmes qui serviront de base à la prochaine génération d'applications plénoptiques de photo et de vidéo.

Symbolisée par le Lytro, une nouvelle sorte d'appareils photo fait son apparition. On les appelle des plénoptiques ou encore des appareils à champs de lumière. Signe particulier : ils saisissent simultanément de multiples images d'une même scène. Après la prise de vue, on peut puiser dans cette riche matière visuelle pour changer la mise au point, modifier la profondeur de champ ou l'ouverture focale. Cependant, les logiciels actuels seraient bien en peine de traiter ces fichiers tant ils s'avèrent gros et complexes. Le Conseil européen de la recherche (ERC) vient d'attribuer une bourse Advanced Grant à Christine Guillemot, scientifique à Inria, pour concevoir les nouveaux algorithmes qui serviront de base à la prochaine génération d'applications plénoptiques de photo et de vidéo.

Depuis ses débuts en 1839, la photographie s'est toujours résumée à faire converger des rayons de lumières à travers une optique vers une surface sensible, qu'il s'agisse de l'émulsion argentique d'antan ou du capteur numérique actuel. L'image ainsi enregistrée est la somme de tous les rayons émis sur un point de la lentille. Dans les cinq dernières années, revisitant le vieux concept de ‘photographie intégrale‘ introduit en 1908 par le Prix Nobel Gabriel Lippmann, deux startups, Raytix et Lytro, ont fait leur début en commercialisant les premiers vrais appareils plénoptiques.

Contrairement aux appareils conventionnels et à leur objectif ‘ordinaire’, ces systèmes innovants embarquent un capteur placé derrière une grille composée de milliers de mini-lentilles. On les appelle des appareils à champs de lumière car ils capturent non seulement l'intensité et la position de la lumière, mais aussi la distribution géométrique des rayons. Cette information n'est pas accessible en photographie classique. L'industrie a bien saisi tout le potentiel  de ces dispositifs plénoptiques : Nikon, Canon, Sony et Apple font partie des grands noms ayant récemment déposé des brevets sur cette technologie.

Comme l'explique Christine Guillemot, responsable de l'équipe de recherche Sirocco au centre Inria Rennes - Bretagne Atlantique, “le champ de lumière est constitué par l'ensemble des rayons enregistrés. Cette fonction plénoptique fournit une description extrêmement riche de la scène, présentant ainsi plusieurs avantages. Tout d'abord, elle permet de simuler une prise de vue effectuée avec une mise au point et une profondeur de champ différentes.  De quoi donc corriger a posteriori le flou sur une image. “Elle permet aussi de simuler des objectifs à grande ouverture.” Ces derniers s'avèrent fort utiles dans les lieux sombres ou pour obtenir ce flou d'arrière-plan artistique qu'on appelle le ‘bokeh’. Autre particularité : “la possibilité de construire des vues en 3D. Les champs de lumières représentent de multiples points de vue sur la scène. Ceux-ci nous renseignent sur la parallaxe et la profondeur de cette scène.” Grâce à ces extraordinaires particularités, la photographie et la vidéo plénoptique “offrent des perspectives de rupture en matière de traitement d'image et fortement impacter de nombreux domaines d'application.

Ceci étant dit, plusieurs obstacles sérieux compliquent la généralisation de ce genre d'appareils. L'un d'entre-eux tient à la piètre résolution des capteurs plénoptiques actuels. Les images issues du récent Lytro Illum se cantonnent par exemple à deux millions de pixels. Autre barrière : la taille et les multiples dimensions des données : 4D pour l'image fixe, 5D pour la vidéo. Ceci engendre “d'évidentes implications sur toute la chaîne de traitement : compression, communication, rendu.  Par ailleurs, “une troisième barrière concerne la faculté  pour l'utilisateur de pouvoir éditer ses images plénoptiques et les transformer aussi facilement qu'il le fait aujourd'hui pour les photos et vidéos 2D. Avant de pouvoir tirer pleinement profit de cette technologie, il va falloir lever tous ces obstacles qui se traduisent par de gros défis en terme de traitement.

Représentations parcimonieuses

Tel est précisément le but de Clim (Computational Light Field IMaging), un projet de recherche sur cinq ans pour lequel l'ERC vient d'octroyer une bourse Advanced Grant de 2,5 M€ à la scientifique. Il s'agit en fait de relever trois défis spécifiques. “Les données plénoptiques présentent de fortes redondances et beaucoup de corrélations. Même si elles se situent dans un espace ambiant à grande dimensionnalité, il est évident qu'elles possèdent une structure intrinsèquement plus compacte. Donc notre premier objectif consistera à découvrir ces structures pour construire des représentations plus parcimonieuses.

Deuxième objectif : la compression. “Il s'agit de concevoir un système de codage pour le stockage et la transmission qui préserve les structures et les modèles des données plénoptiques. C'est le cœur de nos recherches.” Dernier point et non des moindres : l'édition. Il faut “développer des algorithmes de compression pour permettre à l'utilisateur de travailler ses images, faire du changement de focus, du changement de perspective, de l'augmentation de profondeur focale avec de la haute résolution, des vues panoramiques...

Anticipant “un fort impact de ces recherches sur le secteur numérique,” Christine Guillemot estime que ce projet ouvrira “de nouvelles perspectives au traitement de l'image dans de multiples secteurs.” Et d'ici cinq ans, une partie de ce travail devrait venir contribuer à l'émergence de nouveaux standards comme le JPEG-Pleno.

----
Note:

(1) Sirocco est une équipe de recherche Inria, Université de Rennes 1 et CNRS, commune à l'Irisa.