Skip to content. | Skip to navigation

Emergences

Lettre d'information n° 36

Image emergences pour impression
Personal tools
You are here: Home 2015 Lettre d'information n° 36 Créer du lien dans des grands volumes de documents multimédias
Document Actions

Créer du lien dans des grands volumes de documents multimédias

Nouvelle équipe de recherche dirigée par Guillaume Gravier, au centre Inria Rennes - Bretagne Atlantique, LinkMedia ambitionne de parvenir à découvrir automatiquement les liens pertinents qui peuvent exister entre des textes, des photos, des vidéos et des sons, de manière à structurer des collections de très grande taille. À terme, ces recherches pourraient améliorer la façon de naviguer dans les contenus et aussi la manière d'accéder à l'information.

Nouvelle équipe de recherche dirigée par Guillaume Gravier, au centre Inria Rennes - Bretagne Atlantique, LinkMedia ambitionne de parvenir à découvrir automatiquement les liens pertinents qui peuvent exister entre des textes, des photos, des vidéos et des sons, de manière à structurer des collections de très grande taille. À terme, ces recherches pourraient améliorer la façon de naviguer dans les contenus et aussi la manière d'accéder à l'information.

Notre maître-mot, c'est multimédia, résume Guillaume Gravier. Nous succédons à l'ancienne équipe TexMex dont les objectifs étaient principalement de décrire les contenus multimédias. Il pouvait s'agir de détecter des visages, des gens, des voix, des événements, des objets dans les vidéos, ou bien encore de détecter la structure d'une émission pour repérer, par exemple, les différentes manches d'un jeu télévisé.”  Plusieurs logiciels développés durant ces travaux sont désormais disponibles sur A||GO, nouvelle plate-forme d'accès aux applications Inria.

Si la plupart des membres de l'ancienne équipe se retrouvent dans LinkMedia (1), la proposition scientifique, elle, évolue sensiblement. “Nous partons de notre savoir-faire historique pour élargir dans deux directions. La première concerne la détection des motifs récurrents. Jusqu'à présent, nous avons utilisé des approches dites ‘supervisées’. Pour détecter par exemple des avions dans une image, il faut une phase d'apprentissage durant laquelle nous devons expliquer à l'ordinateur ce qu'est un avion. La machine va apprendre ce dont il s'agit pour pouvoir ensuite le détecter. Désormais, nous souhaitons faire l'économie de cette étape. Nous donnerons à l'ordinateur une collection d'images sans rien lui dire. À lui de découvrir ce qu'il y a d'intéressant. Il ne saura pas dire que c'est un avion, mais il constatera qu'une même forme apparaît dans plusieurs images. On peut appeler cela un motif. On va donc vouloir découvrir, cette fois-ci de manière non supervisée, des motifs qui se répètent dans une collection de documents, que ce soit des images, de la vidéo ou du son.”  Ces motifs peuvent être des formes, mais aussi par exemple des séries temporelles qui se répètent dans un signal. 

Le deuxième axe concerne ce que nous appelons le liage. Nous prenons une collection pour essayer de faire apparaître tous les liens qui existent entre les documents. Exemples : deux images sur lesquelles on voit un avion, deux vidéos où s'exprime une seule et même personne, ou bien encore deux personnes différentes qui parlent du même sujet. On peut imaginer de pousser plus loin. Dire : j'ai un premier reportage qui traite de tel événement, puis un deuxième qui relate la suite. Voilà le type de liens que nous aimerions parvenir à établir. Nous pourrions ainsi relier par exemple tous les ‘tweets’ qui arrivent en réaction à un événement, et aussi relier ces ‘tweets’ à des reportages, des vidéos... Même chose pour les commentaires d'actualités publiés sur les blogs, les pages Facebook ou les sites de presse. Nous souhaiterions être capables d'analyser et d’organiser toute cette matière. On arrive là dans une approche Big Data.

Enrichir le contenu


Le liage de documents permet aussi d'enrichir le contenu. “Prenons deux images. L'une est accompagnée d'un article. Mais pas l'autre. En analysant le texte, nous savons extraire des mots clés pour les associer à la première image. Si en plus de cela, nous parvenions à lier les deux images, alors nous pourrions propager les mots clés à la deuxième image, celle qui n'en avait pas. En terme d'application, sur un portail d'information, cela permettrait par exemple d'offrir au lecteur, en face d'un article, des suggestions pour lire, voir ou entendre d'autres reportages sur le même sujet. Pour l'instant, ce travail de suggestion est éditorialisé. Nous aimerions pouvoir l'automatiser et, en outre, savoir donner le pourquoi de la suggestion. être capables de dire : vous avez été intéressé par tel article, maintenant je vous conseille tel autre parce que vous y trouverez tel éclairage supplémentaire.

Dans le prolongement de cette thématique du liage de contenu, Guillaume Gravier coordonne également LIMAH (2) (prononcez limache !), un projet soutenu par le laboratoire d'excellence CominLabs (3). Objectif : permettre à un utilisateur d'exploiter des liens dans un corpus de documents comme des cours en ligne ou des archives d'actualité. “Imaginez un sociologue qui voudrait étudier comment tel sujet a été traité ou se faire une opinion sur l'événement lui-même. à l'heure actuelle, comment un humain fait-il cela ? Il tape des mots clés dans un moteur de recherche et s'organise pour analyser tous les documents que ce moteur lui retourne. C'est empirique. Grâce au liage, nous pourrions proposer une collection organisée. Nous donnerions à l'utilisateur des outils permettant une exploration beaucoup plus efficace.

Pour ce projet, les informaticiens rennais travaillent avec des scientifiques de multiples disciplines. “Nos collègues du LINA à Nantes sont spécialisés dans le traitement du langage naturel. Leurs travaux nous aident à déterminer par exemple si oui ou non deux textes différents mentionnent une même information. Ils s'intéressent aussi à l'analyse des opinions dans les réseaux sociaux. Sur quoi portent les commentaires ? Sont-ils positifs ou négatifs ? Etc.”  Viennent ensuite des sociologues des médias (4). “Une question est de savoir en quoi nos outils pourraient modifier le métier de journaliste.”  L'expertise de juristes (4) est également sollicitée. “Quand on crée des liens entre des documents, quand on met un reportage en regard d'un autre, cela s'apparente à une modification du contenu. Ce qui pose des problèmes juridiques : qu'en est-il du droit d'auteur ? Quel en est le statut légal de ce lien ? à qui appartient-il ? Ai-je même le droit de l'effectuer ? Aux juristes de répondre. à eux aussi de dire dans quelle mesure il faudrait faire évoluer le droit pour permettre certains de ces nouveaux usages.”  Des psychologues et des ergonomes (5) aident aussi le groupe à mieux appréhender les attentes et les réactions de l'utilisateur. “Ce travail se situe en amont de la conception de prototypes. Avant de développer une fonctionnalité, nous cherchons à savoir si les gens pensent en avoir vraiment l'utilité. Si tel n'est pas le cas, mieux vaut le savoir dès le départ.

Friands de bons cas d'études


Quelles applications naîtront donc de ces travaux ? “On peut imaginer de nouveaux services proposés sur un portail d'information accessible par l'ordinateur, la télévision ou la tablette numérique. Mais pas dans un avenir immédiat. Les technologies développées par la précédente équipe arrivaient à maturité. Cela a permis un certain nombre de transferts vers des entreprises comme le groupe Technicolor, la PME islandaise Videntifier ou, plus récemment, la start-up Lamark. Avec LinkMedia, en revanche, nous repartons sur des choses beaucoup moins mûres. Nous avons des points durs à résoudre. Nous nous concentrerons donc sur ces problèmes scientifiques. Tout en étant très friands de bons cas d'études en phase avec nos problématiques de recherche. L'idéal serait un industriel qui nous propose un sujet portant sur l'exploration de données, qui nous fournisse un cadre applicatif et qui puisse ensuite mettre en œuvre une évaluation d'un prototype auprès des utilisateurs.

-----
Notes :
(1) Linkmedia est une équipe-projet Inria, Université Rennes 1, Insa Rennes et CNRS, commune à l'Irisa (UMR 6074).

(2) Situé en  Bretagne et Pays de la Loire, CominLabs est un laboratoire d'excellence (Labex) spécialisé en STIC.

(3) Les partenaires sont : CNRS/Irisa, Université de Nantes/Lina, Telecom Bretagne/IODE, Université de Rennes 2/PREFICs et CRPCC.

(4) Le PREFics (Plurilinguismes, Représentations, Expressions Francophones – information, communication, sociolinguistique) est une composante des Ecoles Doctorales Sciences Humaines et Sociales des universités de Rennes 2 / UBS et François Rabelais de Tours.

(5) L'Institut de l'Ouest : droit et Europe (IODE) est un laboratoire rattaché à l'Université de Rennes 1 et au CNRS.

(6) Le Centre de Recherches en Psychologie, Cognition, Communication (CRPCC) regroupe quatre laboratoires sur plusieurs sites : Université Rennes 2, Université Bretagne-Sud et Université Bretagne Occidentale.