Deux chercheurs de l'Idiap ont développé un algorithme permettant de légender des photos de manière automatique et sans avoir recours à des légendes pré-enregistrées, précise un communiqué de l'EPFL.
Rémi Lebret, doctorant à l’institut de Martigny, explique le fonctionnement de la solution: «Quand on lui soumet une photo, le programme rapproche le vecteur de l’image avec celui des mots possibles, et choisit quels sont les groupes nominaux, verbaux et prépositions les plus probables.» Ainsi par exemple, lorsqu'une photo d'un skateboarder est présenté, le système découpe la photo en mot : Un homme, un skateboard, une rampe, puis en verbes d'action et propose ensuite une phrase de description, et ce, même si aucune image de ce type ne lui a été proposée auparavant.
Facebook intéressé par ces travaux
Pedro Oliveira Pinheiro, également doctorant à l'origine de ce projet, précise que cette approche est différente de celle employée par les systèmes actuels: «Ils utilisent une description séquentielle en se basant sur des réseaux de neurones récurrents. Ils proposent un premier mot suivant l’image, puis ils l’utilisent pour prédire les suivants.»
Ces recherches intéressent beaucoup Facebook, qui a permis aux deux doctorants de passer six mois de stages dans ses locaux. Le réseau s'inspire de leurs travaux pour ses recherches dans l'établissement de légendes automatique pour les personnes malvoyantes.