Sciences de la vie et de la Terre

Qui n’a pas tenté de retrouver l’origine d’une image ? Une image trouvée sur le Net mais dont on n’a pas relevé la source… Même après une laborieuse analyse de l’historique de sa navigation, même après une nouvelle recherche en utilisant (du moins on l’espère !) les mêmes mots clés, même en tapant dans Google Images [1] le nom complet du fichier [2] (en espérant de ne pas l’avoir modifié lors du téléchargement), on peut ne pas y arriver !
Et si on effectuait la recherche directement avec l’image ? C’est possible grâce à un moteur de recherche inversé d’images… une sorte de Shazam© [3] pour les images.
La méthode est simple. Selon l’outil ou le service utilisé, il est possible de transférer (téléverser) le fichier image depuis son ordinateur, de saisir l’adresse (URL) d’une image sur internet ou, pour les applications pour appareils mobiles, tout simplement de prendre une photographie du document à reconnaître.

* Des utilisations pédagogiques possibles

Si les outils proposent de nombreuses possibilités et suggèrent de nombreuses utilisations pour la vie quotidienne (reconnaissance de logo, comparateur de prix à partir d’un code barre, information sur un vin à partir de son étiquette…) certaines d’entre elles peuvent être intéressantes pour le professeur ou l’élève, voire pour la classe…

L’utilisation la plus évidente est de retrouver la source d’une image. Cela peut s’avérer utile quand on possède une image dont on ignore la source et qu’on désire indiquer sa référence dans un document (sujet de devoir, article, exposé, dossier TPE…). Si l’image est présente sur plusieurs sites, on pourra choisir celui qui nous paraît le plus sérieux... Retrouver la source de l’image peut également servir à vérifier l’origine des documents proposés par nos élèves et découvrir si leur production n’est pas qu’un simple plagiat d’un site internet existant.

Utiliser la recherche inversée peut également servir à obtenir des compléments d’informations sur une image. En effet, si, sur un site, la légende et les explications sont trop pauvres, on peut espérer retrouver l’image sur un autre site qui donnera des informations plus détaillées.
Les systèmes de reconnaissance sont capables d’identifier une image à partir d’un détail de celle-ci. Il est donc possible de retrouver l’image complète d’origine. Dans l’exemple ci-dessous, l’image qui a été déposée est un détail d’une photographie de cellules chlorophylliennes (image recadrée sur une seule cellule). Le nom de l’auteur (JF. CORNUET) a disparu. L’outil utilisé [4] retourne quatre résultats qui correspondent à l’image entière (mais le document d‘origine présent sur le site de SVT de Créteil n’y paraît pas !). La cellule n’est plus isolée et le nom de l’auteur est visible.

Recherche d’image inversée, un exemple pour illustrer…

Parmi les résultats proposés, les images peuvent être de qualités et de tailles différentes. C’est le cas dans notre exemple précédent : une des images est deux fois plus petite (320 X 240) que les autres. On peut donc utiliser la recherche inversée afin de trouver une image de meilleure qualité.

Les sites de recherche inversée affichent généralement dans les résultats une liste d’images similaires. Si, dans notre exemple, les propositions sont plutôt étranges, cela permet souvent de trouver une image plus adaptée à ses besoins. Cependant, les moteurs de recherche s’attachent plus aux couleurs qu’aux formes présentes sur l’image. Un fond coloré ou une couleur dominante peut totalement perturber les résultats.

Recherche d’images similaires dans le cas d’une carte muette de l’Europe. On obtient plusieurs représentations qui peuvent être mieux adaptées aux besoins de l’enseignant (carte totalement muette, avec ou sans les informations de longitude et latitude…)

Vous avez diffusé vos images, via un blog ou un site internet, via un cahier de texte numérique ou tout simplement distribuées au format papier, et vous désirez savoir si elles ont été publiées sans votre autorisation. La recherche inversée est le meilleur moyen pour découvrir les sites qui les utilisent. Une bonne méthode pour lutter contre la contrefaçon et le plagiat !

On peut détourner la recherche inversée d’images pour déterminer une espèce animale ou végétale, voire une roche [5]. Si les résultats sont parfois peu satisfaisants avec les outils de recherche génériques [6], certains sites se spécialisent dans l’identification des espèces par reconnaissance visuelle [7].
D’autres outils proposent de reconnaître des monuments, des lieux, des œuvres d’art…

À la recherche de l’origine d’un texte ? Inutile maintenant de saisir le texte au clavier dans le moteur de recherche. Une simple photo du document dactylographié [8] suffit ! Il est possible, grâce à certains services, d’obtenir le titre du livre dont est extrait le texte recherché. Si ce n’est pas le cas, le texte reconnu est alors directement envoyé sur un moteur de recherche classique, ce qui permet de retrouver éventuellement le site d’où est issu le texte ou de lancer une traduction.

* Quelques outils disponibles

** Des sites pour la reconnaissance d’images

Parmi les pionniers, le site canadien TineEye permet de faire, depuis 2008, une recherche à partir d’une image disponible sur le Net ou sur votre ordinateur. Il ne propose pas d’images similaires dans les résultats. Il est possible ensuite de comparer l’original à chaque résultat.
Un plugin est disponible [9] pour les différents navigateurs et permet par un simple clic droit sur n’importe quelle image du web d’exécuter une recherche sur TineEye.

C’est en juin 2011 qu’est sorti le service Search by image de Google [10]. Google, indexant de très nombreux sites, est capable de vous fournir généralement une réponse à votre requête, ce qui n’est pas le cas des autres sites. Parmi les résultats, le service affichera les images identiques (et les pages web correspondantes), les images similaires et d’autres pages internet susceptibles d’approfondir la recherche par le biais d’une description textuelle.
On accède au service par l’intermédiaire du site Google Images, puis en cliquant sur l’appareil photo présent dans le champ de recherche IMAGE . La recherche peut être réalisée à partir d’une image trouvée sur le Net ou présente sur l’ordinateur [11].

Lors d’une recherche classique dans Google Images, il est possible de survoler à la souris chacun des résultats pour afficher non seulement des informations supplémentaires (Nom et lien vers l’image, page web correspondante, taille, descriptif …), mais aussi rechercher les images similaires ou les différentes tailles disponibles sur le Web.

Des plugins sont disponibles pour FireFox [12]
et Chrome [13]
permettant d’ajouter la recherche inversée au clic droit de la souris sur une image d’une page web.

Pixolution semble limiter son champ de recherche à la banque d’images Fotofolia [14]. La particularité de ce site est de pouvoir combiner les images recherchées (qui peuvent être déposées par glisser-déposer) à une gamme de couleurs et une liste de mots clés.

La technologie est utilisée pour le site Akiwi qui permet, en comparant l’image téléversée aux images de la collection du site, de proposer une liste de mots clés que l’utilisateur pourra compléter. Le but de ce site est de faciliter le marquage des images [15]

Macroglossa propose d’affiner la recherche par catégories (arts, botanique , animaux…)

** Des applications pour appareils mobiles

Grâce aux outils « tout en un » que sont les appareils mobiles (tablettes et smartphones), il est possible de prendre une photo et d’effectuer aussitôt une recherche. Plusieurs applications permettent d’automatiser la capture et le lancement de la reconnaissance.

Google, encore lui, a développé une application de reconnaissance visuelle,
Goggles, capable d’identifier les œuvres d’art, les monuments, les logos, les codes barres, les étiquettes de bouteille de vin, les grilles de Sudoku (et de les résoudre, pour sa version sous Android !)… Il peut lire un texte et identifier le livre ou le site dont il est extrait et même le traduire automatiquement s’il est écrit dans une langue étrangère.

L’application (sur tablette) a reconnu, à partir d’un extrait, le livre La bulle de Tiepolo de P.Delerm

L’application, disponible dans un premier temps pour les appareils sous Android, est également utilisable sous iOS par l’intermédiaire de l’application Recherche Google [16].
Un historique permet de retrouver les précédentes recherches effectuées.

Depuis un smartphone, l’application a reconnu un extrait de L’origine des espèces malgré la mauvaise qualité de la capture. Elle propose également d’afficher le texte brut dans le navigateur...

Depuis un smartphone et malgré le manque de lumière et de précision de l’image, l’application a reconnu Darwin et propose d’afficher les résultats de la recherche correspondante.

Lookthatup, disponible pour iOS, permet de reconnaître affiches, jaquettes, œuvres d’art…mais uniquement dans la collection de sites référencés par Lookthatup [17], collection que chaque utilisateur peut enrichir après inscription sur le site. L’application permet également de partager ses recherches avec ses « amis ».

Shortcut est l’une des applications développées par Kooaba. Elle est capable de reconnaître le contenu d’articles de certains journaux et magazines et de fournir des compléments d’informations numériques. L’application fonctionne également avec les publicités et toutes images contenant le logo Shortcut.
L’application est disponible pour les mobiles sous Android ou sous iOS.

Le site Macroglossa (Voir plus haut) propose également une application disponible pour iOS et Android

** Des outils spécifiques

Le site Pl@ntNet propose un outil d’identification des plantes par similarité visuelle : Pl@ntNet-Identify. Il suffit de sélectionner, parmi les bases de connaissances, celle correspondant à la localisation géographique de l’observation : Flore de France, Feuilles d’arbres méditerranéens, Flore Européenne ou Espèces envahissantes du riz. L’utilisation du logiciel en ligne est très facile. Après importation [18] de l’image, on peut filtrer la recherche en indiquant certaines précisions taxonomiques. Pour certaines recherche, on peut déposer plusieurs photographies correspondant au port, fleur, fruit, feuille et écorce de l’espèce à déterminer, ce qui permet d’obtenir une identification plus précise... du moins, en théorie.

Une version du logiciel existe pour les appareils mobiles. PlantNet-Mobile n’est actuellement disponible que pour iOS. La recherche peut se faire à partir de la « pellicule » de l’appareil [19] ou en faisant une photographie depuis l’application. Il est possible de recadrer l’image, ce qui permet de faciliter la reconnaissance. Les résultats sont inégaux. Parfois l’identification donne la réponse en première position… parfois on obtient une liste très longue de propositions qui ne permet pas de déterminer l’espèce avec précision. En ajoutant des éléments complémentaires (par exemple la feuille de la plante), l’espèce peut disparaître des résultats… Cependant, PlantNet-Mobile reste un bon outil pour débuter l’identification d’une plante.

Blinkster est une application pour appareils mobiles (Android et iOS) donnant des informations complémentaires sur les œuvres d’art et permettant de visiter autrement les musées.

Également pour appareils mobiles (Android et iOS), l’application WordLens est un traducteur en temps réel destiné à traduire modes d’emplois, panneaux signalétiques… Aucune connexion internet n’est nécessaire.
L’application est gratuite mais nécessite l’achat de modules linguistiques. Cependant, la démo disponible sur la version gratuite permet d’apprécier le fonctionnement de l’application [20].

** Et plus encore…

*** Recherche à partir d’un croquis

Certains sites ne proposent pas d’effectuer la recherche à partir d’une photographie mais à partir d’un dessin, ou plutôt d’un croquis, que vous devez réaliser directement en ligne.
Search Google by Drawing utilise le moteur de recherche Google, alors que Retrievr exploite les images de Flickr

*** Recherche par couleurs

Pixolution permet de sélectionner les images à afficher en combinant jusqu’à 10 couleurs différentes. En ajoutant des mots clés on peut filtrer très précisément les images recherchées.

TineEye propose deux autres services expérimentaux. Multicolor Search Lab qui permet de choisir jusqu’à 5 couleurs pour sélectionner les images correspondantes (depuis la collection Alamy). On peut ici ajuster la composition en pourcentage. L’autre service, Color Extraction, extrait les couleurs de l’image que vous proposez et affiche la palette des couleurs correspondantes. Un clic sur cette palette fournit les images similaires composées avec la même palette.

Lors d’une recherche dans Google images, il est possible de filtrer les résultats en cliquant sur Outils de recherche. Les critères utilisables sont la taille, la couleur, le type d’image et la date de publication.