Comparaison de moteurs de recherche

Le site “Technologies du langage” vient de publier le résultat d’une étude réalisée par des étudiants d’Aix en Provence autour de six moteurs de recherche Google, Yahoo et MSN, ainsi que trois moteurs français, Exalead, Voilà et Dir.com. Sur 14 thèmes retenus 5 requêtes ont été lancées pour examiner les dix prmeiers résultats, soit un échantillon significatif de 4200 réponses. L’étude complète est disponible ici . On ne dévoilera pas le nom du gagnant, il suffira de le découvrir ici au format pdf. On y lira également les règles d’évaluation.

Saluons ce travail intéressant comme il le mérite: ce genre d’étude est plutôt rare et celle-ci est visiblement de qualité. Après avoir noté que “le but n’était pas d’évaluer une utilisation par des experts, mais par un public de base, raisonnablement éduqué et familier des moteurs de recherche” formulons quelques remarques autour de certaines conclusions.

“Rien dans cette étude ne permet d’expliquer la préférence massive des internautes pour le moteur Google, puisque, globalement Google et Yahoo ont des performances à peu près équivalentes”.

En effet si le but est d’identifier le “Graal” des moteurs la conclusion est plutôt décevante. Mais est-ce la bonne direction, même en dehors de toute approche d’expert ?
Il suffit d’envoyer une des requêtes du thème “actualités” qui était “abbé Pierre” célibat prêtres sur le moteur de comparaison expérimental langreiter pour comprendre que c’est du pareil au même.
. Au passage apprécier le clin d’oeil qui consiste à comparer les resultats sur Google.com et sur Google.cn (Chine)!

Une autre requête du thème “actualités” était “grippe aviaire” danger Europe, sujet d’actualité s’il en est. En relançant aujourd’hui la requête il est facile de constater que les réponses sont devenues globalement intéressantes, alors que la crise a atteint notre pays. La requête sur le méta-moteur Dogpile est révélatrice:
Le mode graphique montre que les résultats sont dispersés (chaque moteur est différent) alors que le méta-moteur fait une sorte de synthèse (?).

ce qui se vérifie dans la page de résultats

La seule conclusion est évidemment que ce qui était vrai hier ne l’est plus aujourd’hui. La précision de l’outil semble avoir changé alors que c’est uniquement la masse d’information qui a évolué. Ce qui était apparenté à la recherche d’un signal faible (hier) devient aujourd’hui se fait toujours dans un environnement où il y a beaucoup d’informations pertinentes. Aujourd’hui on dispose d’une masse plus importante de contenu sur le sujet “grippe aviaire” danger Europe et le résultat n’en est que meilleur.

A propos du critère de pertinence:

“le résultat sans doute le plus frappant est le degré de satisfaction très médiocre des utilisateurs”.

Sans entamer un débat sur ce qu’il faut entendre par “pertinence”, il me semble qu’il faut réaliser que la notion de pertinence ne peut pas s’analyser de la même façon sur Google et sur Exalead. Ce dernier possède (il n’est pas le seul) une dimension que le premier n’a pas: la capacité a extraire des concepts de la masse des résultats pour la présenter sous forme de catégories.
Dès lors, la comparaison est difficile. Un moteur capable de catégorisation apporte en effet un avantage décisif, comme je l’ai décrit dans ce billet à partir de ma propre expérience.

Il me semble que rechercher le moteur qui serait LE moteur est un peu une voie sans issue, d’un point de vue pratique. Il est évidemment intéressant de comprendre les logiques de fonctionnement de ces outils pour en faire le meilleur usage. Voilà , le mot est prononcé! En effet la recherche du bon usage me semble un enjeu majeur à propos duquel il convient d’éduquer. L’information recherchée résulte de l’action d’un chercheur (l’acteur) et d’un trouveur (le moteur). Et il est autant important de former le premier à comprendre ce qu’il fait, à définir ses objectifs que de perfectionner le moteur. Apprendre à choisir le bon moteur pour une recherche d’un certain type est une démarche de formation essentielle. C’est celle que je pratique dans mes interventions car c’est cela que les acteurs de l’entreprise attendent.

Reprenons le cas de “grippe aviaire” danger Europe. Plutôt que de choisir uniquement parmi les six moteurs on pourrait se demander comment optimiser les résultats en choisissant le moteur le plus pertinent compte tenu du thème . Or on dispose d’outils qui répondent à cette question. Par exemple voici ce que répond GoshMe:

Et la première suggestion (le moteur scientifique Scirus) est extrêment pertinente
.

En conclusion, remercions les auteurs de cette étude de l’avoir conduite et de nous en présenter les résultats. En même temps nuançons les enseignements pour faire comprendre aux utilisateurs qu’ils ne peuvent faire reposer la qualité de leurs « trouvailles »entièrement sur l’un ou l’autre moteur qui serait réputé le meilleur. La qualité de leur recherche dépend largement de la stratégie adoptée et cela suppose un peu de formation et de réflexion de leur part.