Les robots de Google à l’assaut d’AJAX

Marie Jung

01net.

le 08/10/2009 à 18h00

6 réactions

envoyer
par mail

imprimer
l'article

Pour le référencement d'un site Web, il n'y a pas que le Flash qui pose problème. Les robots de Google n'apprécient pas non plus le JavaScript et donc pas l'AJAX (Asynchronous JavaScript and XML).

Une aubaine pour certains, comme l'explique Jean-Michel De Sousa, expert en référencement chez Sartepenso : « Certains spammers utilisent ce défaut pour rendre invisibles certaines parties de sites » et donc faire passer un site pour ce qu'il n'est pas.

Mais un casse-tête pour la plupart, comme le précise Olivier Duffez, consultant chez Webrankexpert. « Je déconseille fortement l'utilisation d'AJAX sur les parties qui génèrent du contenu. Il doit être réservé aux couches qui améliorent l'expérience utilisateurs. » Et de poursuivre : « Le code JavaScript est pris en compte par Google tant qu'il est assez simple, notamment lorsqu'il contient des liens vers des pages Web. Mais il devient vite inaccessible aux robots des moteurs de recherche. »

Un changement de la syntaxe des URLs

Pour rendre AJAX visible par ses robots, Google, sur l'un de ses blogs officiels, fait une proposition technique ouverte à la communauté du Web  : en l'occurence, changer la syntaxe de certaines URL. Et notamment celles utilisant l'ancre « # ». Celle-ci est traditionnellement utilisée par les webmasters pour indiquer un paragraphe précis d'une page Web, lors de la création d'un sommaire, notamment. Mais elle est aussi utilisé pour le passage de certains paramètres dans des fonctions JavaScript, et les robots du moteur de recherche ont du mal à les interpréter.

Google propose d'ajouter le signe « ! » en complément du caractère « # », pour les pages Web qui contiennent du code AJAX  Au moment de l'exploration des sites, les robots de Google remplaceraient le « ! » dans les URL par un tag _escaped_fragment_.

Ce tag serait une façon d'indiquer au serveur Web du site visité qu'il est interrogé par un robot d'indexation et qu'il doit, dans ce cas, envoyer du code HTML en lieu et place du JavaScript. Lors d'une requête effectuée par un utilisateur standard (qui ne contiendrait pas ce tag), le serveur continuerait à retourner la page originale, le code JavaScript étant exécuté côté client par le navigateur de l'utilisateur. Les serveurs des moteurs de recherche pourraient eux-mêmes se charger de l’exécution du JavaScript, mais Google n’envisage pas cette option, la qualifiant de trop gourmande en temps de calcul, et défavorable aux petits moteurs de recherche.

Si cette proposition était acceptée, il faudrait donc rajouter des points d'exclamation à certaines URL des sites et faire en sorte que les serveurs puissent interpréter le paramètre _escaped_fragment_.

Le référencement, un art subtil

« A l'inverse, il faudra aussi se méfier des parties de sites qui jusqu'ici étaient invisibles par défaut et qui seraient indexées dans le futur, comme la gestion des paniers sur les sites marchands. Par exemple, en utilisant le code JavaScript dans des fichiers .js et en indiquant dans le fichier robot.txt de ne pas crawler les fichiers », explique Olivier Duffez.

Pour l'instant, les sites web confrontés au problème choisissent de générer des pages HTML en doublon pour l'indexation ou de réserver le code JavaScript aux parties du site qui n'ont pas besoin d'être référencées. Ce que confirme Elie Auvray, PDG de Jahia. « Les interfaces d'édition et de gestion repose sur AjAX. Mais lorsque l'on passe en mode consultation, Jahia envoie au navigateur du visiteur de l'HTML tout à fait classique. Même lorsque la page générée présente de l'interaction, comme la possibilité de poster un commentaire. »