Newsletter Novalem Actualités et Tendances SEO-SEA !

Crawl des pages profondes : enjeux, obstacles et solutions

Pour référencer un site web, les moteurs de recherche crawlent les pages de celui-ci. Retrouvez tout ce que vous devez savoir à ce sujet dans cet article !
Auteur
Solenn Bourgin
Experte éditoriale

Pour référencer un site web, les moteurs de recherche crawlent les pages de celui-ci. Cela signifie qu’ils parcourent les pages et suivent les liens rencontrés afin de découvrir l’ensemble du site. Or, l’analyse des logs serveur permet de tirer un double constat : 1. sur la plupart des sites, certaines pages ne sont que rarement crawlées, ou pas du tout, et 2. il s’agit souvent de pages profondes (accessibles depuis la page d’accueil via au moins 3 clics).

Le comportement des robots d’indexation (aussi appelés « spiders ») est tout à fait logique : les pages les moins faciles d’accès pour l’internaute sont considérées comme peu importantes. On comprend donc aisément pourquoi elles ne sont que peu crawlées. C’est notamment le cas des pages rarement mises à jour.

L’absence ou la raréfaction du crawl a une conséquence majeure : une page jamais crawlée ne peut pas être indexée, une page rarement crawlée ne dispose que d’un faible potentiel de positionnement. Ceci pose un problème lorsque les pages les plus profondes sont des pages stratégiques. C’est souvent le cas des sites e-commerces : les pages « produit » sont souvent des pages profondes, dépendantes des pages de descente, et donc situées aux niveaux inférieurs de l’arborescence. Enjeu crucial, car ces pages présentent par définition un fort potentiel de conversion : il est important de les positionner sur des mots-clés qualifiés !

Une fois ces constats établis, il est primordial de se poser plusieurs questions : qu’empêche le crawl des pages profondes ? Une fois ces éléments connus, comment peut-on le favoriser ?

Crawl des pages profondes : une antinomie ?

La capacité de crawl des robots d’indexation est limitée. Si Google voulait crawler toutes les URLs de son index une fois tous les 3 mois, il lui faudrait crawler 700 millions de pages par seconde. Google doit donc faire des choix : prioriser les sites, et une fois sur un site, prioriser les URLs qu’il doit crawler. Il privilégiera naturellement les pages de niveau supérieur.

Est-ce à dire qu’une page profonde ne peut pas se positionner dans les résultats des moteurs de recherche ? Non ! D’une part, certains défauts fréquemment rencontrés sur des sites web nuisent à la profondeur du crawl. D’autre part, certaines astuces permettent d’encourager le crawl de certaines pages en particulier.

Favoriser le crawl des pages profondes en 2 étapes

Encourager le crawl de l’ensemble des pages du site

Le volume de crawl accordé par un moteur de recherche n’est pas infini. Il est donc essentiel de s’assurer que celui-ci crawle bien toutes les pages utiles du site, et ne s’attarde pas sur les pages de moindre importance. Pour cela, il faut :

Mettre en valeur les pages profondes grâce au maillage interne

Afin de permettre aux robots d’indexation de découvrir toutes les pages du site, il convient de s’assurer que la navigation du site permet bien d’accéder à l’ensemble des pages du site, par l’intermédiaire de liens hypertextes. Pour cela, il faut :

  1. Identifiez une page ou plusieurs pages du même thème que la page que vous souhaitez positionner, situées à un niveau supérieur dans la navigation
  2. Parmi ces pages, choisissez la page la plus visitée et/ou la plus populaire
  3. Choisissez une ancre de manière judicieuse : le libellé cliquable du lien doit dans l’idéal contenir les mots-clés jugés importants

Sur un site e-commerce, on peut par exemple créer des listes de fiches produits ou de familles de produits, déployées sur la page d’accueil : « sélection d’articles », « meilleures ventes »…

selection-fnac

Sur fnac.com : pages « produit » de niveau 5 dans l’arborescence, rendues accessibles à partir de la page d’accueil. Dispositif idéal si l’on souhaite mettre en valeur certaines pages en particulier.

produits-pour-animaux

 

Sur amazon.fr : l’intégralité des familles et sous-familles de produits sont accessibles depuis une seule page de descente. Entre la page d’accueil et une sous-famille de produits, seuls deux clics sont nécessaires ! Ce dispositif est idéal si l’on souhaite encourager le crawl sur une partie importante des pages profondes d’un site.

NB : Attention, les liens placés dans le footer n’ont pas un poids aussi important que les liens placés au sein même des contenus.

Newsletter Juin 2015