Plus une page est crawlée, plus elle a de l’importance pour Google.
Ou le contraire…
Les deux en fait !
Bref, il y a corrélation.
Si en plus votre page est régulièrement mise à jour, alors Google l’aimera encore plus.
Alors pourquoi optimiser le crawl en référencement naturel ? Et comment l’optimiser ?
Optimiser le crawl SEO d’un site web pour donner de l’importance aux pages importantes
Tout est dans le titre ! Vos pages importantes doivent, dans l’idéal, être facilement et régulièrement crawlées. Pourquoi ? Parce que c’est signe de bonne santé.
Pas le temps ? Pour faire court, voici des éléments pour apprendre comment optimiser le crawl des pages de votre site internet par Google :
- Le fichier robots.txt
- Le sitemap XML
- Les liens internes
- Les liens externes
- La vitesse du site
- La quantité de pages
- La fréquence des mises à jour
Je vais développer chaque point ci-après.
Le fichier robots.txt : il permet de donner des directives aux… robots d’exploration.
C’est le premier fichier téléchargé par les moteurs de recherche quand ils consultent un site. Le fichier robots.txt permet en effet de donner des instructions et directives aux Google Bot & compagnie.
Utilisez-le notamment pour indiquer quelles sont les pages et dossiers auxquels le moteur de recherche ne doit pas accéder, via la commande :
Disallow: /nom-du-dossier/nom-du-fichier.html
Disallow: /nom-dun-autre-dossier/
Google ne crawlera pas ces pages.
Le “budget de crawl” des spiders/crawlers étant limité (j’y reviendrai, c’est un concept intéressant à développer), bloquez leur l’accès aux pages inutiles, comme par exemple :
- des pages inutiles pour le SEO comme les CGV par exemple
- les pages de navigation à facettes pour les sites e-commerce, qui créent un grand nombre de pages peu pertinentes pour Google
Ils auront alors plus de ressources à attribuer pour consulter les autres pages du site.
Le sitemap XML : le premier document que Google a en main pour découvrir la structure de votre site !
Le sitemap XML, un fichier super pratique ! L’idée de ce fichier (créé par Google, repris par les autres moteurs de recherche) est de lister les pages du site à crawler (et il est même possible d’y indiquer leur importance et qq autres informations, comme la date de mise à jour).
Avez-vous vraiment besoin de mettre vos mentions légales dans votre fichier sitemap XML ? Je doute que cette page soit importante… Tenez-en donc compte quand vous créerez ou contrôlerez ces documents.
D’ailleurs vous pouvez même indiquer leur emplacement dans le fichier robots.txt
Les liens internes : vos pages importantes doivent être + linkées que les autres
C’est logique !
Les pages présentant vos produits ou services principaux doivent être rapidement accessibles, plus mises en valeur par rapport aux autres pages.
A ce propos, il y a de nombreuses stratégies possibles. L’une d’entre elles, très connue, s’appelle le cocon sémantique et permet de renforcer les pages importantes en développant des sous pages qui renforcent le champ sémantique (c’est TRÈS simplifié) et en contrôlant soigneusement les liens entre elles.
D’une manière générale : liez vos pages de manière logique et intelligente. Guidez vos visiteurs ! (et, pour le positionnement mais aussi pour l’utilisabilité : optimisez vos ancres).
Éliminez aussi toute complication, du genre redirections permanentes ou temporaires, pages inaccessibles etc. Ne faites pas perdre du temps au Google Bot.
Une idée, si vous avez un très grand nombre de pages, est de réaliser des pages thématiques fortes, pour mettre en avant vos produits/services les plus importants. Des liens vers ces pages pourront alors être disposés sur de nombreuses pages (en faisant varier les ancres, c’est encore mieux).
Les liens externes : la puissance du web !
Une page orpheline sur votre site, très liée par d’autres sites, aurait toutes ses chances de se positionner. Les backlinks ont en effet cet effet, pourtant externe, qui permet de donner du poids à une page, indépendamment de son accessibilité dans le site.
Non, vraiment, les liens, non seulement ça marche mais ça permet, justement, d’envoyer du jus (“link-juice”) vers les pages importantes. De la popularité et de la crédibilité quoi…
Même une page profonde (avec un nombre de clics élevés par rapport à la page d’accueil) pourrait donc tout à fait se positionner et prendre de l’importance si, justement, elle avait des liens externes (d’autres sites) pointants vers elle.
Alors imaginez un lien sur un site thématique régulièrement visité par vos cibles pointant vers une page importante de votre site, genre une offre ? Si en plus l’ancre est optimisée, alors ça envoie du lourd côté SEO !
Multipliez vos liens externes, et les pages de votre site seront plus souvent crawlées.
Vitesse du site : rendez le contenu de vos pages facilement et rapidement accessible
Il y a plusieurs années, il existait de nombreux freins à l’indexation, c’est à dire à la compréhension du contenu des pages par les moteurs de recherche, pour ensuite les référencer dans son index.
Les sites en Flash étaient une horreur ! (C’était comme une blague par rapport aux règles d’accessibilité). Et avant ça, il y a même eu les sites avec des frames… Terrible pour l’UX et le SEO.
De nos jours, les freins principaux sont des hébergeurs pas assez performants, des optimisations non effectuées, des thèmes lourds, des sites avec trop de JavaScript etc.
Un conseil : faites simple !
Un code léger, facile à interpréter, sans fioritures…
Et le cache. C’est bien le cache ! C’est important ! ça permet vraiment d’optimiser la vitesse d’un site internet en permettant de sauvegarder des requêtes (les pages sont précompilées).
Et, punaise, les images quoi ! C’est tout bête, mais n’envoyez pas une image de 4Mo pour 640px X 480px. Il existe tellement d’outils pour ça…
Nan, vraiment : si vos pages sont rapides à s’afficher / se télécharger, Google passera plus de temps sur votre site (ou en perdra moins, c’est selon le point de vue).
Quantité de pages : donner à manger à Google
Google crawle rarement la totalité d’un site en une fois (à moins qu’il soit minuscule).
Il détermine en avance et sur le moment du nombre de pages à crawler, et ceci dépend de nombreux critères.
Le nombre de pages déjà dans son index, le nombre de nouvelles pages, de pages mises à jour et les liens qui y sont présents sont autant de façons de stimuler l’appétit de Google.
Ainsi, d’une manière générale, plus un site a de pages, et plus il aura un nombre important de pages crawlées (en comparaison d’un petit site).
Mais gardez une chose en tête : une portion du PageRank d’une page (sa “puissance”, son “link juice”) est redistribué vers les pages qu’elle lie. Ainsi, bien choisir les liens internes et leur quantité est important pour donner du poids aux bonnes pages (cf : chapitre sur les liens internes).
Fréquence de mises à jour : Google adore les contenus régulièrement mis à jour !
Par exemple, si vous avez une page de référence sur un sujet, et que de nouvelles informations viennent contredire, affirmer ou augmenter les informations que vous avez publié, mettez votre page à jour ! Google adorera ! ça lui permettra de mettre à jour son index, et, suscitant son appétit de goinfre, l’incitera à revenir bientôt.
Prenez l’exemple suivant : la requête “Johnny Halliday”. Google a tout intérêt à ne pas mettre en avant des résultats qui pourraient indiquer que l’icône du rock est encore en vie.
Ce critère est d’ailleurs pris en compte dans le calcul du PageRank (je ne parle pas de Johnny mais de la fréquence de mise à jour des pages – Attention : c’est pas une raison pour ajouter la date et l’heure !!).
Du coup, ce qu’il y a à retenir, c’est qu’un site se maintient à jour, constamment, tout au long de sa vie.
Faites le vivre !
Conclusion : maîtrisez votre crawl pour donner du poids à vos pages les plus importantes
Acquérir des visiteurs n’est déjà pas une chose facile, alors il est important de les guider vers vos pages les plus importantes.
Alors il y a bien sûr des aspects purement SEO à prendre en compte (présentés dans cet article), mais l’ergonomie n’est pas à négliger. En effet : donnez de la visibilité à vos pages stratégiques !
(Image : SearchEngineJournal.com)
Laisser un commentaire