Crawler un site web : Le quoi, le pourquoi et le comment de l’optimisation

Crawler un site web -

Dans cet article

Crawler un site web est essentiel pour tous les types de sites, qu’ils soient grands ou petits.

Si votre contenu n’est pas crawler, vous n’avez aucune chance de gagner en visibilité sur les surfaces Google.

Voyons comment optimiser le crawling pour donner à votre contenu l’exposition qu’il mérite.

Qu’est-ce que le crawling en SEO ?

Crawler un site web - seo

Dans le contexte du référencement, crawler un site web est le processus par lequel les robots des moteurs de recherche (également connus sous le nom de web crawlers ou spiders) découvrent systématiquement le contenu de celui-ci.

Il peut s’agir de texte, d’images, de vidéos ou d’autres types de fichiers accessibles aux robots. Quel que soit le format, le contenu est exclusivement découvert par le biais de liens.

Comment fonctionne le crawling web ?

Un robot d’indexation fonctionne en découvrant des URL et en téléchargeant le contenu de la page.

Au cours de ce processus, il peut transmettre le contenu à l’index du moteur de recherche et extraire les liens vers d’autres pages web.

Ces liens se répartissent en différentes catégories :

  • Nouvelles URL inconnues du moteur de recherche.
  • Les URL connues qui ne donnent aucune indication sur le crawling seront périodiquement revisitées pour déterminer si des changements ont été apportés au contenu de la page et si l’index du moteur de recherche a besoin d’être mis à jour.
  • Les URL connues qui ont été mises à jour et qui donnent des indications claires. Elles doivent être recrawlées et réindexées, par exemple au moyen d’un sitemap XML daté du dernier module.
  • URL connues qui n’ont pas été mises à jour et qui donnent des indications claires. Elles ne doivent pas être recrawlées ou réindexées, par exemple via un en-tête de réponse HTTP 304 Not Modified.
  • URL inaccessibles qui ne peuvent ou ne doivent pas être suivies, par exemple celles qui se trouvent derrière un formulaire de connexion ou les liens bloqués par une balise robots « nofollow ».
  • Les URL interdites que les robots des moteurs de recherche ne pourront pas explorer, par exemple celles qui sont bloquées par le fichier robots.txt.

Toutes les URL autorisées seront ajoutées à une liste de pages à visiter à l’avenir, connue sous le nom de file d’attente d’exploration.

Toutefois, différents niveaux de priorité leur seront attribués.

Cela dépend non seulement de la catégorisation des liens, mais aussi d’une foule d’autres facteurs qui déterminent l’importance relative de chaque page aux yeux de chaque moteur de recherche.

La plupart des moteurs de recherche populaires ont leurs propres robots qui utilisent des algorithmes spécifiques pour déterminer ce qu’ils explorent et à quel moment. Cela signifie que tous les moteurs de recherche n’explorent pas de la même manière.

Googlebot se comporte différemment de Bingbot, Yandex Bot ou Yahoo Slurp.

Pourquoi il est important de crawler un site web ?

Crawler un site web - seo

Si une page d’un site n’est pas explorée, elle ne sera pas classée dans les résultats de recherche, car il est très peu probable qu’elle soit indexée.

Mais les raisons pour lesquelles crawler un site web est essentiel sont bien plus profondes.

La rapidité du crawling est essentielle pour les contenus à durée limitée.

Souvent, s’il n’est pas exploré et si sa visibilité n’est pas assurée rapidement, il n’est plus pertinent pour les utilisateurs.

Par exemple, le public ne sera pas intéressé par les dernières nouvelles de la semaine dernière, un événement passé ou un produit qui est maintenant en rupture de stock.

Mais même si vous ne travaillez pas dans un secteur où le délai de mise sur le marché est critique, une exploration rapide est toujours bénéfique.

Lorsque vous actualisez un article ou que vous apportez une modification importante à votre page de référencement, plus vite Googlebot l’explorera, plus vite, vous bénéficierez de l’optimisation — ou vous verrez votre erreur et pourrez revenir en arrière.

Vous ne pouvez pas échouer rapidement si Googlebot crawl lentement.

Considérez que crawler un site web est comme la pierre angulaire du SEO, votre visibilité organique dépend entièrement de sa bonne exécution sur votre site.

Mesurer l’exploration : Budget et efficacité du crawl

Contrairement à une opinion répandue, Google n’a pas pour objectif de parcourir et d’indexer l’ensemble du contenu de tous les sites web de l’internet.

L’exploration d’une page n’est pas garantie. En fait, la plupart des sites comportent une part importante de pages qui n’ont jamais été explorées par Googlebot.

Si vous voyez l’exclusion « Découvert – actuellement non indexé » dans le rapport d’indexation des pages de Google Search Console, c’est que ce problème vous concerne.

Mais si vous ne voyez pas cette exclusion, cela ne signifie pas nécessairement que vous n’avez pas de problèmes d’exploration.

Il existe une fausse idée sur les mesures qui sont significatives pour mesurer l’exploration.

L’erreur du budget d’exploration

Crawler un site web est une préoccupation courante pour les professionnels du référencement, car cela concerne le budget d’exploration. Ce budget correspond au nombre d’URL que Googlebot peut et veut explorer dans un laps de temps donné pour un site web spécifique.

Cette notion pousse à maximiser l’exploration, et elle est renforcée par le rapport sur l’état du crawl de Google Search Console, qui indique le nombre total de requêtes de crawl.

Cependant, l’idée selon laquelle un plus grand nombre d’explorations est automatiquement préférable est totalement erronée. Le nombre total d’explorations est simplement un indicateur superficiel.

Augmenter le nombre de crawls quotidiens par 10 ne garantit pas nécessairement une réindexation plus rapide des contenus qui vous intéressent. Cela entraîne simplement une charge accrue sur vos serveurs, ce qui se traduit par des coûts supplémentaires.

L’objectif ne devrait jamais consister à augmenter simplement le nombre total d’indexations, mais plutôt à obtenir des indexations de qualité qui apportent une réelle valeur ajoutée en termes de SEO.

Valeur de l’efficacité du crawl

Pour crawler un site web de manière efficace, il est essentiel de réduire le laps de temps entre la publication ou la mise à jour d’une page pertinente pour le SEO et la prochaine visite de Googlebot. Ce délai est directement lié à l’efficacité du crawl.

Afin de mesurer cette efficacité, il est recommandé d’extraire la valeur de la date de création ou de mise à jour à partir de la base de données, puis de la comparer avec l’horodatage de la prochaine exploration de l’URL par Googlebot, tel qu’enregistré dans les fichiers journaux du serveur.

Si cette comparaison n’est pas réalisable, une alternative consiste à utiliser la date lastmod présente dans les sitemaps XML. Dans ce cas, il est possible d’interroger périodiquement les URL correspondantes à l’aide de l’API d’inspection des URL de la Search Console jusqu’à ce qu’elle renvoie l’état du dernier crawl.

En quantifiant le laps de temps entre la publication et le crawl, il devient possible de mesurer l’impact réel des optimisations du crawl en utilisant une mesure significative.

À mesure que l’efficacité du crawl diminue, la visibilité rapide du contenu nouveau ou mis à jour, qui est pertinent pour le SEO, est compromise sur les plateformes Google.

Si l’indice d’efficacité du crawl de votre site indique que Googlebot met trop de temps à visiter les contenus importants, il est important d’identifier des mesures d’optimisation du crawl.

Soutien des moteurs de recherche pour le crawling

Ces dernières années, il y a eu beaucoup de discussions sur l’amélioration du processus de crawler un site web de la part des moteurs de recherche et de leurs partenaires.

En effet, cela présente un intérêt majeur pour eux. En améliorant l’efficacité de l’exploration, ils peuvent non seulement accéder à un contenu de meilleure qualité pour alimenter leurs résultats, mais aussi contribuer à la réduction des émissions de gaz à effet de serre au sein de l’écosystème mondial.

La plupart des discussions se sont concentrées sur deux API conçues pour optimiser le crawl.

L’idée sous-jacente est que, plutôt que de laisser les robots des moteurs de recherche décider des pages à explorer, les sites web peuvent directement envoyer les URL pertinentes aux moteurs de recherche via une API dédiée pour initier le processus d’exploration.

En théorie, cela permet non seulement d’indexer plus rapidement le contenu le plus récent, mais également de supprimer efficacement les anciennes URL, ce qui n’est pas bien pris en charge par les moteurs de recherche actuellement.

Soutien d’IndexNow en dehors de Google

La première API est IndexNow. Elle est prise en charge par Bing, Yandex et Seznam, mais surtout pas par Google. Elle est également intégrée dans de nombreux outils SEO, CRM et CDN, ce qui réduit potentiellement l’effort de développement nécessaire pour tirer parti d’IndexNow.

Cela peut sembler être une victoire rapide pour le référencement, mais soyez prudent.

Une part importante de votre public cible utilise-t-elle les moteurs de recherche pris en charge par IndexNow ? Si ce n’est pas le cas, déclencher des crawls à partir de leurs bots peut peut-êtreêtre d’une valeur limitée.

Mais surtout, évaluez l’impact de l’intégration d’IndexNow sur le poids du serveur par rapport à l’amélioration du score d’efficacité du crawl pour ces moteurs de recherche. Il se peut que les coûts ne soient pas à la hauteur des avantages.

Assistance de Google à partir de l’API d’indexation

La seconde est l’API d’indexation de Google. Google a déclaré à plusieurs reprises que l’API ne pouvait être utilisée que pour explorer les pages contenant des balises d’offres d’emploi ou de diffusion d’événements. De nombreuses personnes ont testé cette affirmation et prouvé qu’elle était fausse.

En soumettant des URL non conformes à l’API d’indexation de Google, vous constaterez une augmentation significative de l’exploration. Mais c’est le cas parfait pour expliquer pourquoi « l’optimisation du budget de crawl » et les décisions basées sur la quantité de crawl sont mal conçues.

En effet, pour les URL non conformes, la soumission n’a aucun impact sur l’indexation. Et quand on y réfléchit bien, c’est tout à fait logique.

Vous ne faites que soumettre une URL. Google explorera rapidement la page pour vérifier si elle contient les données structurées spécifiées.

Si c’est le cas, il accélérera l’indexation. Si ce n’est pas le cas, ce n’est pas le cas. Google n’en tiendra pas compte.

Ainsi, appeler l’API pour des pages non conformes ne fait rien d’autre que d’ajouter une charge inutile sur votre serveur et de gaspiller des ressources de développement pour rien.

Assistance de Google dans Google Search Console

Une manière supplémentaire de crawler un site web est la soumission manuelle dans Google Search Console.

La plupart des URL soumises de cette manière seront explorées et verront leur statut d’indexation modifié dans l’heure qui suit. Cependant, il y a une limite de quota de 10 URL en 24 heures, ce qui limite l’échelle de cette approche.

Néanmoins, cela ne signifie pas qu’il faut négliger cette méthode.

Vous pouvez automatiser la soumission des URL prioritaires en utilisant des scripts qui reproduisent les actions des utilisateurs, accélérant ainsi l’exploration et l’indexation de ces URL spécifiques.

Enfin, pour ceux qui espèrent que le simple fait de cliquer sur le bouton « Valider la correction » sur les exclusions « découvertes non indexées actuellement » déclenchera le crawl, dans mes tests jusqu’à présent, cela n’a eu aucun effet pour accélérer l’exploration.

Comment obtenir un crawl efficace du site

Cinq tactiques peuvent faire la différence en matière d’efficacité du crawl.

1. Assurer une réponse rapide et saine du serveur

Il est essentiel que le serveur soit très performant. Il doit être capable de gérer la quantité d’explorations que Googlebot souhaite effectuer sans que cela ait un impact négatif sur le temps de réponse du serveur ou qu’il y ait des erreurs.

crawler un site web search console

Vérifiez que le statut de l’hôte de votre site est vert dans Google Search Console, que les erreurs 5xx sont inférieures à 1 % et que les temps de réponse du serveur sont inférieurs à 300 millisecondes.

2. Supprimer le contenu sans valeur

Lorsqu’il y a une importante quantité de contenu de faible qualité, obsolète ou dupliqué, cela détourne les robots d’indexation de crawler un site web correctement.

Pour commencer à remédier à cette situation, il est recommandé de consulter le rapport des pages de la Search Console de Google et de vérifier la présence de l’exclusion « Crawled – actuellement non indexé ».

Dans cet exemple, il faut rechercher des modèles de dossiers ou d’autres signaux indiquant des problèmes potentiels. Si de tels problèmes sont identifiés, il convient de les résoudre en fusionnant les contenus similaires à l’aide d’une redirection 301 ou en supprimant les contenus par une redirection 404, selon la situation.

3. Indiquer à Googlebot ce qu’il ne doit pas explorer

Si les liens « rel=canonical » et les balises « no index » sont efficaces pour maintenir l’index Google de votre site web propre, ils vous coûtent cher en termes d’exploration.

Bien que cela soit parfois nécessaire, demandez-vous si ces pages ont besoin d’être explorées en premier lieu. Si ce n’est pas le cas, arrêtez Google au stade de l’exploration avec un robot.txt disallow.

Trouvez les cas où il est préférable de bloquer le robot d’exploration plutôt que de lui donner des instructions d’indexation en recherchant dans le rapport de couverture de Google Search Console les exclusions de canoniques ou de balises noindex.

Examinez également l’échantillon d’URL « indexées, non soumises dans le sitemap » et « découvertes – actuellement non indexées » dans Google Search Console. Trouvez et bloquez les itinéraires non pertinents pour le référencement, tels que :

  • Les pages de paramètres, telles que ?sort=oldest.
  • Pages fonctionnelles, telles que « panier d’achat ».
  • Les espaces infinis, tels que ceux créés par les pages de calendrier.
  • Images, scripts ou fichiers de style sans importance.
  • les URL d’API.


Vous devez également examiner l’impact de votre stratégie de pagination sur le crawl.

4. Indiquer à Googlebot ce qu’il doit explorer et à quel moment

Un sitemap XML optimisé est un outil essentiel pour crawler un site web de manière efficace. Il permet de guider Googlebot vers les URL pertinentes pour le référencement.

Optimisé signifie qu’il est mis à jour dynamiquement avec un délai minimal et qu’il inclut la date et l’heure de la dernière modification afin d’informer les moteurs de recherche de la date de la dernière modification significative de la page et de la nécessité de l’explorer à nouveau.

Les liens internes, en revanche, sont relativement faciles à mettre à l’échelle et ont un impact positif significatif sur l’efficacité du crawl.

5. Favoriser l’exploration par des liens internes

Nous sommes conscients que crawler un site web ne peut se faire que par le biais de liens. Les sitemaps XML sont un bon point de départ, les liens externes sont puissants, mais difficiles à construire en masse et en qualité.

Accordez une attention particulière à la navigation mobile sur l’ensemble du site, aux fils d’Ariane, aux filtres rapides et aux liens vers des contenus connexes, en veillant à ce qu’aucun d’entre eux ne dépende de JavaScript.

Optimiser l’exploration des sites web

Pour optimiser l’exploration des sites, il est crucial de comprendre comment crawler un site web de manière efficace. En utilisant des techniques telles que l’optimisation des sitemaps XML, la gestion des liens internes et externes, ainsi que l’attention portée à la navigation mobile et aux éléments de contenu connexes, vous pouvez améliorer significativement l’efficacité du crawl et l’indexation de votre site web.

Si vous souhaitez améliorer l’exploration et le SEO de votre site web, faites appel à notre agence SEO.

Dernières actualités

Newsletter

Pas de spam, uniquement des astuces Webmarketing !

Partager

[Hello Code]

Articles récents

Illustration sur fond coral : une carte « Claude AI » et une carte « Google Search Console » reliées par une prise branchée, symbolisant la connexion entre les deux outils Search console MCP
Search Console MCP : Connecter Claude AI en 5 étapes
Le Search Console MCP permet d’interroger Claude directement sur les données d’une propriété...
Lire plus
Illustration sur fond jaune : une carte « Claude AI » et une carte « Google Analytics 4 » reliées par une prise branchée, symbolisant la connexion entre les deux outils.
GA4 MCP : Connecter Claude à Google Analytics en 5 étapes
Le GA4 MCP permet d’interroger Claude directement sur les données d’une propriété Google...
Lire plus
Elementor MCP
Elementor MCP : Comment connecter Claude AI à WordPress ?
Vous avez lu qu’une IA peut désormais construire un site WordPress toute seule et vous vous demandez...
Lire plus