Comment optimiser son crawl budget pour le SEO ?

Tout éditeur de site cherchant à optimiser et pérenniser sa stratégie SEO sera forcément confronté, un jour ou l’autre, à la notion de crawl budget seo (en français, les termes s’inversent : l’on parle de budget crawl). Recreasoft vous dit tout sur cette notion qui peut paraître obscure aux néophytes et qui, pourtant, est fondamentale dans le domaine du référencement naturel.

Qu’est-ce que le crawl budget seo ?

Il est difficile de traduire avec exactitude le terme crawl budget. Littéralement, il signifie « budget d’exploration ». Pour bien comprendre de quoi il s’agit, il faut rappeler les mécanismes de crawl des moteurs de recherche, c’est-à-dire la manière dont les robots d’exploration (« spiders » ou « bots ») scannent le contenu d’une page. Le crawl budget seo désigne le nombre maximal de pages que les robots d’indexation explorent quotidiennement sur un site donné. Le nombre de pages peut varier légèrement d'un jour à l'autre mais reste globalement identique.

Il faut savoir que les « bots » ne passent pas à la même fréquence sur les différents sites web. Le nombre de pages explorées par jour, votre « budget », dépend de plusieurs critères, notamment :

- le nombre de backlinks pointant vers votre site

- la taille et le nombre de pages de votre site

- les erreurs d’exploration générées (pages 404)

Pourquoi le crawl budget est si important en référencement ?

Lorsque vous apportez des modifications à votre site web (ajout de pages de contenus ou de balises, optimisations techniques), vous souhaitez que celles-ci soient rapidement prises en compte par les moteurs de recherche comme Google. Or, les robots d’indexation peuvent mettre plusieurs semaines à détecter et indexer de nouvelles pages !

Comment optimiser le crawl budget seo ?

En premier lieu il est important de connaître avec précision votre crawl budget afin de déterminer de quelle manière celui-ci peut être optimisé. Vous pouvez accéder à cette donnée dans Google Search Console. Cliquez sur le lien « exploration », puis « statistiques sur l’exploration ». Vous pouvez visualiser l’activité des GoogleBots durant les derniers 90 jours et savoir combien de pages sont explorées en moyenne sur votre site. Découvrez les différentes actions à mettre en place pour améliorer votre crawl budget :

Limitez, voire supprimez les erreurs d’exploration

Plus votre site contient de pages consultables, plus votre crawl budget sera important. Il est donc indispensable de repérer et de supprimer les liens « morts » c’est-à-dire qui mènent à des pages disparues ou déplacées et génèrent une erreur 404. Vous pouvez retrouver la liste des pages concernées dans l’onglet « Erreurs d’exploration » de la Search Console.

Paramétrez le fichier robots.txt

Celui-ci doit être paramétré de manière à ne pas entraver l’exploration des robots des moteurs de recherche. Utilisez l’outil de test de Search Console afin de détecter d’éventuelles erreurs. Si vous ne souhaitez pas qu’une page ou qu’un ensemble de pages soient prises en compte par Google, utilisez la fonction Disallow dans votre fichier Robots.txt en ajoutant les URL des pages concernées. Attention : malgré l’interdiction, les pages peuvent tout de même être indexées. Utilisez la balise meta no index sur les pages concernées pour plus d’efficacité.

N’abusez pas des redirections permanentes

Les redirections 301 en chaîne peuvent générer des erreurs ou des difficultés d’exploration. Généralement, les robots d’indexation ne parviennent pas à consulter une page si son URL est redirigée plus de deux fois d’affilé.

Soignez votre sitemap

Le meilleur moyen d’obtenir un budget crawl conséquent est, tout simplement, d’aider les robots d’indexation à comprendre l’architecture de votre site web. Pour ce faire, il vous suffit de générer un sitemap XML parfaitement lisible et fidèle à la navigation de votre site. Il est nécessaire de générer un nouveau sitemap à chaque fois que vous apportez des modifications structurelles importantes à votre site. Veillez à nettoyer régulièrement votre plan de site en supprimant les informations redondantes ou inutiles ainsi que les pages bloquées. Un sitemap ne devrait jamais dépasser 50 000 urls ; le cas échéant, il doit être segmenté. N’oubliez pas d’envoyer régulièrement votre sitemap actualisé par le biais de l’outil Search Console.

Corrigez votre stratégie de liens

Pour optimiser votre crawl budget seo, il est aussi important de mettre en place des backlinks de qualité. La raison est simple : des liens émanant de sources notoires et crédibles redirigent régulièrement les robots d’indexation vers vos propres pages. Vous bénéficiez ainsi indirectement de la fréquence d’exploration élevée d’un site important.

Améliorez la vitesse de chargement de vos pages

Des pages qui se chargent trop lentement sont non seulement décourageantes pour vos utilisateurs mais également pour les « spiders ». Chaque robot d’indexation ne peut accorder qu’un temps limité à l’exploration d’une page donnée (en général 500 ms). Plus vos pages se chargent rapidement, plus les « bots » peuvent accéder aux informations essentielles et crawler vos contenus en profondeur. Pour savoir si le temps de chargement de votre site répond aux exigences de Google, vous pouvez utiliser l’outil Page Speed insights.

Définissez des paramètres concernant les URL dynamiques

Si vous utilisez des URL dynamiques (dans le cadre de campagnes publicitaires, par exemple), vous devez absolument en faire mention dans les paramètres d’URL de Search Console. Les robots d’indexation qui explorent les URL dynamiques traitent plusieurs fois la même page, ce qui engendre une perte de temps considérable.

Pour conclure, l'optimisation du crawl budget est l’une des composantes essentielles de toute stratégie SEO. Celle-ci demande des compétences techniques adaptées mais peut apporter de réelles améliorations. D’autant plus que faciliter l’exploration de votre site est non seulement bénéfique pour les robots d’indexation, mais également pour vos visiteurs. Des actions telles que l’optimisation de la vitesse de chargement des pages ou la génération de plans de sites contribuent à fidéliser votre audience.

Demandez votre devis gratuit pour l'optimisation du budget crawl votre site. Cette prestation inclut le crawl de votre site par nos propres robots ainsi que l'analyse de vos logs et s'adresse à des sites ayant plusieurs milliers de pages au minimum.