C'est quoi le budget crawl?
Nous avons vu ce qu'est le crawl en SEO, quant à lui le budget crawl ou budget d'exploration en mauvais français représente le nombre de pages de votre site que les robots de Google acceptent d'explorer par jour.
Google dépense énormément d'énergie pour parcourir l'ensemble des sites web et qui dit consommation énergie dit coût.
C'est pourquoi pour chaque site Google détermine le budget alloué par jour à son exploration.
Ce budget crawl va fortement dépendre de la taille et la qualité générale de votre site. Plus votre site comporte de pages, plus vos pages sont jugées de bonne qualité et plus le budget crawl alloué par Google a votre site sera important.
Cela étant dit, il y a bien d'autres critères qui rentrent en compte.
Le “Crawl rate limit”
On traduit en français cette notion par "limite d'indexation".
Il s'agit du nombre de connexions simultanées que les robots de Google vont utiliser pour crawler votre site et le temps qu'ils attendent avant de crawler une autre page.
Concrètement, plus votre site sera rapide à crawler (donc à naviguer) pour les Googlebots plus Google vous attribuera de Crawl rate limit.
Petite astuce: il est possible de définir une limite d'exploration dans la Google search console si vous jugez que Google bot passe trop souvent et sature par exemple votre site inutilement. Il n'est en revanche pas possible de lui demander de passer plus souvent !
Les facteurs qui nuisent à votre budget crawl
Les erreurs 404
Vous êtes frustré en tant qu'internaute lorsque vous cliquez sur un lien super intéressant et que vous voyez apparaitre une jolie erreur 404 non? Pour Google c'est la même chose et au plus il en trouve sur votre site au plus il diminuera votre budget crawl. Cette optimisation doit clairement être une priorité.
Astuce: Pas besoin d'avoir un crawler pro performant comme Screamingfrog pour détecter et réparer vos erreurs 404. Vous pouvez les repérer facilement avec la google search console
Pages piratées
Inutile de préciser que Google n'aime pas ça. Souhaitant offrir des contenus toujours plus pertinents à ses utilisateurs, une page piratée montre des signes de faiblesse de sécurité et ça Google n'en veut pas
Liens infinis
N'oubliez pas que Google a un budget limité à alloué aux sites qu'il explore et par définition, l'infini c'est long et couteux. Faire en sorte que Google n'épuise votre budget crawl sur un calendrier est clairement une bonne idée.
Contenu de mauvaise qualité
Si vous ne répondez à aucune question que se pose les internautes ou si vous offrez une expérience de piètre qualité alors votre budget crawl se verra amputé.
Les trop nombreuses redirections
Rediriger une page de votre site vers une autre, lorsque par exemple un de vos services n'est plus offert, c'est bien pratique. Néanmoins, des redirections en cascade (avec l'utilisation des redirections 301 ou 302) risquent de consommer tout votre budget crawl avant que Google n'arrive à la page que vous voudriez qu'il explore.
Contactez nous si vous pensez avoir des problèmes de budget crawl. Notre audit technique identifiera ce que vous pouvez améliorer afin d'être certain que Google explore quotidiennement les pages les plus importantes de votre site
Le budget crawl n'est qu'un seul aspect de l'optimisation technique. Afin d'améliorer votre SEO technique vous pouvez également:
- Comprendre le fonctionnement d'un moteur de recherche
- Configurez un fichier robots.txt
- Créer un sitemap.xml
