Bien comprendre la notion de crawl est essentiel pour améliorer le Pilier Technique du SEO.
Qu'est ce que le crawl pour un Google Bot en SEO?
Concrètement, il s'agit pour un moteur de recherche ou pour un logiciel prévu à cet effet de parcourir les pages d'un site web en naviguant grâce aux liens sur le site. Cette navigation se fait grâce à des "robots" qui parcourent en permanence le web afin de de vérifier les modifications apportées sur un site web.
Les autres types de crawl:
Le crawl par un logiciel
Pour un logiciel, comme par exemple Screaming Frog, le crawl suit la même logique, des robots naviguent de liens en liens sur un site web ou sur une partie de celui ci.
Le but est cette fois différent. Dans le cadre d'une stratégie SEO, ils détectent les anomalies d'un site (par exemple les liens cassés) afin que l'expert SEO puisse les corriger.
Couplés avec les logs, ces données apportent des informations importantes sur l'état d'un site web.
Le crawl peut également servir à effectuer une veille tarifaire efficace.
Le crawl utilisé pour la veille concurrentielle
Connaitre les tarifs de ses concurrents est aujourd'hui primordial pour ajuster sa politique de prix. Pour se faire, des crawlers spécialisés récupèrent automatiquement les prix des produits et leurs évolutions. A noter que certaines marketplaces intègrent directement sur leur plateforme des crawlers de ce type afin de permettre aux e-commerçants de connaitre les prix pratiqués par leurs concurrents.
Avant de bien comprendre ce qu'est le budget crawl et comment l'optimiser, intéressons nous au fonctionnement d'un moteur de recherche.
Comment fonctionne un moteur de recherche
Les moteurs de recherche utilisent des crawlers pour parcourir régulièrement les différents sites internet. Les algorithmes analysent le contenu, le classe et lui applique environ 200 critères afin de juger de leur qualité et de leur pertinence pour différentes requête. Suite à cette analyse, ils attribuent à une page web une note qui leur permet de les classer parmi les autres sites qui traitent de la même thématique.
Analysons plus en détail comment fonctionne un moteur de recherche
Le Budget Crawl
Crawler coute des ressources alors les moteurs de recherche attribue à chaque site un budget de crawl c'est à dire le budget alloué par jour pour le crawl d'un site.
Le fichier robots.txt
Ce petit fichier .txt guide les crawlers en leur indiquant quelles sont les pages qui doivent être parcourues et celles qui doivent être ignorées. Comment configurer ce fichier robots.txt et quelles sont les pages à inclure ou exclure?
Le sitemap.xml
Le sitemap.xml forme l'architecture de votre site en listant toutes les ressources et les URL qui le composent
Le crawl n'est qu'un seul aspect de l'optimisation technique.
Afin d'améliorer votre SEO technique vous pouvez également:
