Créer et optimiser votre fichier robots.txt facilitera le crawl de votre site par les GoogleBots mais c'est quoi exactement ce fameux fichier robots.txt? A quoi sert il exactement et comment l'utiliser?
Qu’est-ce que le fichier robots.txt ?
Le robots.txt est un simplement un fichier texte(.txt), un simple fichier texte qu'on peut créer avec notepad (ou blocnote en français)
Situé à la racine de votre site web, Il indique aux GoogleBots ce qui doit et ne doit pas être indexé. Comme il est le premier à être analyser par les crawlers des moteurs de recherche, si vous le configurez mal il peut être dévastateur pour votre référencement.
En effet, s'il interdit aux robots d'indexer votre site entier alors inutile de vous battre pour votre référencement, vos efforts seront vains votre site entier n'apparaitra pas dans les résultats des moteurs de recherche
Quelle est l'utilité du fichier robots.txt?
Ce fichier va finalement guider les spiders. Il permet donne des instructions aux robots des moteurs de recherche en interdisant d'explorer et d'indexer une partie de votre site.
Que doit on désindexer grâce au fichier robots.txt?
Il est important de désindexer déjà tous les contenus dupliqués. Google peut vous pénaliser fortement si vous tentez d'indexer trop de contenus dupliqués.
Afin d'économiser du budget crawl vous pouvez désindexer des pages, indispensables pour l'utilisateur, mais qui ne présente pas d'enjeu SEO. Avez vous vraiment besoin d'indexer vos mentions légales? vos CGV? les URL qui redirigent vos clients vers leur espace personnel?
Probablement pas!
Ce fichier indique également aux moteurs l’adresse du sitemap.xml du site web.
Une balise Meta nommée “robots” placée dans le code html d’une page web interdit son indexation avec la syntaxe suivante : <meta name=”robots” content=”noindex”>.
Comment trouver le fichier robots.txt d'un site web?
Pour trouver votre robots.txt et par la même occasion vérifier sa présence, entrez simplement dans la barre d'adresse de votre navigateur cette adresse
http://www.mettezladressedevotresite.com/robots.txt
A noter que si vous rencontrez une erreur 404 cela veut simplement dire que le fichier robots.txt n'a pas été créé. Ça n'est pas dramatique en soit (mais pas optimisé non plus) celà signifie qu'aucune page n'est interdite aux robots des moteurs de recherche.
Par ailleurs, un site internet ne peut avoir qu'un seul fichier robots.txt
Comment créer le fichier robots.txt?
Création automatique
Si vous utilisez un CMS comme WordPress ou Webflow alors il peut être créé automatiquement.
Pour Webflow, rendez vous dans la partie "project setting" de votre site puis dans l'onglet "SEO".
Création manuelle:
Si vous n'utilisez pas de CMS qui offre cette fonctionnalité ou si votre site est codé à la main, rendez vous à la racine de votre domaine. Pour se faire, vous devez obligatoirement avoir un accès FTP, si ce n'est pas le cas contactez votre hébergeur pour pouvoir y accéder.
Vous pouvez utiliser la simplissime application "blocnote" de votre ordinateur, l'enregistrer avec un extension .txt et placer ce fichier en le nommant robots.txt en minuscule, à la racine de votre domaine.
Néanmoins, vous devrez respecter une syntaxe et une structure ligne par ligne sans laisser de ligne vide
une syntaxe et des instructions,
un nom de fichier : robots.txt,
une structure : une instruction par ligne et aucune ligne vide.
La syntaxe et les instructions du fichier robots.txt:
User-agent : les user-agents sont les bots des moteurs de recherche, comme notre ami Googlebot pour Google ou Bingbot pour Bing.
Disallow : interdit aux user-agents l’accès à une url ou à un dossier
Allow : autorise l’accès à une url placée dans un dossier interdit.
Les fichiers robots.txt utilisent les instructions ou commandes suivantes :
Retenez bien qu'une mauvaise configuration de votre fichier robots.txt peut avoir des conséquences fatales, aussi il est préférable, si on ne sait pas exactement ce que l'on fait, d'utiliser un des nombreux outils en ligne.
Vous pouvez créer votre fichier robots.txt ici
Le fichier robots.txt n'est qu'un seul aspect de l'optimisation technique. Afin d'améliorer votre SEO technique vous pouvez également:
- Comprendre le fonctionnement d'un moteur de recherche
- Configurer le sitemap.xml
- Comprendre et optimiser son budget de crawl
