Comment fontionne un moteur de recherche?

Nous l'avons vu, des petits robots appelés Crawl ou spiders parcoure chaque jour le web à la recherche d'apparition de nouvelles pages web ou de modifications de pages existantes.

En effet, Google indexe quotidiennement 40 milliards de nouvelles pages web. Mais comment s'opère cette magie?

Quelles sont les étapes, à partir du moment où vous ajoutez une nouvelle page web qui amènent à son indexation dans le moteur de recherche?

L'armée de petits robots: les Crawlers


On les appelle crawlers, parfois spiders. Ces petits mercenaires du web ne sont en réalité que de petits programmes informatiques qui se baladent de sites web en site web et de pages en pages à la recherche de modifications depuis leur dernier passage.

Dès qu'un changement est détecté, par exemple l'ajout d'un texte, d'une image ou la création d'une nouvelle page web, la modification est enregistrée dans une immense base de données.

Certes, les crawlers sont nombreux et parcourent le web en permanence mais devant le gigantisme du web et sa croissance exponentielle, il est impossible de passer sur toutes les pages existantes à chaque seconde.

L'utilisation des crawlers coute des ressources énergétiques. Ainsi, chaque moteur de recherche dispose de sa propre fréquence de crawl.

Google défini même pour chaque site, une fréquence de passage qui lui est propre. Par exemple, un gros site de presse mis à jour quotidiennement sera bien plus fréquemment crawlé qu'un site "spammy" ou très rarement mis à jour par son propriétaire.

 
Le passage de relais aux algorithmes:

L'analyse du type et de l'objet du contenu


Le moteur de recherche a crawlé et identifié une nouvelle page sur votre site web, c'est là que les algorithmes entrent en jeu.


Google a conçu et met à jour ses algorithmes environ 500 fois par an. Le but? Offrir à ses utilisateurs des contenus toujours plus pertinents pour une requête donnée.


Tout d'abord, un algorithme analyse le type de contenu. Est ce du texte? Une vidéo? Un document? Une image?


Il essaye alors de saisir de ce quoi parle ce contenu afin de lui attribuer un mot clé. Il se demande si ce contenu répond à une requête d'un utilisateur et quelle est cette requête.


Une fois qu'il a compris le type de contenu et se dont il parle, l'algorithme se doit d'analyser sa pertinence et sa qualité. De plus en plus de professionnels arrivent sur le web et cette croissance est exponentielle. Les moteurs de recherche dépensent donc de plus en plus de ressources afin d'analyser la pertinence pour savoir si oui ou non il mérite de figurer dans ses résultats.


Pour se faire, il va utiliser, dans le cas de Google, plus de 200 critères afin de  savoir si oui ou non, il l'indexe dans son moteur.  Les algorithmes ainsi utilisent des critères de plus en plus durs afin de filtrer les contenus jugés d'une qualité insuffisante.

Comment les moteurs de recherche jugent la qualité d'un contenu?


Google vérifie à quel point le contenu est pertinent en vérifiant s'il respecte ses critères (les 200 et quelques critères). A l'issue de cette analyse, il attribuera une note à cette page appelée le page rank.


Avec des mises à jour quotidiennes, il est impossible de façon exacte, l'impact d'un changement sur les performances SEO. Pourtant, il y a des critères dont les effets ont clairement fait leurs preuves


La popularité


Parmi ces critères, la popularité d'un site est primordiale. Google analyse le nombre de visiteurs et le nombre de liens pointant sur ce site, les fameux backlink. Ainsi, plus un site reçoit de visiteurs et de liens entrants, au mieux il est référencé


Si, pour un tout nouveau site, faire affluer des visiteurs en masse semble compliqué, faire pointer des liens vers ce site est bien plus abordable.

Les référenceurs l'ont très vite compris et ont rapidement abusé de liens spammy depuis des sites sans aucun rapport avec celui qui reçoit le lien.

L'apogée de ces techniques est apparue au début des années 2010, le mieux classé était celui qui avait le plus spammé. Google a compris la combine et par une mise à jour de ses algorithmes à fortement pénalisé de nombreux sites qui ont abusés de ces techniques. De nombreux sites en première position et recevant d'énorme quantité de trafic chaque jour se sont vus du jour au lendemain déréférencés.


Aujourd'hui, la prudence est de mise et à l'Agence Pour la Relance nous préconisons de n'ajouter que des liens depuis des sites qui ont un rapport avec le votre, de ne pas "poser" comme on dit dans le milieux plus d'un lien tous les 2 ou 3 jours et de mettre toutes sortes de sites (annuaires, articles invités, homepage...).

Le but étant de paraitre que la popularité paraisse naturelle aux yeux des algorithmes et de surtout rester en dehors de l'anomalie statistique.


Les autres critères de pertinence selon Google

Même si les algorithmes analysent un site page par page ils sont très alertes sur la qualité du maillage interne c'est à dire sur les liens de votre site qui pointent vers d'autres pages de votre site.


Google adore les contenus bien organisés et récompensent les liens entre les pages qui ont une proximité sémantique.


A l'Agence Pour la Relance, nous essayons d'organiser le contenu avec la méthode du cocon sémantique, considérée comme la meilleure stratégie de linking interne aujourd'hui.


Content is King


Les algorithmes feront également particulièrement attention si, à l'intérieur d'une page, le contenu est bien organisé.

Est ce que les titres sont explicites et illustrent bien l'article? La page a t elle assez de titres et de sous titres? Est ce que le contenu n'est pas dupliqué (pris d'un autre site)?


Vitesse et Responsive Design


Depuis la démocratisation de la navigation par mobile, la rapidité est devenue un enjeu majeur et Google pénalise fortement les sites trop longs à charger et non compatible mobile.

Cette compatibilité appelée "responsive design" s'applique aussi sur tablette que sur les grands et les petits téléphones. L'idée étant que le site en question s'adapte quelque soit la résolution d'écran utilisée.


Le but poursuivi par Google est toujours le même: donner aux internautes des contenus de plus en plus pertinents aux utilisateurs, de la part de sites fiables(popularité), bien organisés et offrant une bonne expérience utilisateurs (ux).

Le classement des résultats par les moteurs de recherche

Google a analysé votre type de contenu et son objet. Il a l'analysé en lui faisant passer plus de 200 critères pour lui attribuer une note. C'est à ce moment là qu'il décide si oui ou non il l'indexe et à quelle place pour une requête donnée.

Vous l'avez compris, pour pouvoir être bien positionné dans les moteurs de recherche, il faut leur prouver que vous êtes plus légitime d'être à cette position que les autres.

Content is King certes mais la popularité joue clairement un rôle. Si, objectivement vous trouvez que votre contenu est meilleur, mieux organisé, dans un site mieux maillé mais que vous êtes derrière vos concurrents, il se pourrait qu'ils aient simplement plus de backlink que vous.

Le netlinking ou l'art de créer des liens vers votre site est l'un des domaines dans lequel nous excellons. N'hésitez pas à faire appel à nous pour un audit qui déterminera pourquoi vous n'êtes pas encore premier sur vos recherches clés sur Google.

Maintenant que vous savez comment fonctionne un moteur de recherche vous souhaiterez surement savoir comment

Optimiser son budget crawlCréer un fichier robots.txtTout connaitre du sitemap.xml