Commençons par expliquer un certain nombre de choses à propos de robots.txt, car en SEO, il est beaucoup question de «bloquer certaines parties du Web sur Google» en utilisant le fichier robots.txt, mais dans de très rares cas, exactement le fichier robots.txt et toutes les utilisations possibles, Google Bot n’est pas le seul robot à contourner Internet à la recherche de nouveaux contenus à récupérer.

Un bot (également appelé «araignée» en français) est un logiciel qui explore des sites Web à la recherche de nouveaux contenus, des modifications ou de tout autre objet pour lequel il a été conçu. Il y a de nombreux type des robots, mais le plus célèbres est celui de Google.

Le fichier robots.txt est utilisé depuis 1994 chez Martijn Koster proposé dans la société où il travaillait à cette époque (Nexor), afin de bloquer tous les robots malveillants qui «attaquaient» leurs sites Web.

À quoi sert le fichier robots.txt?

Comme mentionné plus haut, le robots.txt fait plus que de bloquer certaines parties de notre site Web au robot de Google, par exemple, a plus d’utilisations, mais très peu de webmasters sont en mesure d’exploiter le coup de pouce qui a les robots. txt avec ses paramètres.

Robots.txt nous permet (via le « plan du site ») indiquent où les Sitemaps notre site, cela est utile, car nous devons garder à l’esprit que le fichier robots.txt est le premier fichier qui vérifie le robot ou araignée Google en entrant sur notre site (ou du moins, c’est ce que dit la théorie).

nous permet de bloquer les robots collecteurs d’accéder à certaines parties « techniques » ou de l’application « cachée », à savoir les zones où crawlers ou bots « pas quoi que ce soit de la peinture », comme zone WP-ADMIN WordPress.

Nous pouvons bloquer l’accès des araignées à certaines zones du site que nous ne souhaitons pas indexer pour quelque raison que ce soit.

Nous pouvons bloquer l’accès à notre site Web à certains bots que nous savons avec certitude qu’ils ne feront rien productif sur notre site Web, mais il faut aussi garder à l’esprit que le plus « dangereux » ou consulter les bots robots.txt, simplement naviguons par les liens du site en quête de réalisation de son objectif.

La plupart de ces applications que nous avons nommées ci-dessus sont liées ou permettent d’optimiser le référencement sur la page d’un site Web, car cela nous permet de contrôler ce que nous voulons indexer des moteurs de recherche et ce que nous ne voulons pas indexer.

À quoi sert le fichier robots.txt?

Comme mentionné plus haut, le robots.txt fait plus que de bloquer certaines parties de notre site Web au robot de Google, par exemple, a plus d’utilisations, mais très peu de webmasters sont en mesure d’exploiter le coup de pouce qui a les robots.txt avec ses paramètres.

Robots.txt nous permet (via le « plan du site ») indiquent où les Sitemaps notre site, cela est utile, car nous devons garder à l’esprit que le fichier robots.txt est le premier fichier qui vérifie le robot ou araignée Google en entrant sur notre site (ou du moins, c’est ce que dit la théorie).

Nous permet de bloquer les robots collecteurs d’accéder à certaines parties « techniques » ou de l’application « cachée », à savoir les zones où crawlers ou bots « pas quoi que ce soit de la peinture », comme zone WP-ADMIN WordPress.

Nous pouvons bloquer l’accès des araignées à certaines zones du site que nous ne souhaitons pas indexer pour quelque raison que ce soit.

Nous pouvons bloquer l’accès à notre site Web à certains bots que nous savons avec certitude qu’ils ne feront rien productif sur notre site Web, mais il faut aussi garder à l’esprit que le plus « dangereux » ou consulter les bots robots.txt, simplement naviguons par les liens du site en quête de réalisation de son objectif.

La plupart de ces applications que nous avons nommées ci-dessus sont liées ou permettent d’optimiser le référencement sur la page d’un site Web, car cela nous permet de contrôler ce que nous voulons indexer des moteurs de recherche et ce que nous ne voulons pas indexer.