Fichier d'exclusion des robots
Un article de Wikipédia, l'encyclopédie libre.
Le fichier d'exclusion des robots d'un site web est un fichier nommé robots.txt placé au plus haut niveau du site, et qui permet d'indiquer à certains ou à tous les moteurs de recherches ce qu'ils ne doivent pas indexer. Cependant, le fichier n'est pris en compte que par les robots, et n'a donc aucun effet sur les navigateurs web. Aussi, certains robots n'en tiennent pas compte et ne respectent pas le standard d'exclusion des robots.
[modifier] Exemples
Autoriser tous les robots à accéder à tout le site:
User-agent: * Disallow:
Empêcher tous les robots d'accéder au site:
User-agent: * Disallow: /
Pour empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier, par exemple http://example.org/forum/
User-agent: * Disallow: /forum User-agent: googlebot Disallow:
[modifier] Voir aussi
- Standard d'exclusion des robots
- Robot d'indexation
[modifier] Liens externes
- (en) SearchEngineWorld.com, Tutoriel sur les fichiers robots.txt
- (en) Robotstxt.org, Exclusion des robots
- (en) Yellowpipe.com, Générateur en ligne de fichier robots.txt
- (fr) Protocole d'exclusion des robots (annuaire-info.com) : la norme et les particularités propres à Google, Yahoo et MSN Search
