Robots Exclusion Protocol
Van Wikipedia
Het Robots Exclusion Protocol, robots exclusion standard of robots.txt protocol is een conventie om (delen) van een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om een website te beveiligen tegen het ongevraagd automatisch kopiëren van een hele website. Het kopiëren kan namelijk grote gevolgen hebben voor de bereikbaarheid van zo'n website, vooral als het een druk bezochte website is. Ook wordt het gebruikt om bepaalde delen, die bijvoorbeeld privacy-gevoeliger zijn, niet te laten indexeren door zoekmachines. Tevens gebruiken websites dit protocol om bijvoorbeeld te zorgen dat zoekmachines alleen de startpagina van een website weergeven.
Het protocol maakt gebruik van het robots.txt-bestand, dat in de rootdirectory van een website wordt gezet. Als alternatief voor dit speciale bestand kan in bestaande HTML-bestanden middels HTML-tag Meta het attribuut "robots" worden opgenomen.
Inhoud |
[bewerk] Ontstaan en gebruik
Er is geen officiële standaard of RFC van het Robots Exclusion Protocol. Het werd met behulp van een consensus in juni 1994 gecreëerd door leden van de WWW Robots Mailing List (robots-request@nexor.co.uk)
Het protocol is echter alleen een advies en vertrouwt volledig op de medewerking van een webrobot. Er zijn ook robots die het protocol negeren of niet kennen. Tevens is het robots.txt-bestand voor iedereen zichtbaar, dus inclusief de informatie welke robots wel en niet worden toegelaten. Dat laatste kan weer gebruikt worden om bijvoorbeeld de useragent van een robot als een normale webbrowser in te stellen, zodat de robot zonder problemen zijn werk op een website kan doen. Ook al wordt zulk gedrag afgeraden en als zeer onbeleefd gezien, het protocol kan dus absoluut niet de afscherming van de website garanderen.
[bewerk] Optie 1: speciaal bestand robots.txt
robots.txt is het computerbestand dat instructies bevat voor useragents, conform het protocol.
Een fictieve, zeer vereenvoudigde syntaxis is:
User-agent: spambot10000 Disallow: /
Bovenstaande zegt dat alle useragents die zich identficeren als spambot10000 verzocht worden om geen toegang te nemen tot "/" en alle subdirectory's, in andere woorden; geen toegang tot de gehele website.
Zie externe links voor enkele voorbeeldbestanden.
[bewerk] Optie 2: attribuut Meta name="robots" in bestaande HTML-pagina's
Het alternatief voor het speciale bestand robots.txt is om aan bestaande HTML-pagina's een attribuut van de HTML-tag Meta toe te voegen, genaamd "robots". Hiermee kan een robot de instructie gegeven worden om een bepaalde webpagina wel of niet te indexeren en wel of niet de links te volgen naar een andere webpagina. Het volgende voorbeeld is een instructie in een HTML-pagina waarmee alle robots verzocht worden om deze pagina wèl te indexeren, maar niet de links te volgen die in de pagina staan:
<meta name="robots" content="index, " />
Het is met deze optie echter niet mogelijk om instructies te geven aan bepaalde useragents. Dit kan alleen met gebruik van robots.txt.
