Zoekmachine optimalisatie
Robots.txt
Wat is robots.txt?
Robots.txt is een bestand in de hoofdmap – de zogenaamde root – van je site. Zoekmachinerobots gebruiken het om te achterhalen welke delen van je site ze wel of niet mogen doorzoeken.
Dit is een voorbeeld van een robots.txt-bestand:
Je kan ook op je eigen site naar jouwsite.nl/robots.txt gaan om te zien of er een robots.txt aanwezig is. Verder kan je in Google Search Console testen doen met verschillende instructies en controleren of je de juiste instructies meegeeft.
Waarom is robots.txt belangrijk?
Met een robots.txt-bestand bepaal je welke delen van je site wel of niet door zoekmachinerobots mogen worden doorzocht. Hierdoor kan je bijvoorbeeld adminomgevingen zoals wp-admin uitsluiten en gaat de aandacht van zoekmachinerobots naar pagina’s die er toe doen. Het verkeerd gebruiken van het robots.txt kan schadelijk zijn voor je SEO resultaten.
Hoe werkt robots.txt?
Het robots.txt-bestand richt je in met instructies volgens de Robots Exclusion Standard. Met de volgende instructies geef je aan dat zoekmachines alles op jouw site mogen doorzoeken.
User-agent: *
Allow: /
In het voorbeeld zag je het robots.txt-bestand dat we op https://orangevalley.nl gebruiken. Dit bestand doet het volgende: Met “User-agent: *” geven we aan dat alle robots de hele site vanaf de root, aangegeven met “Allow: /”, mogen crawlen. Daarnaast verwijzen we naar de aanwezige sitemaps met “Sitemap:” zo zijn onze sitemaps makkelijk te vinden voor zoekmachinerobots.
3 aandachtspunten
De volgende drie punten worden vaak over het hoofd gezien wanneer men met de robots.txt aan de slag gaat.
- Iedereen kan bij jouw robots.txt-bestand: Het bestand is niet alleen zichtbaar voor zoekmachines, maar ook voor mensen die naar /robots.txt surfen. Zorg dus dat er geen persoonlijke of geheime informatie instaat.
- Robots.txt is niet verplicht: Als je niet weet hoe je invulling moet geven aan een robots.txt-bestand, doe het dan niet. Het is namelijk niet verplicht, maar je kan er zoekmachines toegang mee geven tot een testomgeving, of erger nog, de homepage uitsluiten met een disallow-regel.
- Externe links kunnen je instructies ondermijnen: Wanneer andere sites naar delen van je site verwijzen die je met je robots.txt hebt uitgesloten kunnen deze delen alsnog in de zoekresultaten worden getoond. Dit kan je verhelpen door naast het robots.txt-bestand bijvoorbeeld metatags met indexeringsrichtlijnen te gebruiken.
Meer informatie
Onze SEO consultants schreven al eerder over dit onderwerp:
Verder lezen over dit onderwerp?
- Lees meer over de Robots Exclusion Standard (Externe link)
- The Web Robots Pages (Externe link)
