Laatst bijgewerkt: 24-09-2021

Je bent webmaster en hebt een hulpmiddel nodig waarmee je bepaalde subpagina’s of directories van de index kunt uitsluiten omdat ze nog niet klaar zijn of privé-doeleinden dienen? Dan is een Robots txt misschien net iets voor jou.

In dit artikel leer je alles over het onderwerp Robots txt. We informeren je over alle belangrijke feiten en de dingen waar je op moet letten als je een robot txt in je website wilt integreren.




Belangrijk om te weten

  • Robots txt is een hulpmiddel dat de webmaster gebruikt om zoekmachines te vertellen welke pagina’s of directories niet geïndexeerd mogen worden.
  • Dit is een instructie, maar geen technisch blok. De zoekmachines kunnen je aanwijzingen opvolgen, maar ze hoeven het niet te doen.
  • Robots txt heeft een grote invloed op de rangschikking van je website. Te veel beperkte pagina’s hebben een negatieve invloed op de ranking. Weinig tot geen beperkingen kunnen ertoe leiden dat afzonderlijke pagina’s met elkaar gaan concurreren en elkaar uitspelen.

Woordenlijst item: De term Robots txt in detail uitgelegd

Om je uitgebreide informatie over Robots txt te geven, hebben we de belangrijkste en meest gestelde vragen over dit onderwerp uitgekozen en ze hier voor jou in detail beantwoord. Zo ben en blijf je goed op de hoogte als het om je website gaat.

Wat is Robots txt?

Als je een website maakt, kun je Robots.txt gebruiken om aan te geven welke subpagina’s of directories van de homepage niet door zoekmachines geïndexeerd mogen worden. Dit kan bijvoorbeeld het geval zijn als de pagina nog in aanbouw is, nog niet helemaal af is of alleen voor privé-doeleinden gebruikt wordt. Je kunt het hulpmiddel gebruiken om de zoekmachines te vertellen welke pagina’s ze wel en welke ze niet mogen indexeren.

Met behulp van een Robots txt kun je zoekmachines opdracht geven de pagina’s die je invoert niet te indexeren. (Image source: 200degrees / Pixabay)

Als je niet wilt dat de Googlebot bepaalde pagina’s of pagina-inhoud indexeert, moeten deze pagina’s in een “Robots.txt” bestand worden aangemaakt. Deze pagina’s worden daarom voorzien van bepaalde instructies en opgeslagen in de hoofddirectory van de website.

Hoe werkt Robots txt?

Robots.txt is een gewoon txt bestand dat je in de hoofddirectory van een pagina plaatst. In dit bestand moet je alle pagina’s invoeren die van de bots van zoekmachines geweerd moeten worden. Je kunt een robots txt bestand heel eenvoudig en gemakkelijk maken met behulp van een teksteditor, want ze kunnen in gewoon tekstformaat worden uitgelezen en opgeslagen.

Er zijn echter al hulpmiddelen op het internet die je helpen om snel en gemakkelijk een robots.txt bestand te maken door je de belangrijkste informatie te vragen en je dan het afgewerkte robots txt bestand te bezorgen.

Om alles soepel te laten verlopen zijn er een paar voorwaarden die je in acht moet nemen

  • De naam van het bestand moet altijd in kleine letters staan – i.e. robots txt. Enkele hoofdletters, zoals robots.txt, worden niet herkend.
  • robots txt moet in de root directory op het hoogste niveau worden ingevoegd.
  • Slechts één robots txt is toegestaan per domein
  • de structuur van het robots txt bestand moet ook voldoen aan de Robots Explosion Standaard.

De robots txt werkt alleen als aan deze voorwaarden voldaan is. Werkt dit niet voor je, dan heb je een fout in een van deze vereisten. Let vooral op hoofdletters en kleine letters, want die zijn vaak de reden waarom robots txt niet werkt.

Hoe ziet een robots txt bestand eruit?

Het basisformaat van een robots txt bestand bestaat uit de z.g. user agents en de instructies. Dit klinkt ingewikkeld, maar de syntaxis is vrij eenvoudig.

Eenvoudig gezegd wijs je bepaalde regels aan bots toe door hun user agents te specificeren, die instructies volgen.

In het volgende deel hebben we deze twee termen nader verklaard, zodat je meteen aan de slag kunt

  • User agents: elke zoekmachine heeft zijn eigen user agent. Voor Google, bijvoorbeeld, is dat de Googlebot. Voor elke zoekmachine bot kun je dus gebruikers-gedefinieerde instructies in je robots txt bestand zetten. Wil je echter aan alle user agents dezelfde instructies geven, dan kun je ook de asterisk of een wildcard (*) als plaatshouder gebruiken. Zo hoef je niet steeds opnieuw dezelfde informatie in te voeren.
  • Instructies: dit zijn de regels die de afzonderlijke zoekmachine bots moeten volgen. Je kunt onderscheid maken tussen instructies die de bot moet ondersteunen (Allow) en die welke de zoekmachine niet mag indexeren (Disallow).
  • Wildcards: met zogenaamde wildcards (*) kun je niet alleen instructies toepassen op alle user agents, maar ook URL patronen aanpassen bij het invoeren van instructies.

Instructies kunnen echter tegelijk verboden en toegestaan zijn als je de spelling fout hebt. We raden je daarom aan de code verschillende keren te controleren om er zeker van te zijn dat je geen fouten gemaakt hebt en dat het Robots txt bestand goed werkt.

Hoe maak ik een Robots txt bestand?

Als je geen Robots txt bestand voor je website hebt, kun je er gemakkelijk zelf een maken. Open gewoon een gewoon .txt document en begin je instructies in te voeren. Je kunt ofwel aan elke zoekmachine bot afzonderlijke instructies geven, ofwel aan allemaal dezelfde.

Als je klaar bent met het invoeren van je instructies en je zeker weet dat je de code juist getypt hebt, sla je het bestand op als “robots.txt”. Als je niet zeker bent van het maken van het bestand, kun je ook een robots-txt generator gebruiken. Dit helpt je niet alleen fouten te vermijden, maar bespaart je ook veel tijd.

Waar kan ik robots txt vinden?

De hoofddirectory is het eerste document dat een bot van een zoekmachine ophaalt als hij op een website klikt.(4) Plaats je robots txt bestand in de hoofddirectory van het subdomein dat erop van toepassing is.

Robots txt wordt opgeslagen in de root van het domein van de website.

De bot van de zoekmachine kan het bestand echter alleen correct lezen als het bestand aan alle eisen voldoet en dan correct wordt opgeslagen.

Bij het labelen van je Robots txt bestand moet je de grootste aandacht besteden. Elke verandering in de code betekent dat hij niet door de bots van de zoekmachines gelezen kan worden. (Image source: Markus Spiske / Unsplash)

Zelfs de kleinste fout in de naamgeving of beschrijving van het Robots txt bestand zorgt ervoor dat de bot je pagina niet goed kan lezen, waardoor je lager in de zoekresultaten komt te staan.

Welk wettelijk kader moet ik in acht nemen voor Robots.txt?

Robots txt is bedoeld om bepaalde pagina-inhoud of mappen te blokkeren voor de zoekmachines en dus voor het publiek, maar Robots txt is slechts een instructie aan de zoekmachine en geen technische blokkade.

Robots txt is slechts een aanbeveling aan de zoekmachine, geen technische blokkade.

Hoewel de grote, bekende zoekmachines deze instructie dus ook volgen, zijn er nog steeds een heleboel andere, kleinere zoekmachines die deze inhoud toch vastleggen.

Wat zijn de voordelen en nadelen van Robots txt?

Robots txt heeft enkele voordelen en nadelen. Het grootste voordeel is dat je Robot.txt kunt gebruiken om bepaalde pagina’s of mappen voor de zoekmachine bot te blokkeren. Op deze manier kun je hele mappenbomen uitsluiten van de zoekmachines of regels instellen voor verschillende zoekmachine bots.

Dit maakt Robots txt tot een nuttig hulpmiddel om je website tot op zekere hoogte te controleren en te bewaken. In het volgende hebben we de belangrijkste voor- en nadelen van het Robots txt bestand op een rijtje gezet, zodat je een overzicht krijgt.

Voordelen

  • Handig hulpmiddel om zoekmachines te controleren
  • Websites of directory’s uit de lucht halen

Nadelen

  • is slechts een instructie, geen technisch blok
  • nog steeds geïndexeerd via externe links

Het grootste nadeel van Robots.txt is dus dat het niet meer is dan een oproep tot actie. Hoewel de meeste grote zoekmachines zich eraan houden, kunnen de vermelde pagina’s in het Robots tekstbestand geïndexeerd worden. Via externe links kunnen de gedeponeerde bestanden echter nog steeds gelezen worden en zo in de zoekresultaten van de zoekmachines verschijnen.

Welke invloed heeft Robots txt op zoekmachine optimalisatie?

Robots txt is een bijzonder nuttig hulpmiddel voor zoekmachine-optimalisatie, omdat het gebruikt kan worden om het gedrag van zoekmachine-bots, zoals die van Google, te controleren. Het gereedschap kan hele websites, directories of bepaalde trawlers blokkeren. Dit is echter slechts een instructie en geen technisch blok.

Een robots tekstbestand is dus ideaal om het crawlen van de bots te regelen, maar niet om te indexeren.

Een robots txt bestand helpt SEO’s om het bestaande crawlen beter te benutten en het beter te verdelen over de afzonderlijke delen van de website. De robot kan ook relevante inhoud vinden via interesse en externe links, maar het is efficiënter om de zoekmachine bot direct naar de belangrijke pagina’s te wijzen en irrelevante pagina’s uit te sluiten met het disallow commando.

Maar als je te veel pagina’s voor de zoekmachine blokkeert, heeft dat een negatieve invloed op je ranking. Maar als je te veel pagina’s openlijk beperkt, kunnen bijvoorbeeld ook gebruikersspecifieke of privé pagina’s geïndexeerd worden. Dit betekent dat je afzonderlijke pagina’s met elkaar kunnen concurreren en elkaar kunnen uitspelen.

Het is dus belangrijk een evenwicht te vinden om een hoge waardering van de zoekmachines te krijgen en zo een goede positie op de ranglijst.

Conclusie

Robots.txt is dus een handig hulpmiddel om de indexering van je homepage tot op zekere hoogte te regelen. Het is echter geen technisch blok, maar slechts een instructie. Dit betekent dat de afzonderlijke zoekmachines deze instructie kunnen volgen bij het opsommen van de beschikbare pagina’s, maar ze hoeven het niet te doen.

Voor je Robots.txt gaat gebruiken, raden we je aan je vertrouwd te maken met het hulpmiddel. Verkeerd gebruik leidt tot foutief geblokkeerde pagina’s of directories, waardoor je website lager in de zoekresultaten komt te staan. Als je het Robots txt bestand verstandig gebruikt, kan het een belangrijk effect hebben op de zoekmachine optimalisatie.

Beeldbron: Joshua Aragon / unsplash

Waarom kun je me vertrouwen?

Recensies