In het robots.txt bestand heb je de mogelijkheid om opmerkingen te plaatsen. Deze opmerkingen worden vaak gebruikt om toelichting te geven op enkele richtlijnen.
Zo weten webmasters later waarom ze bepaalde richtlijnen in het robots.txt bestand hebben geplaatst.
De hashtag
Het plaatsen van een opmerking in het robots.txt bestand is niet lastig.
Wanneer je een “#” plaatst op een regel wordt elk woord na de hashtag op die regel niet meer meegenomen door de robots.
Opmerkingen kunnen op 2 manieren geplaatst worden:
Op een nieuwe regel
#googlebot heeft geen toegang tot /winkelmandje/ directory User-agent: googlebot Disallow: /winkelmandje/
Achter een richtlijn
User-agent: googlebot #onderstaande richtlijnen van toepassing op googlebot Disallow: /winkelmandje/ #geen toegang tot /winkelmandje/ directory
