Toets

Welke user-agent zorgt er voor dat de richtlijnen worden toegepast op alle robots?

Welke 3 redenen zijn er om een pagina te disallowen? (Meerdere antwoorden zijn goed)

Stelling: Het gebruik van een allow richtlijn heeft alleen zin wanneer het robots.txt bestand ook een disallow richtlijn bevat.

Welk leesteken gebruik je om een opmerking te plaatsen in het robots.txt bestand?

Stelling: Ik kan maar 1 sitemap toevoegen aan het robots.txt bestand.

Waarvoor wordt een $ wildcard gebruikt in het robots.txt bestand?

De $ wildcard wordt gebruikt wanneer er duidelijke URL-patronen zijn die u niet wilt toestaan zoals filters en parameters.
De $ wildcard wordt gebruikt om het einde van een URL aan te geven. Dit is voornamelijk handig bij bestandstypen als .pdf, .jpg of .png.
De $ wildcard wordt gebruikt om het meerdere URL's op een regel weer te geven.
De $ wildcard bestaat niet.

Nobrand wil graag dat de Googlebot slomer crawlt. Daarom voegen zij het volgende toe aan het robots.txt bestand:

User-agent: Googlebot
Crawl-delay: 10

Wat gebeurt er?

In het geval van een crawl-delay: 10 wordt de dag verdeeld in stukjes van 10 seconde waarin Google in elke 10 seconde maximaal één pagina crawlt.
In het geval van een crawl-delay: 10 wacht Google elke keer 10 seconde tot het aanvragen van een nieuwe pagina.
Er gebeurt niets.