Robots.txt

De robots.txt kan je vinden in Blockwise onder "Website instellingen", scroll hier naar onder en zet het vinkje bij "Robots TXT" uit.

In de robots.txt kan je de sitemap url terugvingen en hier kan je specifieke instellingen geven aan bots om bepaalde pagina's wel of juist niet de indexeren voor een of meerdere bots.

Onderstaand een overzicht van een aantal veel voorkomende bots:
User-agent: Googlebot
User-agent: Bingbot
User-agent: Slurp
User-agent: DuckDuckBot
User-agent: Baiduspider
User-agent: YandexBot
User-agent: *

Deze laatste betekent dat de onderliggende regels voor alle bots gelden.

Wanneer je alleen één specifieke bot (in dit geval de Google bot) toegang wilt geven tot de website kan hiervoor het volgende worden geschreven:
User-agent: Googlebot
 Disallow:
User-agent: *
Disallow: /

Voorbeeld robots.txt voor het niet indexeren van de gehele website:
User-agent: *
Disallow: /

Voor het uitsluiten van bepaalde pagina's kan de volgende code worden gepaatst:
User-agent: *
Disallow: /pagina-naam/

Voor het uitsluiten van meerdere pagina's:
User-agent: *
Disallow: /pagina-naam/
Disallow: /pagina-naam-2/pagina-detail/

Voor het toestaan van indexeren door bots op specifieke pagina's kan het volgende worden gebruikt:
User-agent: *
Allow: /pagina-naam/