Robots.txt Generator
Genereer een robots.txt configuratie.
robots.txt
User-agent: * Allow: / Disallow: /admin Disallow: /private Sitemap: https://voorbeeld.nl/sitemap.xml
Wat doet deze tool?
Genereert een robots.txt-bestand: instructies voor crawlers welke delen van je site ze wel of niet mogen bezoeken.
Hoe werkt de berekening?
Op basis van jouw keuzes (User-agent, toegestane/niet-toegestane paden, sitemap-URL) bouwt de tool een geldig robots.txt volgens de Robots Exclusion Protocol-standaard: 'User-agent:' regel gevolgd door 'Allow:' of 'Disallow:'.
Een concreet voorbeeld
Blokkeer /admin voor alle bots, sta rest toe, sitemap op /sitemap.xml → 'User-agent: *\nDisallow: /admin\nAllow: /\nSitemap: https://voorbeeld.nl/sitemap.xml'
Veelgestelde vragen
Wat gebeurt er zonder robots.txt?+
Crawlers gaan ervan uit dat alles mag. Een robots.txt is vooral nodig als je specifiek iets wilt uitsluiten.
Volgen alle bots robots.txt?+
Zoekmachines wel. Kwaadaardige bots negeren robots.txt vaak — gebruik authenticatie voor echte bescherming.
Waar plaats ik het bestand?+
In de root van je domein: https://voorbeeld.nl/robots.txt. Alleen daar wordt het gelezen.