####
#
# standaard is de robots.txt leeg!
#
# sites in ontwikkeling of op een tijdelijke url dienen geblokkeerd te worden # Configuratie in ontwikkelomgeving:
#   User-agent: *
#   Disallow: /
#
# Meer info zie: https://support.google.com/webmasters/bin/answer.py?hl=nl&answer=156449
#
# Voorbeelden in productie, denk aan extranet of intranet
#   User-agent: *
#   Disallow: /map1/
#   Disallow: /*.gif$
#   Disallow: /private*/
#
# of specifiek het bestandssysteem laten spideren op basis van de xmlsitemap (searchenginesitemap)
#   Sitemap: http://.../xmlsitemap.xml
#
# Robots.txt kun je checken via: http://tools.seobook.com/robots-txt/analyzer/
#
####
# Spidering wordt geblokkeerd, als er content wel gevonden mag worden kan dit het beste met een allow.
User-agent: *
Disallow: /*?*hid=pdf
Disallow: /*?*HID=PDF
Disallow: /*?*hid=PDF
Disallow: /*?*HID=pdf