# robots.txt 
# URL:http://www.dscweb.de

# Alle Roboter spidern die Domain
User-agent: *
Disallow:

# Verzeichnis /daten soll nicht von * gespidert werden 
User-agent: *
Disallow: /daten/