# robots.txt für www.dj-team-nrw.de
# Diese Webcrawler schließe ich aus

User-agent: ia_archiver
Disallow: / 


# Diese Verzeichnisse sollen nicht durchsucht werden

User-agent: *
Disallow: /css/
Disallow: /thumbs/