# Böse Robots die nicht rein dürfen!

# robots.txt generiert von www.webmasterelite.de
# URL:http://www.sbm-honda.de

# Alle Roboter spidern die Domain
User-agent: *
Disallow:

# Verzeichnis /images soll nicht von ia_archiver gespidert werden
User-agent: ia_archiver
Disallow: /images

# Verzeichnis soll nicht von FAST-WebCrawler/2.2-pre41 (crawler@fast.no; http://www.fast.no/faq/ faqfastwebsearch/faqfastwebcrawler.html) gespidert werden
User-agent: FAST-WebCrawler/2.2-pre41 (crawler@fast.no; http://www.fast.no/faq/ faqfastwebsearch/faqfastwebcrawler.html)
Disallow:

# Verzeichnis soll nicht von Infoseek Sidewinder/0.9 gespidert werden
User-agent: Infoseek Sidewinder/0.9
Disallow: 
User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /