User-agent: *
Disallow: /admin/

User-agent: Slurp 
Disallow: /             
                         
#------------------------

User-agent: googlebot
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
User-agent: WebCrawler
User-agent: web Crawler
User-agent: inktomi
User-agent: slurp



Disallow: /temp/               # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/           # Die ändern sich jeden Tag
Disallow: /logs/               # Die ändern sich jeden Tag
Disallow: /phpkit/images/    # Bilder nicht downloaden
Disallow: /phpkit/design/    # Bilder nicht downloaden
Disallow: /cgi-bin/            # CGI Ausgaben nicht indexieren
Disallow: /usage/          # Geschützter bereich
Disallow: .procmailrc        # Maildatei