#http://www.wew-display.de/robots.txt
User-agent: WebsiteWiki
Disallow: /
User-agent: * 
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /bilder/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /news.html   # Die news.html ändert sich täglich