# Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen

User-agent: *
Disallow: /bin/		# bin
Disallow: /lib/		# lib
Disallow: /stats/	# Statistik-Seiten