So sieht eine gute robots.txt aus

Eine robots.txt könnte man als zuverlässigen Türsteher bezeichnen welchem man sagt, welche Spider und Crawler von Suchmaschinen er durchlassen darf. Sicherlich ist es kein 100% Schutz aber es ist dennoch sehr hilfreich und sollte sich auf jedem Webspace befinden.