So sieht eine gute robots.txt aus

Eine robots.txt könnte man als zuverlässigen Türsteher bezeichnen welchem man sagt, welche Spider und Crawler von Suchmaschinen er durchlassen darf. Sicherlich ist es kein 100% Schutz aber es ist dennoch sehr hilfreich und sollte sich auf jedem Webspace befinden.


Deprecated: Directive 'allow_url_include' is deprecated in Unknown on line 0