Robots.txt

Die robots.txt Datei kann Suchmaschinen anweisen, nur bestimmte Seiten bzw. Verzeichnisse zu besuchen oder andere für die Indizierung ausschließen. Webseiten, die nicht gespidert werden dürfen, sollten durch ein Passwort geschützt werden. Auch die Verfolgung bestimmter Links kann unterbunden werden. Damit kann die Suchmaschine gelenkt werden. Besonders zu beachten ist hierbei, dass dieses Verfahren, auf Grund der Komplexität, nur für erfahrene Nutzer geeignet ist.

Kommentare sind geschlossen.