lustige Bilder und Namen-Gif Spass

Die robots.txt für die Homepage dient den Robots oder Crawlern und Spidern

als Wegweiser ....

Diese Datei wird von den sogenannten robots, crawler oder spider der Suchmaschinen aufgerufen. In dieser Datei können Sie den robots verbieten Teilbereiche Ihrer Webpräsenz zu durchforsten und zu archivieren.

Erzeuge eine einfache Textdatei (*.txt) die folgenden Inhalt haben sollte,

User-agent: *
Disallow: /geheim/
Disallow: /secret/topsecret/

Hinter User-agent: können Sie den Namen der robots, spider angeben, die Sie von Teilbereichen aussperren wollen. Wenn Sie einen * setzen gilt es für alle. Die Ordner oder Verzeichnisse die nicht durchsucht werden sollen geben Sie einzeln in einer Zeile mit
Disallow: /verbotener_Ordner/ an.

Solltest Du nicht zu verbergen haben kann in der Datei einfach nur die folgende Zeile stehen:
User-agent: *


Laden Sie die Datei robots.txt in das Haupt-, Stamm- oder Wurzelverzeichnis Ihrer Web-Präsenz.

Das sich die Robots wirkich daran halten kann ich natürlich nicht versprechen, die bekannten von den Größeren Suchmaschinen sollten dies aber tun ....

Jede Webseite/Homepage sollte mittels einer "robot.txt" den Spidern und Crawlern beim indizieren der Seite zur verfügung stehen.

MfG lachkiste