Robot und Spider Informationen
Unser Robot untersucht die Webseiten auf Ihre Existenz und erzeugt ein Thumbnail-Snapshot ihrer Webseite. Der Snapshotter speichert keine Texte, Bilder und auch sonst keine relevanten Inhalte von den besuchten Webseiten.
User Agent-Bezeichnung lautet: Mozilla/5.0 (compatible; Thumbshotsserver/0.9; http://www.thumbshots-server.com/bot/)
Wenn Sie sich denoch durch unseren Spider oder Bot belästigt fühlen, können Sie unseren Robot durch einen Eintrag in Ihrer Robots.txt von Ihren Webseiten fern halten. Nach Übereinkunft mit dem Robots Exclusion Standard (RES) von 1994 liest auch unser Robot beim Besuchen einer Webseite zuerst die Datei Robots.txt, welche in der Regel im Root-Directory abgelegt ist. Diese so genannte Textdatei ist ein fester Bestandteil der HTML-Programmierung und dient der Festlegung welcher Teil einer Webseite von einem Robot besucht werden darf. Wenn Sie bestimmte Teile Ihrer Website von unseren Robot nicht durchsuchen lassen möchten, dann legen Sie diese Datei an und fügen Sie folgenden Abschnitt der Robots.txt hinzu:
#sperrt alle Dateien und Verzeichnisse
user-agent: thumbshotserver
disallow: /
# sperrt das cgi-bin Verzeichnis
user-agent: thumbshotserver
disallow: /cgi-bin/
# sperrt im Verzeichnis folder alle .php Dateien
user-agent: thumbshotserver
disallow: /folder/*.php$
# sperrt alles was mit geheim anfängt
user-agent: thumbshotserver
disallow: /geheim
Robots Exclusion Standard Protokoll Informationen
Das Robots Exclusion Standard Protokoll hat seit seiner Einführung im Jahr 1994 breite Anerkennung gefunden und ist inzwischen allgemein anerkannt. Die Konvention wird weltweit als Quasi-Standard betrachtet und daher - auch von unseren Snapshotter eingehalten. Weitere Informationen über den Umgang mit der robots.txt finden Sie in den Weiten des Internets oder hier -> www.robotstxt.org
