Der Zyklop Crawler
der Seoratio

Herzlichen Willkommen auf den Spider-Seiten der Seoratio Gbr. Wir sind ein Online-Marketing Dienstleister mit Sitz in Untermeitingen bei Augsburg. Im Kundenauftrag nehmen unsere Zyklop-Spider das Web unter die Lupe und suchen gezielt nach Webinhalten zur Analyse oder Weiterverarbeitung. Sollten unsere Spider Probleme auf Ihrer Website verursachen, bieten wir Ihnen mit dieser Website die nötigen Lösungsschritte an. Hier stellen wir die häufig auftretenden Problemfälle dar. Natürlich sind wir auch jederzeit für Sie persönlich da. Schreiben Sie uns eine E-Mail oder benutzen unser Kontaktformular.

Image description

Wie steuert man die Zugriffe von Spidern auf einer Webseite?

Steuerung auf Seitenebene

Auf Seitenebene können Sie mit Hilfe des Meta-Tags „robots“ verhindern, dass Crawler Ihre Seite in ihren Webindex aufnehmen. Um aber festzustellen ob eine Seite aufgenommen werden darf, muss Sie aufgerufen werden.

Steuerung auf Domainebene

In der robots.txt-Datei legen Sie fest, welche Bereiche Ihrer Website von bestimmten Crawlern nicht besucht werden sollen. Um unseren Crawler auszusperren, müssen Sie folgende Anweisung in ihrer Robots-Datei angeben:

User-agent: zyklop
Disallow: /

weitere Informationen

Weitere Erläuterungen, wie Sie eine robots.txt-Datei aufbauen, finden Sie hier.
Eine robots-txt-Datei liefert keinen 100% Schutz vor Crawlern dar, da es keine Verpflichtung gibt, sich an die Anweisungen in der robots.txt-Datei zu halten. Unsere Spider beachten jedoch diese Regeln.

Was ist ein User-Agent und wo befindet er sich?

Beispiele für User Agents sind Webbroswer, Email-Programme, Newsreader oder eben auch Crawler. Im Grunde sind User Agents Client-Programme, die mit einem Netzwerkdienst genutzt werden können. Sobald ein Crawler Ihre Seite besucht, überträgt er seinen Namen an den entsprechenden Server. Sie können die Namen der Crawler, die Ihre Website besuchen, in den Logfiles Ihres Servers einsehen.

Sie vermuten eine Hacker- oder DDoS-Attacke?

Unsere Webcrawler fragen eine URL pro Sekunde ab. Viele Spider u.a. auch Google gehen hier deutlich aggressiver vor. Trotzdem kann es in Einzelfällen möglich sein, dass unser Zyklop-Crawler auf Ihrem Webserver eine so hohe Last erzeugt.

Dieser Fall ist vergleichbar mit einer DoS-Attacke (Denial-of-Service-Attacke), die aber von uns natürlich ungewollt ist. Bitte Kontaktieren Sie uns umgehend über das Kontaktformular, wir werden dafür sorgen, dass der Crawler Ihre Seite nicht mehr behelligt.

Unser Crawler kann keine „illegalen“ Aktivitäten auf Ihrer Seite ausüben, wie etwa Passwörter ausspähen, Schadsoftware installieren oder Hacken. Wenn unser Crawler einen passwort-geschützten Bereich erreicht, dann nur, weil er einen ungeschützten Zugang gefunden hat. Dies deutet auf einen Fehler in Ihrer Seitenarchitektur hin.

Der gleiche Fall gilt, wenn Sie Formulareingaben, Warenkörbe mit leeren Bestellungen, oder leere Kommentare erhalten.
 Der Zyklop-Crawler von Seoratio wurde nur zu einem Zweck zum Einsatz gebracht: Er verfolgt Links. Wenn bei dem verfolgen von Links Aktionen ausgelöst werden, die obigen Szenarien entsprechen, deutet dies auf eine unreichende Absicherung Ihrer Webanwendung hin und bietet jedem anderen Besucher Ihrer Website die Möglichkeit der Manipulation. In Ihrem eigenen Interesse sollten sie so schnell wie möglich Ihre Webanwendung überprüfen lassen und an die neuesten Sicherheitsstandards anpassen.Ihnen entstandene Unannehmlichkeiten tun uns sehr leid und sind von uns in keinster Weise beabsichtigt.

top