OneProBotti: die Logfile-Analyse aller Bot-Besuche in Echtzeit

OneProSeo Logfile Analyse
OneProSeo Logfile-Analyse aller Bot-Besuche

Warum OneProBotti?

Früher weit verbreitet, werden die Logfile-Analyse-Tools heutzutage immer seltener eingesetzt. Man greift lieber zu Tracking-Systemen, welche die aufgerufenen Seiten per Javascript-Snippet aufzeichnen. Viele dieser Systeme, wie Google Analytics oder Piwik, bieten sogar eine kostenfreie Nutzung an und lassen sich sehr leicht einsetzen. Die Tracking-Tools ermöglichen außerdem über Cookies eine Erhebung der Daten pro Besucher. Dabei werden meistens nur echte Besucherzugriffe erfasst, da die meisten Bots kein Javascript ausführen. Und genau das ist ein großer Nachteil dieser Tools, wenn man die Zugriffe von Crawlern und Spidern analysieren möchte. Aus SEO-Sicht interessiert primär, was der Googlebot auf der eigenen Seite treibt, z.B.:

  • Welche URLs werden vom Googlebot aufgerufen?
  • Wie oft wird eine Seite vom Googlebot gecrawlt?
  • Wann wurde eine neue URL zum ersten Mal vom Googlebot aufgerufen?
  • Gibt es eine Korrelation zwischen Relevanz, Rankings und den Bot-Zugriffen auf eine URL?
  • Werden nicht existierende URLs vom Googlebot aufgerufen, die mit einem 404 HTTP-Statuscode beantwortet werden?

Antworten liefern die Logfiles des Webservers. Ihre Auswertung ist die Aufgabe von OneProBotti. Die erfassten Daten (Logfiles) werden eingelesen und in einer Datenbank gespeichert. Auf der Datenbasis lassen sich beliebige Analysen durchführen, um neue Erkenntnisse zu gewinnen und weitere Maßnahmen und Optimierungen durchzuführen.

Was kann OneProBotti?

  • Sammlung und Indizierung von Logfile-Daten in verschiedenen Logfile-Formaten.
  • Analyse und Visualisierung der Bot-Zugriffe.
  • ReverseDNS-Analyse (Erkennung von versteckten Bots).
  • Auswertung der Daten nach beliebigen Zeiträumen.
  • Filterung nach einzelnen Bot-Typen.
  • Suche in der Ergebnisliste, um bestimmte URL-Muster oder Bots zu finden.
  • CSV- und Google-Drive-Export-Funktionalität.
  • Tägliche Übersicht der Bot-Zugriffe.
  • Alerts und Monitoring (z.B. Liste aller 404-Aufrufe).