Suchmaschinen-Bots besuchen deine Website ständig. Sie crawlen Seiten, folgen Links und prüfen auf Updates. In der Google Search Console siehst du diese Aktivität aber nicht. Du siehst sie nur in deinen Server-Logs. Server-Logs erfassen jede Anfrage an deinen Server, auch welcher Bot sie gestellt hat, welche Seite er gecrawlt hat, wie lange es gedauert hat und welchen Antwortcode er bekommen hat. Die Log-Analyse zeigt, wie Suchmaschinen deine Website tatsächlich behandeln.
Was sind Server-Logs?
Server-Logs sind Aufzeichnungen jeder Anfrage an deinen Webserver. Jede Zeile steht für eine Anfrage. Das Log zeigt die IP-Adresse des Besuchers, was er angefragt hat, wann er es angefragt hat, welchen Antwortcode der Server zurückgegeben hat und wie viele Daten gesendet wurden.
Jeder Hosting-Anbieter führt Server-Logs. Du kannst sie über dein Hosting-Kontrollpanel oder per FTP abrufen. Übliche Log-Formate sind Apache-Zugriffsprotokolle und Nginx-Logs. Die meisten Hosting-Anbieter lassen dich Logs zur Analyse herunterladen.
Log-Dateien können riesig sein. Eine stark besuchte Website erzeugt täglich Gigabytes an Logs. Sie zu analysieren, braucht Tools. Du kannst Millionen von Log-Einträgen nicht von Hand durchlesen.
Crawler-User-Agents verstehen
Jeder Bot meldet sich mit einem User-Agent-String. Googlebot ist der Crawler von Google. Bingbot ist der Crawler von Bing. Slurp ist der Crawler einer weiteren Suchmaschine. Andere Suchmaschinen haben ihre eigenen Bots.
Du kannst Logs nach User-Agent filtern, um nur Anfragen bestimmter Crawler zu sehen. So erfährst du, wie oft jede Suchmaschine deine Website crawlt.
Achte auf gefälschte User-Agents. Böswillige Akteure geben sich als Suchmaschinen aus. Ein User-Agent-String mit "Googlebot" ist nicht unbedingt wirklich der Googlebot. Prüfe die IP-Adresse. Die echten IP-Adressen des Googlebots veröffentlicht Google.
Was du aus Logs lernen kannst
Crawl-Häufigkeit: Wie oft crawlt jede Suchmaschine deine Website? Täglich? Wöchentlich? Mehrmals am Tag? Die Crawl-Häufigkeit zeigt, wie viel Wert Google auf deine Website legt.
Crawl-Muster: Welche Seiten besucht der Crawler? Crawlt er wichtige Seiten häufiger? Verschwendet er Zeit mit unwichtigen Seiten? Das zeigt, wie das Crawl-Budget verteilt wird.
Antwortcodes: Geben Seiten 200 (Erfolg) oder Fehler zurück? Viele 4xx- oder 5xx-Fehler deuten auf Probleme hin.
Crawl-Geschwindigkeit: Wie viel Zeit verbringt der Bot mit dem Crawlen? Schnelle Crawls zeigen, dass die Seiten schnell laden. Langsame Crawls zeigen Performance-Probleme.
Bot-Verhalten: Halten sich Bots an die robots.txt? Beachten sie nofollow? Crawlen sie Bilder und CSS? Das zeigt, ob dein technisches Setup stimmt.
So analysierst du Logs
Lade deine Logs herunter. Öffne dein Hosting-Kontrollpanel, suche den Bereich für Logs und lade die Zugriffsprotokolle für den Zeitraum herunter, den du analysieren willst.
Nutze Tools zur Log-Analyse. Log-File-Analyzer können Logs auswerten und Erkenntnisse herausziehen. Diese Tools filtern nach User-Agent, IP-Adresse, Antwortcode und mehr.
Filtere nach Crawlern. Konzentriere dich auf Anfragen von Suchmaschinen-Bots. Filtere normalen Nutzer-Traffic heraus. So isolierst du das Verhalten der Crawler.
Analysiere Muster. Sieh dir Trends bei der Crawl-Häufigkeit an. Nehmen die Crawls zu oder ab? Steigen die Fehlerraten? Passen die Crawl-Muster zu deinen Erwartungen?
Häufige Erkenntnisse aus der Log-Analyse
Unwichtige Seiten werden häufiger gecrawlt als wichtige. Das deutet auf ein Problem mit der Seitenstruktur hin. Wichtige Seiten sollten häufiger gecrawlt werden. Nutze robots.txt oder interne Verlinkung, um wichtige Seiten zu priorisieren.
Hohe Fehlerraten. Viele 4xx- oder 5xx-Antworten deuten auf kaputte Seiten oder Serverprobleme hin. Behebe die Fehler, um die Crawlbarkeit zu verbessern.
Niedrige Crawl-Häufigkeit. Crawlen Suchmaschinen deine Website selten, kann das auf geringe Autorität oder schwache Inhaltsqualität hindeuten. Verbessere Inhalte und Backlinks, um mehr Crawls anzuziehen.
Bots crawlen gesperrte Seiten. Sperrt die robots.txt Seiten, Crawler fragen sie aber trotzdem an, ignorieren die Bots deine Sperrregeln. Das ist meist harmlos.
Grenzen der Log-Analyse
Die Log-Analyse zeigt Anfragen an deinen Server, aber nicht jede Crawler-Aktivität. Manche Suchmaschinen nutzen Caching. Sie crawlen nicht jede URL jedes Mal. Zwischengespeicherte Crawls erscheinen nicht in den Logs.
Die Log-Analyse zeigt keine Indexierungsentscheidungen. Nur weil eine Seite gecrawlt wurde, heißt das nicht, dass sie indexiert wurde. Suchmaschinen crawlen und verwerfen ständig Seiten.
Große Log-Dateien sind schwer zu handhaben. Eine stark besuchte Website erzeugt riesige Logs. Gigabytes an Daten zu analysieren, braucht leistungsstarke Tools und Fachwissen.
Log-Daten sind technisch. Man muss HTTP-Antworten, User-Agent-Strings und das Serververhalten verstehen. Das ist nichts für Einsteiger.
Häufig gestellte Fragen
Wo finde ich meine Server-Logs?
Dein Hosting-Anbieter hat die Server-Logs. Logge dich in dein Hosting-Kontrollpanel ein und suche einen Bereich namens Logs oder Statistiken. Die meisten Anbieter lassen dich rohe Logs herunterladen. Manche bieten Log-Viewer. Findest du sie nicht, wende dich an deinen Hosting-Anbieter. Mit dem Website-Builder von WEMASY kannst du das direkt auf deiner Website einrichten.
Wie weit reichen Server-Logs zurück?
Das hängt vom Host ab. Manche Anbieter speichern Logs 30 Tage, andere 90 Tage. Enterprise-Hosts speichern Logs teils über Jahre. Schau in die Dokumentation deines Hostings. Brauchst du ältere Logs, lade sie regelmäßig herunter und archiviere sie.
Sollte ich Logs selbst analysieren oder jemanden beauftragen?
Für die meisten Websites reicht die Google Search Console. Die Log-Analyse ist fortgeschritten und technisch. Nutze Logs nur, wenn die GSC dir die nötigen Antworten nicht gibt. Wenn du Logs analysierst, nutze einen speziellen Log-File-Analyzer. Fehlt dir das Fachwissen, beauftrage einen SEO-Berater.
Kann ich mit Logs schädliche Bots erkennen?
Ja. Logs zeigen alle Anfragen, auch von schädlichen Bots. Achte auf ungewöhnliche User-Agent-Strings, hohe Anfragerraten oder Crawl-Muster, die keinen Sinn ergeben. Schädliche Bots crawlen deine Website oft viel schneller als seriöse Crawler. Du kannst sie mit der robots.txt oder deiner Firewall sperren.
Hilft die Analyse von Logs, mein Ranking zu verbessern?
Indirekt. Die Log-Analyse hilft dir, Crawling-Probleme, Probleme mit der Seitenstruktur und Performance-Engpässe zu verstehen. Werden diese Probleme behoben, verbessert das deine Website für Crawler und Nutzer, was das Ranking verbessern kann. Logs sind aber ein Diagnose-Tool und selbst kein Rankingfaktor.
Was ist der Unterschied zwischen Logs und Daten aus der Search Console?
Logs zeigen jede Anfrage an deinen Server. Die Search Console zeigt, was Google mit diesen Anfragen gemacht hat (indexiert, abgelehnt usw.). Logs sind Rohdaten. Die Search Console ist Googles Interpretation der Daten. Nutze beides zusammen für ein vollständiges Bild.