Suchmaschinen crawlen deine Website ständig, folgen Links und indexieren Seiten. Aber nicht jede Seite verdient es, indexiert zu werden. Du hast private Seiten, Admin-Bereiche, Testseiten und doppelte Seiten, die Crawl-Budget verschwenden. Robots.txt ist eine einfache Textdatei, die Suchmaschinen sagt, welche Seiten sie crawlen dürfen und welche nicht. Sie ist der Türsteher zwischen deiner Website und den Bots der Suchmaschinen.
Robots.txt ist eine reine Textdatei im Stammverzeichnis deiner Website (yoursite.com/robots.txt). Sie enthält Anweisungen für Crawler von Suchmaschinen, welche Seiten und Bereiche deiner Website sie crawlen dürfen. Für den Zugriff auf robots.txt brauchst du keinen Login. Sie ist öffentlich. Jeder kann yoursite.com/robots.txt aufrufen und deine Anweisungen sehen.
Suchmaschinen sollen die Regeln in robots.txt befolgen. Die meisten tun das. Manche nicht. Gut erzogene Crawler (Google, Bing, seriöse Suchmaschinen) respektieren robots.txt. Böswillige Akteure und schädliche Bots ignorieren sie oft.
Wie sieht robots.txt aus?
Eine einfache robots.txt-Datei sieht so aus:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Das sagt allen Bots (User-agent: *), dass sie die Bereiche /admin/ und /private/ nicht crawlen dürfen. Es erlaubt ausdrücklich /blog/ (nützlich, wenn ein übergeordneter Ordner gesperrt ist). Es verweist die Bots auch auf deine Sitemap.
Hier ist ein weiteres Beispiel mit spezifischeren Regeln:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Das sperrt nur den Crawler von Google für /temp/. Alle anderen Bots sind für /test/ und alle PDF-Dateien gesperrt. Das Crawl-delay sagt Bots, dass sie 5 Sekunden zwischen den Anfragen warten sollen.
Wie robots.txt dem SEO hilft
Robots.txt hilft dem SEO vor allem auf eine Weise: Es schont das Crawl-Budget. Suchmaschinen weisen jeder Website ein begrenztes Crawl-Budget zu. Bei kleinen Websites ist das Crawl-Budget selten ein Problem. Bei großen Websites mit Tausenden Seiten zählt es.
Hat deine Website 10.000 Seiten, aber nur 500 sind wichtig, sollen Bots die 500 wichtigen Seiten mehrfach crawlen, statt ihr Crawl-Budget auf alle 10.000 Seiten zu verteilen. Robots.txt hält Bots davon ab, Zeit auf unwichtige Seiten zu verschwenden.
Typische Seiten zum Sperren: Admin-Bereiche, Login-Seiten, Dankeseiten, Testseiten, doppelte Inhalte, Sitzungsseiten und temporäre Inhalte. Wenn du diese Seiten sperrst, sagst du Bots, dass sie sich auf Inhalte konzentrieren sollen, die zählen.
Was du in robots.txt nicht sperren solltest
Sperre keine Seiten, die ranken sollen. Sperre nicht deinen Blog-Bereich oder deine Hauptinhalte. Sperre keine CSS-, JavaScript- oder Bilddateien, die zum korrekten Rendern der Seiten nötig sind (außer du willst die Indexierung gezielt verhindern).
Google empfiehlt, CSS-, JavaScript- und Bilddateien nicht zu sperren, auch wenn du sie nicht indexiert haben willst. Das Sperren dieser Ressourcen kann Google daran hindern, deine Seiten richtig zu rendern und zu verstehen.
Nutze robots.txt nicht, um sensible Informationen zu verstecken. Robots.txt ist öffentlich. Jeder kann yoursite.com/robots.txt lesen. Willst du etwas wirklich verstecken, nutze Passwortschutz oder Server-Authentifizierung, nicht robots.txt.
So erstellst du eine robots.txt-Datei
Robots.txt zu erstellen ist einfach. Es ist eine reine Textdatei. Die meisten Website-Builder und CMS-Plattformen erzeugen automatisch eine.
Hat dein CMS keine erstellt, erstelle sie manuell. Öffne einen Texteditor. Schreibe deine Regeln. Speichere sie als „robots.txt“ (nicht „robots.txt.txt“). Lade sie in das Stammverzeichnis deiner Website hoch (yoursite.com/robots.txt).
Teste deine robots.txt-Datei. Gehe zur Google Search Console, wähle deine Property, öffne das Tool Robots.txt-Tester und füge deine Regeln ein. Google zeigt dir, was die Datei sperrt und erlaubt. So bestätigst du, dass deine Regeln wie gewünscht funktionieren.
Häufige robots.txt-Regeln und Beispiele
Hier ist die häufigste Regel: Alle Bots von einem bestimmten Verzeichnis sperren.
User-agent: *
Disallow: /admin/
So sperrst du einen bestimmten Dateityp (etwa PDFs):
User-agent: *
Disallow: /*.pdf
So sperrst du alle Bots außer Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
So fügst du eine Crawl-Verzögerung hinzu (X Sekunden zwischen Anfragen warten):
User-agent: *
Crawl-delay: 10
So verweist du Bots auf deine Sitemap:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Wichtige Grenzen von robots.txt
Robots.txt ist kein Sicherheitswerkzeug. Es ist ein Höflichkeitssystem. Schlechte Bots, Hacker und schädliche Crawler ignorieren robots.txt völlig. Nutze sie nicht, um sensible Daten zu verstecken oder wichtige Seiten zu schützen. Nutze dafür Passwortschutz.
Robots.txt garantiert keinen Ausschluss aus den Suchergebnissen. Google indexiert manchmal Seiten, die in robots.txt aufgeführt sind, wenn sie von anderen indexierten Seiten verlinkt werden. Die Sperre verhindert das Crawling, aber nicht die Indexierung, wenn die Seite anderswo verlinkt ist.
Robots.txt ist kein noindex. Willst du die Indexierung vollständig verhindern, nutze ein Robots-Meta-Tag oder den X-Robots-Tag-Header, nicht robots.txt. Robots.txt steuert nur das Crawling, nicht die Indexierung.
Häufig gestellte Fragen
Beeinflusst robots.txt die SEO-Rankings?
Indirekt. Robots.txt wirkt nicht direkt auf Rankings. Indem du das Crawl-Budget auf wichtige Seiten lenkst, hilfst du Suchmaschinen aber, deine besten Inhalte häufiger zu crawlen und zu indexieren. Besseres Crawling führt zu besserer Indexierung und das zu besserem Ranking-Potenzial. Robots.txt hilft Rankings also indirekt über die Steuerung des Crawl-Budgets. Mit dem Website-Builder von WEMASY kannst du das direkt auf deiner Website einrichten.
Kann ich Google vom Crawlen meiner Website abhalten?
Ja, aber du solltest es nicht tun. Du kannst Googlebot in robots.txt sperren, aber das hindert Google daran, deine Website zu indexieren. Deine Website verschwindet aus der Google-Suche. Der einzige Grund dafür ist, dass du deine Website offline nimmst oder umziehst und die alte Version nicht indexiert haben willst. In fast allen Fällen solltest du Google das Crawlen erlauben.
Unterscheidet robots.txt zwischen Groß- und Kleinschreibung?
Teilweise. Die Befehle User-agent und Disallow unterscheiden nicht zwischen Groß- und Kleinschreibung. Die Pfade, die du sperrst, unterscheiden auf den meisten Servern zwischen Groß- und Kleinschreibung. /Admin/ und /admin/ sind verschiedene Pfade. Teste deine Regeln in der Google Search Console, um sicherzugehen, dass sie wie gewünscht funktionieren.
Sollte ich doppelte Seiten mit robots.txt sperren?
Das hängt davon ab. Robots.txt sperrt das Crawling, aber nicht die Indexierung. Willst du verhindern, dass doppelte Seiten indexiert werden, nutze stattdessen den Canonical-Tag oder ein Robots-Meta-noindex. Nutze robots.txt, um das Crawling unwichtiger Duplikate zu sperren, bei denen es dir egal ist, ob Google sie je findet.
Muss ich Google benachrichtigen, wenn ich robots.txt ändere?
Nein. Google crawlt robots.txt häufig. Änderungen wirken meist innerhalb von Stunden. Du musst deine Website nicht neu einreichen oder jemanden benachrichtigen. Aktualisiere einfach robots.txt und warte auf das nächste Crawling.
Was ist der Unterschied zwischen robots.txt und Robots-Meta-Tags?
Robots.txt sperrt das Crawling auf Dateiebene. Robots-Meta-Tags steuern die Indexierung auf Seitenebene. Robots.txt sagt, dass eine Seite nicht gecrawlt werden darf. Robots-Meta-Tags (wie noindex) sagen, dass eine Seite gecrawlt, aber nicht indexiert werden soll. Nutze robots.txt für große Bereiche, die gesperrt sein sollen. Nutze Robots-Meta-Tags für einzelne Seiten, die gecrawlt, aber nicht indexiert werden sollen.