Das SSL-Zertifikat deiner Website funktioniert für menschliche Besucher einwandfrei. Doch KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot kommen überhaupt nicht an deine Inhalte heran.
Die meisten GEO-Strategien konzentrieren sich auf robots.txt und Content-Optimierung. Doch bevor ein KI-Crawler deine robots.txt lesen kann, muss er mit deinem Server einen HTTPS-Handshake erfolgreich abschließen. Scheitert dieser Handshake, sind deine Inhalte für KI unsichtbar, egal wie gut du sie optimierst.
In diesem Artikel erfährst du, warum HTTPS und SSL-Zertifikate die Grundlage für KI-Sichtbarkeit sind. Du lernst, welche Sicherheitsebenen Crawler betreffen, welche SSL-Fehler die KI-Indexierung blockieren und wie du prüfst, ob alle wichtigen KI-Plattformen auf deine Website zugreifen können.
Was HTTPS und SSL-Zertifikate sind
HTTPS ist HTTP mit einer zusätzlichen Sicherheitsschicht. Wenn sich ein Besucher oder Crawler mit deiner Website verbindet, verschlüsselt HTTPS die Daten zwischen seinem Browser (oder Crawler) und deinem Server. Dafür nutzt es SSL (Secure Sockets Layer) oder dessen modernen Nachfolger TLS (Transport Layer Security).
Ein SSL-Zertifikat ist der digitale Ausweis, mit dem sich dein Server als echt zu erkennen gibt. Es enthält die Domain deiner Website, den Aussteller des Zertifikats und ein Ablaufdatum. Wenn ein Crawler deine Website aufruft, zeigt dein Server das Zertifikat als Identitätsnachweis. Der Crawler prüft dieses Zertifikat, bevor er auf Inhalte zugreift.
Für Besucher mit modernen Browsern bleibt dieser Vorgang unsichtbar. Sie sehen nur das grüne Schloss. Fehlt dein Zertifikat, ist es abgelaufen, selbst signiert oder passt nicht zu deiner Domain, scheitert der Handshake. Und dieser Fehler sperrt Crawler komplett aus.
Warum KI-Crawler HTTPS brauchen, um deine Inhalte zu erreichen
KI-Crawler senden HTTP-Anfragen, genau wie Googlebot. Sie folgen Links, rufen Seiten ab und lesen HTML aus. Anders als manche ältere Crawler verlangen aber alle modernen KI-Plattformen (der Crawler von ChatGPT, der von Perplexity, der von Claude) eine gültige HTTPS-Verbindung, bevor sie überhaupt versuchen, die robots.txt zu lesen oder eine einzige Seite abzurufen.
So läuft es ab, wenn ein KI-Crawler deine Website besucht. Zuerst versucht er, über TLS eine sichere Verbindung zu deiner Domain aufzubauen. Dein Server antwortet mit einem SSL-Zertifikat. Der Crawler prüft, ob das Zertifikat echt ist und zu deiner Domain passt. Nur wenn diese Prüfung gelingt, fragt der Crawler tatsächlich deine Inhalte ab.
Ist dein SSL-Zertifikat ungültig oder abgelaufen, bricht der Crawler beim zweiten Schritt ab und ruft deine Inhalte nie ab. Aus Sicht des Crawlers ist deine Website nicht erreichbar. Er versucht es morgen nicht erneut. Er markiert deine Domain als nicht zugänglich und zieht weiter.
Das unterscheidet sich vom klassischen SEO. Google wiederholt fehlgeschlagene Anfragen und indexiert Inhalte am Ende auch dann, wenn es vorübergehend Verbindungsprobleme gab. KI-Crawler sind beim ersten Zugriff strenger. Ein gescheiterter SSL-Handshake bei der ersten Anfrage bedeutet oft, dass gar nicht indexiert wird.
Wie SSL-Zertifikatsprobleme KI-Crawler blockieren
Nicht jedes SSL-Problem fällt auf. Ein Zertifikat kann technisch installiert sein und trotzdem bei bestimmten Crawlern die Prüfung nicht bestehen. Die häufigsten Ursachen:
Abgelaufene Zertifikate
Ein Zertifikat, dessen Ablaufdatum überschritten ist, ist ungültig. Crawler lehnen es sofort ab. Manche Websites nutzen sehr kurzlebige Zertifikate (30 bis 90 Tage) und erneuern sie automatisch. Fällt die Automatik aus, läuft das Zertifikat unbemerkt ab, und Crawler verlieren sofort den Zugriff.
Selbst signierte Zertifikate
Ein selbst signiertes Zertifikat wird von deinem eigenen Server signiert statt von einer vertrauenswürdigen Zertifizierungsstelle. Browser und Crawler vertrauen solchen Zertifikaten nicht, denn jeder könnte eines erstellen und sich als jemand anderes ausgeben. Für Entwicklung oder interne Netzwerke sind sie in Ordnung, aber sie sperren jeden öffentlichen Crawler aus.
Falsche Domain im Zertifikat
Wenn dein Zertifikat für example.com ausgestellt ist, du die Website aber über www.example.com aufrufst (oder umgekehrt), passt die Domain im Zertifikat nicht zur angefragten Domain. Crawler lehnen das ab. Schon ein kleiner Unterschied zählt: Ein SSL-Zertifikat für sub.example.com ist nicht gültig, wenn der Crawler content.example.com abruft.
Probleme mit der Zertifikatskette
Ein SSL-Zertifikat hängt in einer Kette, die bis zu einer Root-Zertifizierungsstelle zurückführt. Sendet dein Server nicht die vollständige Kette (du hast das Endzertifikat, aber nicht die Zwischenzertifikate), können Crawler deine Identität unter Umständen nicht prüfen. Manche Crawler sind nachsichtig und suchen das fehlende Zwischenzertifikat online. Andere brechen die Verbindung sofort ab.
Probleme bei der SNI-Konfiguration
Server Name Indication (SNI) erlaubt es einem Server, mehrere HTTPS-Websites zu betreiben, indem er erkennt, welche Website der Besucher aufruft. Ist dein Server nicht für SNI konfiguriert oder falsch eingerichtet, erhalten Crawler, die deine Domain abrufen, unter Umständen das Zertifikat einer anderen Domain. Dann schlägt die Prüfung fehl.
Sicherheits-Header, die den Zugriff von KI-Crawlern beeinflussen
Sobald der SSL-Handshake gelingt, kann dein Server Sicherheits-Header senden, die steuern, wie Crawler mit deinen Inhalten umgehen. Diese Header sperren Crawler nicht komplett, beeinflussen aber, wie Crawler deine Seiten verarbeiten.
Strict-Transport-Security (HSTS)
HSTS weist Crawler an, deine Website immer über HTTPS aufzurufen, nie über HTTP. Das ist gut für die Sicherheit und blockiert keine Crawler. Stellst du HSTS aber mit sehr langer Gültigkeit falsch ein und wechselst später zu einem ungültigen Zertifikat, müssen Crawler HTTPS nutzen, können den Handshake aber nicht abschließen. Achte darauf, dass deine HSTS-Richtlinie für die gesamte festgelegte Dauer mit gültigen Zertifikaten abgedeckt ist.
X-Frame-Options und X-Content-Type-Options
Diese Header sagen Crawlern, wie sie deine Inhalte behandeln sollen. Sie hindern Crawler nicht daran, Inhalte abzurufen. Sie können aber beeinflussen, wie Crawler Informationen aus deinen Seiten lesen und auswerten.
Content-Security-Policy
CSP-Header können einschränken, auf welche Ressourcen Crawler von deinen Seiten aus zugreifen dürfen. Bei einer sehr strengen CSP, die externe Ressourcen blockiert, können Crawler Bilder, Stylesheets oder Skripte deiner Seiten womöglich nicht abrufen. Das HTML selbst bleibt zugänglich, aber die Signale, die Crawler auslesen können, werden weniger.
Häufige SSL-Fehler und was sie für die KI-Indexierung bedeuten
Wenn ein KI-Crawler dein SSL-Zertifikat nicht prüfen kann, protokolliert er einen Fehler. Wer diese Fehler versteht, findet schneller heraus, was kaputt ist. Das sind die häufigsten:
Zertifikat abgelaufen
Dein SSL-Zertifikat hat sein Ablaufdatum überschritten. Crawler lesen das Ablaufdatum im Zertifikat und lehnen es ab. Das ist das am leichtesten erkennbare und behebbare Problem. Prüfe das Ablaufdatum deines Zertifikats und erneuere es, bevor es abläuft.
Zertifikat passt nicht zur Domain
Die Domain im Zertifikat stimmt nicht mit der Domain überein, die der Crawler abruft. Das passiert oft, wenn du auf eine neue Domain umziehst und vergisst, das SSL-Zertifikat zu aktualisieren, oder wenn du eine Subdomain hinzufügst, dein Zertifikat aber nur die Hauptdomain abdeckt.
Zertifizierungsstelle nicht überprüfbar
Der Crawler kann dein Zertifikat nicht bis zu einer vertrauenswürdigen Root-Zertifizierungsstelle zurückverfolgen. Das passiert, wenn das Zertifikat von einer nicht vertrauenswürdigen Stelle ausgestellt wurde oder dein Server nicht die vollständige Kette der Zwischenzertifikate gesendet hat.
Zertifikat widerrufen
Deine Zertifizierungsstelle hat das Zertifikat wegen eines Sicherheitsvorfalls oder einer Fehlkonfiguration widerrufen. Crawler prüfen den Widerrufsstatus und verweigern den Zugriff. Das kommt selten vor, ist dann aber ernst.
So prüfst du dein HTTPS-Setup für KI-Crawler
Am sichersten stellst du den Zugriff von KI-Crawlern sicher, indem du ihn selbst testest. Diese Prüfschritte gehören zu einem größeren technischen GEO-Audit. So prüfst du gezielt auf HTTPS-Probleme:
Online-SSL-Prüftools nutzen
Kostenlose SSL-Prüftools analysieren dein SSL-Setup vollständig. Sie prüfen Gültigkeit des Zertifikats, Vollständigkeit der Kette, unterstützte TLS-Versionen und bekannte Schwachstellen. Gib deine Domain in ein solches Tool ein und behebe alle gemeldeten Fehler.
Mit curl oder wget testen
Führe in einem Terminal curl -I https://deinedomain.de oder wget --spider https://deinedomain.de aus. Diese Tools verhalten sich wie ein Crawler. Scheitern sie mit einem SSL-Fehler, scheitern auch Crawler. Die Fehlermeldung zeigt dir genau, was nicht stimmt.
Mit OpenSSL prüfen
OpenSSL ist das Standardwerkzeug für SSL-Diagnosen. Mit openssl s_client -connect deinedomain.de:443 siehst du genau, welches Zertifikat dein Server ausliefert und ob es korrekt validiert wird.
Vollständigkeit der Zertifikatskette prüfen
Mit Tools wie testssl.sh prüfst du, ob dein Server die vollständige Zertifikatskette sendet. Fehlen Zwischenzertifikate, ergänze sie in deiner Serverkonfiguration.
Auf mehreren KI-Plattformen testen
Manche KI-Crawler sind bei der SSL-Prüfung strenger als andere. Teste deine Website, indem du bei ChatGPT, Perplexity, Claude und Google Gemini eine Antwort anforderst, die deine Inhalte enthält. Kann eine Plattform nicht auf deine Website zugreifen, schau in die Dokumentation ihres Crawlers nach SSL-Anforderungen. Wie sich die KI-Plattformen im Detail unterscheiden, erfährst du in unseren Leitfäden zur Optimierung für die ChatGPT-Suche und zur Optimierung für die Plattform Perplexity.
So kümmert sich WEMASY um SSL und Sicherheit für die Crawlbarkeit durch KI
Jede Website, die du mit WEMASY erstellst, hat automatisch HTTPS mit einem gültigen SSL-Zertifikat einer vertrauenswürdigen Zertifizierungsstelle. Dein Zertifikat wird automatisch bereitgestellt, erneuert und überwacht. Du musst dich nicht um Ablaufdaten oder Erneuerungszyklen kümmern.
WEMASY richtet dein Zertifikat außerdem so ein, dass es sowohl deine Hauptdomain als auch die Subdomain www abdeckt. So gibt es keine Fehler durch nicht passende Domains. Die vollständige Zertifikatskette wird automatisch mitgesendet, damit Crawler deine Identität ohne Fehler prüfen können.
Deine HSTS-Header sind mit einer sinnvollen Gültigkeitsdauer eingestellt. So bleibt die Sicherheit erhalten, ohne dass ein Problem entsteht, falls du Zertifikate ändern musst. Mehr dazu in den Sicherheits- und Leistungsfunktionen, die in jedem WEMASY-Tarif enthalten sind.
Häufig gestellte Fragen
Unterstützen KI-Crawler sowohl HTTPS als auch HTTP?
Nein. Alle wichtigen KI-Crawler (GPTBot, ClaudeBot, PerplexityBot) verlangen ausschließlich HTTPS. HTTP unterstützen sie nicht. Eine Website, die nur über HTTP läuft, ist für KI-Crawler gar nicht erreichbar. Läuft deine ältere Website noch über HTTP, stelle sie sofort auf HTTPS um. HTTPS ist für den Zugriff von KI-Crawlern Pflicht. Mit dem Website-Builder von WEMASY richtest du das direkt auf deiner Website ein.
Funktioniert ein Wildcard-SSL-Zertifikat für alle Subdomains?
Ja. Ein Wildcard-Zertifikat (*.example.com) deckt jede Subdomain unterhalb deiner Hauptdomain ab. Hast du Subdomains wie api.example.com oder blog.example.com, deckt ein Wildcard-Zertifikat alle ab. Die Hauptdomain selbst (example.com) deckt ein Wildcard-Zertifikat aber nur ab, wenn sie ausdrücklich enthalten ist. Achte darauf, dass dein Wildcard-Zertifikat sowohl den Wildcard-Eintrag als auch die Hauptdomain abdeckt.
Folgen KI-Crawler SSL-Weiterleitungen von HTTP auf HTTPS?
Die meisten tun das. Leitet dein Server HTTP-Anfragen auf HTTPS um (eine gängige Konfiguration), folgen KI-Crawler der Weiterleitung und setzen mit der HTTPS-Verbindung fort. Das kostet aber einen zusätzlichen Schritt und weitere Crawler-Ressourcen. Am besten schaltest du HTTP komplett ab und akzeptierst nur HTTPS-Verbindungen. So gibt es keinen Weiterleitungsaufwand, und kein Crawler landet auf einer unverschlüsselten Version deiner Website.
Wie oft sollte ich mein SSL-Zertifikat erneuern?
Moderne SSL-Zertifikate gelten in der Regel ein Jahr. Die meisten Hosting-Anbieter und Plattformen (auch WEMASY) erneuern automatisch. Du musst nicht manuell erneuern, außer du hast ein sehr altes Hosting-Setup. Setz dir zur Sicherheit eine Kalender-Erinnerung 30 Tage vor Ablauf, aber die automatische Erneuerung sollte Ablaufprobleme komplett verhindern.
Schadet ein fehlerhaftes SSL-Zertifikat meinem SEO-Ranking?
Ja. Google verlangt HTTPS und stuft Websites ohne gültiges HTTPS als weniger hochwertig ein. Ein abgelaufenes oder ungültiges SSL-Zertifikat wird wie eine HTTP-Website behandelt und im Ranking abgestraft. Für die KI-Sichtbarkeit ist die Strafe noch härter, denn KI-Crawler kommen bei abgelaufenen Zertifikaten gar nicht an deine Inhalte heran. Sie indexieren deine Inhalte nicht, egal wie gut sie optimiert sind.
Kann ich ein selbst signiertes Zertifikat für eine Live-Website nutzen?
Nein. Selbst signierte Zertifikate lehnen alle wichtigen Crawler und Browser ab. Sie eignen sich nur für Entwicklung, Tests oder interne Netzwerke, in denen du alle Clients kontrollierst, die sich mit dem Server verbinden. Nutze für jede öffentliche Website ein Zertifikat einer vertrauenswürdigen Zertifizierungsstelle (CA). Die meisten Zertifizierungsstellen bieten für den Grundbedarf sehr günstige oder kostenlose Zertifikate an.