KI-Crawler-Zugriff freigeben: noai, nosnippet & X-Robots-Tag richtig setzen
noindex, nosnippet oder noai können KI-Antwortmaschinen komplett aussperren. So prüfen und öffnen Sie den Zugriff für ChatGPT, Perplexity & Co. gezielt.
Inhaltsverzeichnis
KI-Crawler-Zugriff freigeben: noai, nosnippet & X-Robots-Tag richtig setzen
Selbst wenn Ihre Inhalte inhaltlich stark und technisch sauber strukturiert sind, kann eine einzelne technische Einstellung dafür sorgen, dass KI-Antwortmaschinen sie überhaupt nicht auslesen dürfen. EverAudit meldet diesen Fall als geo-ai-access-blocked — den unmittelbarsten Blocker innerhalb der GEO-Kategorie.
Was ist das Problem?#
Websites können den Zugriff auf ihre Inhalte über zwei technische Wege einschränken:
- Das robots-Meta-Tag im
<head>der Seite, z. B.<meta name="robots" content="noindex, nosnippet">. - Der
X-Robots-Tag-HTTP-Response-Header, der dieselbe Wirkung serverseitig entfaltet, ohne dass eine Direktive im HTML sichtbar sein muss.
Enthält eine dieser beiden Stellen Direktiven wie noindex, nosnippet oder die neuere noai/noimageai-Direktive einzelner Anbieter, untersagt das den entsprechenden Systemen, die Seite anzuzeigen beziehungsweise Textauszüge daraus zu verwenden. Für generative KI-Antwortmaschinen bedeutet das: Die Seite kann nicht als Quelle herangezogen oder zitiert werden, selbst wenn sie inhaltlich genau zur gestellten Frage passt.
Warum prüft EverAudit das?#
EverAudit liest bei jeder gecrawlten Seite sowohl das robots-Meta-Tag als auch den X-Robots-Tag-Response-Header aus und prüft auf blockierende Direktiven. Da beide Mechanismen unabhängig voneinander gesetzt werden können — ein Meta-Tag im Template, ein Header in der Server- oder CDN-Konfiguration —, kann eine Sperre leicht an einer Stelle übersehen werden, während die andere korrekt konfiguriert ist. Der Audit prüft deshalb konsequent beide Quellen für jede Seite.
Welche Auswirkung hat das?#
Solange eine blockierende Direktive aktiv ist, bleibt die betroffene Seite für KI-Antwortmaschinen vollständig unsichtbar — unabhängig von Content-Qualität, Structured Data oder Überschriften-Struktur. Für ein Unternehmen bedeutet das konkret: Fragen, bei denen Ihr Angebot eigentlich die passende Antwort wäre, werden von der KI mit anderen — sichtbaren — Quellen beantwortet. Ein wachsender Rechercheweg für potenzielle Kunden bleibt Ihnen dadurch verschlossen.
Wichtig zur Einordnung: Diese Sperre kann sowohl bewusst gesetzt sein (etwa für interne, nicht-öffentliche Bereiche) als auch versehentlich, zum Beispiel als Überbleibsel aus einer Staging-Umgebung oder einer zu pauschal konfigurierten Security-Header-Regel.
Wie beheben Sie eine unbeabsichtigte KI-Sperre?#
1. Betroffene Direktiven identifizieren. Im Browser über die Entwicklertools den Response-Header der Seite prüfen (Tab „Netzwerk", Antwort-Header der HTML-Anfrage) sowie den Quellcode nach <meta name="robots"> durchsuchen.
2. Robots-Meta-Tag korrigieren, falls die Seite ausspielbar sein soll:
<!-- Blockierend -->
<meta name="robots" content="noindex, nosnippet, noai">
<!-- Freigegeben -->
<meta name="robots" content="index, follow">3. X-Robots-Tag-Header korrigieren, falls die Sperre serverseitig gesetzt ist — üblicherweise in der Webserver- oder CDN-Konfiguration:
# Blockierend
X-Robots-Tag: noindex, nosnippet
# Entfernen oder auf eine gezielte Freigabe ändern4. Gezielt statt pauschal sperren. Für Bereiche, die tatsächlich nicht öffentlich zugänglich sein sollen (etwa interne Tools oder Entwürfe), die Sperre nur auf diese Seiten oder Pfade beschränken — nicht auf die gesamte Domain, wenn nur ein Teilbereich betroffen sein soll.
5. Nach jedem Relaunch oder Header-Update erneut prüfen. Diese Direktiven werden häufig über eine zentrale Server- oder Sicherheits-Konfiguration gesetzt, die bei künftigen Änderungen leicht unbemerkt mit-geändert wird — ein erneuter Audit-Lauf nach solchen Änderungen deckt eine versehentliche Sperre zuverlässig auf.
Fazit#
Eine technische KI-Zugriffssperre ist der wirkungsvollste Einzelfaktor in der GEO-Kategorie, weil sie jede andere Optimierung — Structured Data, Gliederung, Autor-Signale — wirkungslos macht, solange sie aktiv ist. Die Prüfung und Korrektur ist technisch einfach: robots-Meta-Tag und X-Robots-Tag-Header kontrollieren, blockierende Direktiven gezielt entfernen und die Freigabe nach jedem größeren Deployment erneut bestätigen.
Häufige Fragen
Welche Direktiven blockieren KI-Antwortmaschinen konkret?
Vor allem noindex (Seite wird gar nicht indexiert), nosnippet (kein Textauszug wird angezeigt) und die neuere noai/noimageai-Direktive einzelner Anbieter. Alle drei lassen sich sowohl über das robots-Meta-Tag im HTML als auch über den X-Robots-Tag-HTTP-Header setzen.
Warum ist mein KI-Zugriff blockiert, obwohl ich das nicht wollte?
Häufigste Ursache ist eine website-weite Sicherheitseinstellung oder ein Staging-Header, der versehentlich mit auf die Live-Website übernommen wurde – etwa ein X-Robots-Tag mit noindex, der ursprünglich nur für eine Testumgebung gedacht war.
Blockiert robots.txt auch KI-Antwortmaschinen?
robots.txt steuert, ob ein Crawler eine Seite überhaupt abrufen darf, während robots-Meta-Tag und X-Robots-Tag steuern, was mit einer bereits abgerufenen Seite geschehen darf. Viele KI-Anbieter betreiben eigene, benannte Crawler-User-Agents, die sich in robots.txt gezielt einzeln erlauben oder sperren lassen.
Sollte ich KI-Crawlern grundsätzlich Zugriff geben?
Das hängt von Ihrer Strategie ab: Möchten Sie in KI-Antworten als Quelle erscheinen, sollte der Zugriff für die relevanten Seiten offen sein. Für sensible oder nicht für die Öffentlichkeit bestimmte Bereiche kann eine gezielte Sperre weiterhin sinnvoll sein.
Wie finde ich heraus, welche Seiten betroffen sind?
Ein automatisierter Website-Audit prüft robots-Meta-Tag und X-Robots-Tag-Header für jede gecrawlte Seite und listet alle Seiten mit blockierenden Direktiven auf. Manuell lässt sich das über die Entwicklertools des Browsers im Response-Header-Bereich sowie im Quellcode nachvollziehen.
EverAudit Redaktion
Fachredaktion für Web-Qualität, Barrierefreiheit und DSGVO. Wir prüfen jeden Ratgeber gegen die Kriterien unserer Audit-Engine.