Seiten, die für AI Search blockiert sind

Erfahre, was in diesem Report geprüft wird und wie Du die Probleme beheben kannst

Dieser Report listet intern verlinkte Seiten Deiner Website auf, die über Deine robots.txt für KI-Bots blockiert sind. Dadurch sind diese Seiten für KI-Suchmaschinen wie ChatGPT, Perplexity oder Claude nicht zugänglich.

Warum die Erreichbarkeit für KI-Bots wichtig ist

Die Art und Weise, wie Menschen das Internet durchsuchen, verändert sich. Immer mehr Menschen nutzen KI-Chat-Interfaces wie ChatGPT, Perplexity oder Claude, um Informationen zu finden. Wenn Deine Seiten für diese KI-Bots blockiert sind, kann Dein Content nicht als Quelle in deren Antworten zitiert werden, was zu weniger Traffic und Sichtbarkeit für Deine Marke führt.

Die Zugänglichkeit wichtiger Seiten für KI-Such-Bots ist ein zentraler Bestandteil der Answer Engine Optimization (AEO) und sorgt dafür, dass Deine Website ihren Platz in KI-generierten Antworten findet.

Welche Bots in diesem Report geprüft werden

Der Fokus liegt auf Bots, die das Indexieren und Abrufen von Inhalten für die KI-Suche übernehmen:

KI-Such-Bots: OAI-SearchBot (ChatGPT Search), PerplexityBot (Perplexity AI), Claude-SearchBot (Anthropic Search), DeepSeek-AI (DeepSeek Search), Luminous-Bot (Aleph Alpha), Mistral-Search (Mistral AI), BraveBot (Brave Search Leo) und YouBot (You.com). Diese crawlen und indexieren Seiten für KI-Suchmaschinen.
On-Demand Fetcher: ChatGPT-User, Claude-User und Perplexity-User. Diese Bots rufen eine bestimmte URL ab, wenn ein Nutzer einen Link in den Chat einfügt und die KI bittet, die Seite zu lesen oder zusammenzufassen.
Klassische Such-Bots: Googlebot und bingbot. Diese sind auch für KI-Funktionen wie Google AI Overviews und Microsoft Copilot zuständig.

KI-Trainings-Bots wie GPTBot sind in diesem Report nicht enthalten. Der Fokus liegt auf Bots, die Sichtbarkeit, Zitierungen und Traffic über die Suche generieren, nicht auf solchen, die Inhalte für das Modell-Training scrapen.

Was die Informationen in dieser Liste bedeuten

Die URL-Spalte zeigt Seiten, die von mindestens einem der oben genannten Bots blockiert werden. Die Spalte "Blockierter Bot / Agent" listet jeden Bot auf, der durch Deine aktuellen robots.txt-Regeln vom Zugriff auf diese URL ausgeschlossen wird.

So behebst Du blockierte Seiten

Nutze die Spalte "Blockierter Bot / Agent" (und bei Bedarf den Filter), um zu erkennen, welche Bots auf welche Seiten keinen Zugriff haben.
Öffne Deine robots.txt-Datei (meist unter deinedomain.de/robots.txt zu finden) und prüfe die Regeln für die betroffenen User Agents.
Passe die Regeln so an, dass die Bots, für die Du sichtbar sein möchtest, auf die jeweiligen Seiten zugreifen können.
Starte ein neues Crawling, um die Änderungen zu überprüfen.

Wenn die Blockierung gewollt ist

Nicht jede blockierte Seite ist zwangsläufig ein Problem. Es kann gute Gründe geben, bestimmte Bots gezielt auszusperren, zum Beispiel, wenn Du nicht möchtest, dass ein bestimmter KI-Dienst auf Deine Inhalte zugreift. Nutze diesen Report, um unbeabsichtigte Blockierungen zu erkennen und Seite für Seite zu entscheiden, welche Bots Zugriff haben sollen.