Zum Inhalt springen
Aevolyze Logoaevolyze.
Kostenlos starten

Leitfaden

KI-Crawler in der robots.txt: GPTBot, OAI-SearchBot, ClaudeBot und Co. richtig steuern

Von Finn Kruetschnigg4 Min. Lesezeit

Die robots.txt ist eine Textdatei, die festlegt, welche Crawler deine Website lesen dürfen, auch die der KI-Anbieter. OpenAI und Anthropic trennen dabei Training, Suche und Abruf auf Nutzerwunsch, jeweils mit eigener Kennung. Wer in KI-Suchen auftauchen möchte, sollte die Such-Kennungen (OAI-SearchBot, Claude-SearchBot, PerplexityBot) nicht sperren. In unserer Stichprobe von 245 Zahnarzt-Websites sperrt keine robots.txt einen der 12 geprüften KI-Crawler.

Das Wichtigste

  • Drei Rollen: Training (z. B. GPTBot, ClaudeBot), Suche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und Abruf auf Nutzerwunsch (ChatGPT-User, Claude-User, Perplexity-User). Jede Rolle hat eine eigene Kennung und lässt sich getrennt steuern.
  • Suche zulassen: Laut OpenAI erscheinen Seiten, die OAI-SearchBot sperren, nicht in den Antworten der ChatGPT-Suche. Anthropic und Perplexity weisen für ihre Such-Kennungen auf Sichtbarkeitsverluste bzw. eine Empfehlung zum Zulassen hin.
  • Ein klassischer Fehler ist nicht die gezielte Sperre, sondern ein pauschales User-agent: * mit Disallow: /, das nach einem Relaunch stehen geblieben ist. In unserer Stichprobe kam er nicht vor.
  • Grenzen: Die robots.txt ist eine Bitte, kein Schutz. Firewalls und Bot-Schutz sperren unabhängig davon, und Änderungen brauchen laut OpenAI bis zu etwa 24 Stunden.

Drei Rollen: Training, Suche, Abruf

Früher stand hinter einem KI-Anbieter ein Crawler. Heute trennen die großen Anbieter ihre Zugriffe nach Zweck. Das ist wichtig, weil du so entscheiden kannst, ob deine Inhalte für das Training von Modellen genutzt werden dürfen, ohne dich aus der KI-Suche zu verabschieden.

  • Training: Der Crawler sammelt Inhalte, die in künftige Modelle einfließen können (GPTBot, ClaudeBot).
  • Suche: Der Crawler baut den Index, aus dem eine KI-Suche ihre Quellen wählt (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
  • Abruf auf Nutzerwunsch: Ein System ruft eine Seite ab, weil eine Person danach gefragt hat (ChatGPT-User, Claude-User, Perplexity-User).

Die wichtigsten Kennungen laut Anbietern

KI-Crawler, ihr Zweck und die Folge einer Sperre (nach den Angaben der Anbieter)
AnbieterKennungZweckWenn du sperrst
OpenAIGPTBotTraining der BasismodelleInhalte sollen nicht für das Training verwendet werden. Die Einstellung ist unabhängig von OAI-SearchBot.
OpenAIOAI-SearchBotSuchfunktionen in ChatGPTDie Seite wird in den Antworten der ChatGPT-Suche nicht angezeigt, kann aber als Navigationslink erscheinen.
OpenAIChatGPT-UserAktionen, die Nutzer auslösenLaut OpenAI greifen robots.txt-Regeln hier möglicherweise nicht, weil eine Person die Aktion auslöst.
AnthropicClaudeBotTrainingKünftige Inhalte werden aus den Trainingsdaten ausgeschlossen.
AnthropicClaude-UserAbruf auf NutzerwunschInhalte werden nicht auf Nutzeranfragen abgerufen. Das kann die Sichtbarkeit bei nutzergesteuerter Websuche verringern.
AnthropicClaude-SearchBotSuchqualität, IndexierungInhalte werden nicht für die Suche indexiert. Das kann Sichtbarkeit und Genauigkeit in Suchantworten verringern.
PerplexityPerplexityBotSuchergebnisse in PerplexityPerplexity empfiehlt, ihn zuzulassen, damit die Seite in Suchergebnissen erscheint. Er wird laut Perplexity nicht für das Training von Basismodellen genutzt.
PerplexityPerplexity-UserNutzeraktionen in PerplexitySteuert, welche Seiten solche Nutzeranfragen abrufen dürfen.
GoogleGoogle-ExtendedSteuer-Token für Gemini-Training und GroundingHat laut Google keine Auswirkung auf die Google-Suche.

Die Liste ist ein Stand vom 1. Oktober 2026. Anbieter ändern Kennungen und Zuständigkeiten. Die verbindliche Quelle ist immer die Dokumentation des Anbieters, Links stehen unten.

So sieht das in der robots.txt aus

Variante 1: KI-Suche zulassen, Training sperren. Das passt, wenn du in KI-Antworten auftauchen willst, deine Inhalte aber nicht in Modelle einfließen sollen.

robots.txt: Training sperren, Suche erlauben
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Variante 2: alles erlauben. Dafür musst du nichts eintragen. Ohne Regel für eine Kennung gilt die Regel für alle (User-agent: *), und ohne Disallow ist alles erlaubt.

Ein klassischer Fehler: die Totalsperre. Diese zwei Zeilen sperren jeden Crawler, auch die KI-Suche. Sie gehören auf Testsysteme und können nach dem Relaunch versehentlich stehen bleiben. In unserer Stichprobe kam das bei keiner der 222 robots.txt vor.

robots.txt: sperrt alles (meist ungewollt)
User-agent: *
Disallow: /

Grenzen der robots.txt

  • Sie ist eine Bitte, kein Schutz. Seriöse Anbieter halten sich daran. Wer Inhalte wirklich schützen muss, braucht Zugangskontrolle.
  • Nutzerausgelöste Abrufe sind ein Sonderfall. OpenAI schreibt zu ChatGPT-User, dass robots.txt-Regeln möglicherweise nicht greifen.
  • Firewalls und Bot-Schutz wirken unabhängig. Eine freundliche robots.txt hilft nicht, wenn ein Schutzdienst Crawler abweist. In unserer Studie haben 4 Websites den automatischen Abruf abgewiesen. Ein robots.txt-Test sieht solche Sperren nicht.
  • IP-Sperren sind kein Ersatz. Anthropic weist darauf hin, dass das Sperren von IP-Adressen nicht zuverlässig funktioniert, weil der Crawler dann die robots.txt nicht lesen kann.
  • Änderungen brauchen Zeit. OpenAI nennt für die Suche etwa 24 Stunden, bis die Systeme eine geänderte robots.txt übernehmen.

So prüfst du deine robots.txt

  1. Öffne deine-domain.at/robots.txt im Browser. Es sollte ein Textdokument erscheinen. Bei einer Fehlerseite gibt es keine robots.txt, dann ist alles erlaubt.
  2. Suche nach User-agent: * gefolgt von Disallow: /. Das ist die Totalsperre.
  3. Suche nach den Kennungen aus der Tabelle (z. B. GPTBot, OAI-SearchBot, ClaudeBot) und prüfe, ob darunter Disallow: / steht.
  4. Prüfe, ob dein Hosting oder ein Sicherheits-Plugin Bots zusätzlich abweist. Das steht nicht in der robots.txt, sondern in den Einstellungen des Dienstes.

Wie Aevolyze das prüft

Der Check „KI-Crawler nicht ausgesperrt“ ist mit 8 von 175 Punkten (4,6 %) das höchste Einzelgewicht im Regelkatalog. Er prüft derzeit diese 12 Kennungen: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Applebot-Extended, meta-externalagent. Eine Seite besteht, wenn keine davon per robots.txt ausgesperrt ist, auch nicht über eine pauschale Sperre. Ohne robots.txt gilt der Check als bestanden.

In der Studie Zahnarzt-Websites in Österreich bestehen alle 245 Seiten diesen Check. Das ist der Teil der Grundlagen, den Praxen bereits richtig machen. Die Lücken liegen anderswo.

Quellen