Viele Websites stehen vor der Herausforderung, wie sie den Zugriff von KI-Bots steuern können, ohne dabei wichtige Suchmaschinen-Crawler auszuschließen. Cloudflare hat nun seine bisherige pauschale Blockade von KI-Bots durch differenzierte Einstellungen ersetzt, die Website-Betreiber:innen mehr Kontrolle geben.

Stellen Sie sich vor, Sie betreiben einen Online-Shop mit Werbeanzeigen. Sie möchten, dass Suchmaschinen Ihre Seiten indexieren, aber nicht, dass KI-Bots Ihre Inhalte für Trainingszwecke sammeln oder als Agenten im Hintergrund agieren. Genau hier setzt die neue Lösung von Cloudflare an.

Drei Kategorien statt pauschalem Block

Cloudflare unterscheidet jetzt zwischen drei Bot-Typen: Such-Bots, Trainings-Bots und Agenten-Bots. Such-Bots sind klassische Crawler wie Googlebot, die Webseiten für Suchmaschinen erfassen. Trainings-Bots sammeln Daten, um KI-Modelle zu trainieren, während Agenten-Bots im Auftrag von Nutzenden agieren, etwa ChatGPT-ähnliche Anwendungen.

Website-Betreiber:innen können nun für jede Kategorie individuell festlegen, ob der Zugriff erlaubt oder blockiert wird. So wird verhindert, dass etwa ein Trainings-Bot Ihre Website ausliest, während Suchmaschinen weiterhin Ihre Inhalte indexieren dürfen.

Automatische Blockade bei Werbeseiten

Ab Mitte September 2026 blockiert Cloudflare Trainings- und Agenten-Bots standardmäßig auf Seiten mit Werbung. Die Begründung: Werbeanzeigen signalisieren, dass die Website echte menschliche Besucher:innen ansprechen möchte. Such-Bots bleiben von dieser Regel ausgenommen, damit die Sichtbarkeit in Suchmaschinen erhalten bleibt.

Ein Beispiel: Eine kleine Nachrichten-Website mit Werbeflächen möchte verhindern, dass KI-Modelle ihre Artikel für Trainingszwecke nutzen, da dies ihre Inhalte verfälschen könnte. Gleichzeitig will sie aber, dass Google ihre Artikel findet und anzeigt. Die neue Steuerung macht das möglich.

Mehr Transparenz und Kontrolle für Unternehmen

Für Unternehmenskund:innen bietet Cloudflare mit BotBase eine durchsuchbare Datenbank aller bekannten Bots an. Diese zeigt, wie Bots klassifiziert sind und wie sie Inhalte verwenden – ob sie nur verlinken oder Seiten vollständig kopieren. Das erleichtert die Entscheidung, welche Bots Zugang erhalten.

Zudem ändert Cloudflare die Regeln für verifizierte Bots: Das reine Verifizierungslabel reicht künftig nicht mehr aus. Bot-Betreiber:innen müssen nachweisen, dass sie sich korrekt identifizieren und den Zugriff nicht missbrauchen. Das erhöht die Sicherheit und schützt Websites vor unerwünschtem Datenzugriff.

Was bedeutet das für Sie?

Mit den neuen granularen Einstellungen von Cloudflare können auch kleine und mittlere Unternehmen ihre Websites besser vor unerwünschtem KI-Bot-Traffic schützen. Sie behalten die Kontrolle darüber, welche Bots Inhalte sehen und nutzen dürfen, ohne die Sichtbarkeit in Suchmaschinen zu gefährden.

Wer Werbeflächen auf der Website hat, profitiert von der automatischen Blockade von Trainings- und Agenten-Bots, die so den Fokus auf echte Besucher:innen legt. Gleichzeitig bleiben wichtige Suchmaschinen-Crawler aktiv, was für die Auffindbarkeit im Netz entscheidend ist.

Insgesamt zeigt Cloudflares Ansatz, wie differenzierte Bot-Kontrolle helfen kann, die Balance zwischen Offenheit und Schutz im Web zu wahren – eine Entwicklung, die auch für Entscheider:innen in KMU relevant ist.