Cloudflare bewertet verifizierte Bots danach, ob sie Website-Regeln einhalten

Von der Identität zum laufenden Verhalten

Cloudflare argumentiert, dass es nicht genügt zu überprüfen, wer einen Bot betreibt. Das Unternehmen vergleicht das mit einem Führerschein: Er zeigt, wer jemand ist und dass die Fahrprüfung bestanden wurde, sagt aber nichts darüber, ob jemand später verantwortungsvoll fährt. Auch ein bekannter Bot könne Vorgaben von Websites ignorieren, Ursprungsserver überlasten oder Kontrollen umgehen, so das Unternehmen. Die Ursache sei dabei oft eine Fehlkonfiguration oder ein Bug und nicht böse Absicht.

Um als Cloudflare Verified Bot zu gelten, muss ein Betreiber grob drei Kriterien erfüllen: sich korrekt und sicher identifizieren, nur das tun, was er angibt, und kein missbräuchliches Verhalten zeigen. Bots nutzen Web Bot Auth, um Anfragen zu signieren und so ihre Identität nachzuweisen, und BotBase erfasst diese Informationen in einem offenen Format. Das neue System konzentriert sich auf das Kriterium des Missbrauchs.

Cloudflare trennt zudem zwischen Risiko und Vertrauen. Risiko ist die Wahrscheinlichkeit, dass eine bestimmte Anfrage oder eine punktuelle Handlung schädlich ist, und kann sich von Moment zu Moment ändern. Vertrauen entsteht durch wiederholtes, konsistentes Verhalten. Als Beispiel nennt das Unternehmen, dass es den Bot von Perplexity 2025 von seiner Verified-Bot-Liste gestrichen habe, nachdem dieser auf Ressourcen von Websites zugreifen wollte, die sich gegen Scraping entschieden hatten, und anschließend versuchte, Kontrollen zu umgehen, als er blockiert wurde.

Was das System misst

Das System misst, wie oft ein Crawler die Vorgaben einer Website beachtet. Das Ergebnis ist ein Vertrauensband, das Cloudflare als Spanne beschreibt: Sie zeigt, wie konsequent ein Bot Vorgaben respektiert und welche beobachteten Verhaltensweisen in die Bewertung eingeflossen sind. Das Unternehmen betont, dass es sich nicht um ein dauerhaftes Urteil über einen Bot oder dessen Betreiber handelt. Die ersten Signale sind, ob der Bot Anweisungen beachtet und ob er auf direktes Feedback reagiert.

• robots.txt: Das System prüft, ob der beobachtete Traffic eines Bots über die Zeit mit den veröffentlichten Vorgaben übereinstimmt, gemäß RFC 9309. Laut Cloudflare sind einzelne Verstöße womöglich nicht aussagekräftig; gesucht werde nach wiederholten Mustern, die Vorgaben der Website missachten. Zudem weist das Unternehmen darauf hin, dass robots.txt Mindestregeln festlegt und nicht ausdrücklich Genanntes nicht automatisch erlaubt ist.
• HTTP 429: Eine 429-Antwort („Too Many Requests“) fordert einen Besucher auf, seine Anfragerate zu senken, teils mit einem Hinweis, wie lange er warten soll. Das System prüft, ob ein Bot langsamer wird, pausiert oder weiter im gleichen Tempo Anfragen sendet. Wer konsequent drosselt oder pausiert, steigert sein Vertrauen, wer das Signal wiederholt ignoriert, verliert es.

Cloudflare erklärt, Bots könnten sich vollständig an erlaubte Pfade halten und dennoch erhebliche Last auf Websites erzeugen. Deshalb sei das 429-Signal Teil der Bewertung.

Ein Verantwortungskreislauf und die nächsten Schritte

Cloudflare beschreibt das System zusammen mit Bot Preference Sync und Bot Management als Verantwortungskreislauf für automatisierten Traffic. Bot Preference Sync hilft Website-Betreibern, ihre Vorgaben zu veröffentlichen. Die Beobachtung, wie Bots mit diesen Vorgaben umgehen, zeigt, ob Verified Bots sie über die Zeit einhalten. Mit Bot Management entscheiden Website-Betreiber, wie dieser Traffic behandelt wird.

Das Unternehmen setzt das System nach eigenen Angaben bereits intern ein, um zu bewerten, wie konsequent Verified Bots die Vorgaben von Websites einhalten. In dieser ersten Phase baue es eine Historie von Beobachtungen auf und verfeinere, wie daraus nützliche Orientierung wird. Künftig will Cloudflare die Scores öffentlich auf Radar bereitstellen und die Messung des Verhaltens erweitern.

Als nächster Schritt ist geplant, das System allen Cloudflare-Kunden zur Verfügung zu stellen. Diese könnten dann den Vertrauensschwellenwert wählen, nach dem der Traffic von Verified Bots behandelt wird. Einen Termin für diese Einführung nennt die Ankündigung nicht.

Für Website-Betreiber soll der Ansatz mehr Sicherheit geben, dass die Bots, die sie zulassen, ihre Vorgaben respektieren. Bot-Betreibern bietet er die Möglichkeit zu zeigen, dass sie Vertrauen verdienen. Cloudflare erklärt, das Ziel sei, die Vorgaben von Websites aussagekräftig zu halten und sicherzustellen, dass Vertrauen durch dauerhaftes Verhalten verdient wird. Kunden können Bot Management und Bot Preference Sync bereits nutzen, und die Gesamtheit der Verified Bots lässt sich auf Radar erkunden.