Cloudflare: Mehr als die Hälfte des Internetverkehrs stammt nicht mehr von Menschen

Mehr als die Hälfte des Internetverkehrs stammt laut Cloudflare nicht mehr von Menschen. KI-Agenten seien zu einem zweiten Publikum des Webs geworden. Das Unternehmen verbindet diese Aussage mit neuen Kontrollfunktionen und Bezahlwerkzeugen, mit denen Website-Betreiber Agenten bedienen und an ihnen verdienen sollen.
- Laut Cloudflare stammte in diesem Jahr mehr als die Hälfte des Internetverkehrs nicht von Menschen, die täglichen Anfragen von KI-Agenten stiegen binnen eines Jahres um mehr als 1.700 Prozent.
- Cloudflare verarbeitet im Schnitt 115 Millionen HTTP-Anfragen pro Sekunde, Ende 2024 waren es 63 Millionen.
- Getrennte Steuerungen für Search, Agent und Training gibt es in jedem Tarif, Disallow AI Training startete am 15. September.
- Pay Per Use vergütet Verlage, wenn Inhalte tatsächlich genutzt werden, das Monetization Gateway läuft als geschlossene Beta für berechtigte Kunden in den USA.
Ein zweites Publikum betritt die Bühne
Cloudflare zufolge hatte das Internet lange ein Publikum, das die Rechnungen bezahlte: Menschen, die Artikel lasen, Werbung sahen und Abos abschlossen. Bots gab es zwar auch, doch meist waren es große automatisierte Betreiber, die weder Anzeigen ansahen noch für etwas bezahlten.
Die Zahlen des Unternehmens deuten auf einen deutlichen Wandel hin. Ende 2024 verarbeitete Cloudflare im Schnitt 63 Millionen HTTP-Anfragen pro Sekunde. Heute hat sich dieser Wert nahezu verdoppelt: auf 115 Millionen, mit Spitzen von über 150 Millionen. Im vergangenen Jahr sind die täglichen Anfragen von KI-Agenten im Netzwerk um mehr als 1.700 Prozent gestiegen, und in diesem Jahr stammte laut Cloudflare erstmals mehr als die Hälfte des Internetverkehrs nicht von Menschen.
Cloudflare beschreibt Agenten als Software, die im Auftrag von Menschen handelt. Sie liegen zwischen Menschen und klassischen Bots: Auf Werbung reagieren sie nicht, doch in der Regel steht ein Mensch dahinter, der eine Aufgabe erledigt haben will. Für Unternehmen, die lernen, sie zu bedienen, seien Agenten ein Zugewinn, so das Unternehmen. Für alle anderen seien sie ein Abschöpfungsmechanismus.
Mehr Traffic, weniger Einnahmen
Dreißig Jahre lang basierte das Web laut Cloudflare auf einer einzigen Übereinkunft: Websites ließen Suchmaschinen ihre Inhalte durchsuchen, Suchmaschinen schickten Besucher, und die Websites machten aus diesen Besuchern ein Geschäft. KI habe dieses Gleichgewicht zerstört. Antwortmaschinen lesen die Seite und liefern dem Nutzer eine Zusammenfassung. Das kostet die Website Bandbreite, ohne dass ein Mensch dorthin gelangt, wo Werbung oder Zahlungen stattfinden.
Cloudflare berichtet, dass einige der am stärksten gecrawlten Branchen, darunter Einzelhandel, Computersoftware, IT & Services sowie Finanzdienstleistungen, innerhalb von weniger als einem Jahr bis zu 40 Prozent weniger menschlichen Traffic verzeichnet haben. Jede automatisierte Anfrage verursacht weiterhin Kosten für Bandbreite, Rechenleistung und Origin-Kapazität, während ein wachsender Anteil weder einen Verweis noch eine Anzeigenauslieferung noch ein Abo mit sich bringt.
Auch der Anteil der Crawler-Anfragen, die dem KI-Training dienen, ist gestiegen. Im Frühjahr 2025 lag er nach dem angegebenen Zweck der Crawler bei 22 Prozent. Im Juni 2026 waren es 52 Prozent. Ein pauschales Nein sei nicht differenziert genug, sagt Cloudflare, denn ein Teil des Agenten-Traffics seien Kunden: Ein Agent, der einen Tisch reserviert oder Versicherungsangebote vergleicht, handelt für eine reale Person. Anders als ein Trainings-Crawler kehrt ein Agent jedes Mal zurück, wenn jemand nach dem Inhalt fragt. Sein Traffic wächst daher mit der Zahl der Fragen, die Menschen stellen, und nicht mit der Menge dessen, was eine Website veröffentlicht.
Besucher erkennen und Bedingungen festlegen
Cloudflare argumentiert, eine Website könne mit einem Publikum keine Geschäfte machen, das sie weder sehen, unterscheiden noch mit Bedingungen belegen oder zur Kasse bitten könne. Die Tools AI Crawl Control, Business Insights und BotBase zeigen, wer crawlt, was abgegriffen wird und welche URLs am gefragtesten sind. Mit Web Bot Auth signieren Betreiber wie OpenAI, Google und AWS die Anfragen ihrer Agenten kryptografisch, sodass eine Website einen echten Agenten von einem Nachahmer unterscheiden kann. Cloudflare sieht nach eigenen Angaben pro Woche mehr als 500 Milliarden verifizierte Bot-Anfragen.
Im Juli ersetzte das Unternehmen seinen einzelnen Schalter "KI-Bots blockieren" durch getrennte Steuerungen für Search, Agent und Training, die in jedem Tarif verfügbar sind, auch im kostenlosen Free-Tarif. Die Daten zeigten, dass weniger als 1 Prozent der Websites bei Cloudflare Suchcrawler blockieren, während 17 Prozent Trainingscrawler sperren.
Am 15. September führte das Unternehmen Disallow AI Training ein. Damit bleibt eine Website für die Suche indexiert, während über crawlerspezifische Mechanismen dem Betreiber signalisiert wird, die Daten nicht für Trainingszwecke zu verwenden. Apple, Google und Microsoft haben laut Cloudflare zugesagt, dies zu respektieren. Neue Domains erhalten nun empfohlene Konfigurationen, die sich daran orientieren, wie die Website Geld verdient. Bei werbefinanzierten Seiten kann das bedeuten, Training zu untersagen und Agenten auf Seiten mit Anzeigen zu blockieren, da eine Anzeige nur dann zahlt, wenn ein Mensch sie sieht.
Bezahlung: Pay Per Use und Monetization Gateway
Cloudflare zufolge braucht das Web eine Möglichkeit, "Ja, wenn ihr bezahlt" zu sagen, statt nur Ja oder Nein. Seit 2023 seien zwar mehr als 50 Deals zwischen Verlagen und KI-Unternehmen geschlossen worden, doch nahezu alle seien maßgeschneiderte, bilaterale Vereinbarungen zwischen großen Verlagen und großen KI-Firmen und erreichten deshalb den Großteil des Webs nicht.
Die Antwort für den Rest heißt Pay Per Use. Dabei wird nicht der Crawl bezahlt, sondern die tatsächliche Nutzung der Inhalte. Jeder Käufer ist ein verifizierter Crawler, der definiert, was als Nutzung gilt und was er dafür zahlt. Verlage sehen das Angebot, entscheiden, ob sie teilnehmen, und können jederzeit wieder aussteigen. Der Käufer meldet jede Nutzung, Cloudflare prüft die Meldungen, stellt dem Käufer die Rechnung und zahlt den Verlag aus. Verlage können einsehen, was genutzt wurde, wann und was sie verdient haben, in manchen Fällen auch, welche Fragen auf ihre Inhalte gestoßen sind.
Das Monetization Gateway zielt auf Fälle, in denen Konten, API-Schlüssel und Abos nicht passen, etwa wenn ein Agent eine einzelne Abfrage bei einem Dienst machen will, den er noch nie genutzt hat. In einer geschlossenen Beta können berechtigte Cloudflare-Kunden in den USA mit der Rules-Sprache für alles, was durch das Netzwerk läuft, einen Preis festlegen. Greift eine Regel, liefert Cloudflare den HTTP-Status 402 Payment Required über das offene Protokoll x402 zurück, und der Agent bezahlt den Verkäufer direkt.
Was das für Website-Betreiber bedeutet
Für Website-Betreiber lautet die Botschaft von Cloudflare: Alles zu blockieren ist nicht mehr die einzige Option. Die beschriebenen Werkzeuge sollen es ermöglichen, Agenten zu identifizieren, Suche zuzulassen und Training zu verweigern sowie die Nutzung in Rechnung zu stellen. Ob Agenten zu einer Einnahmequelle statt zu einem Kostenfaktor werden, hängt davon ab, wie viele KI-Unternehmen als Käufer mitmachen. Diese Frage klärt die Quelle nicht.
Cloudflare: The Internet has a second audience


