Cloudflare integriert Web Search API in AI Gateway und startet mit drei Partnern

Warum Agenten suchen sollten, statt zu raten

Cloudflare beschreibt eine verbreitete Schwäche beim Abrufen aktueller Webseiten durch Agenten: Sie raten meist die URL und rufen sie per Tool-Call mit curl ab. Liegt die Vermutung daneben, lautet das Ergebnis 404 Not Found. Besser sei es nach Ansicht von Cloudflare, wenn Agenten wie Menschen vorgehen und mit einer Suchmaschinenanfrage beginnen.

Das Unternehmen verweist außerdem auf das Problem des Knowledge Cutoff. Modelle werden in der Regel trainiert und dann auf einem bestimmten Stand eingefroren, was Gespräche über aktuelle Ereignisse, sich ändernde APIs oder schnelllebige Nachrichten erschwert. Laut Cloudflare erhalten Agenten durch die Einbindung der Web Search API in eine Inferenz-Pipeline eine dynamische Kontextebene, in die frische, strukturierte Snippets aus dem Web direkt in den Kontext eingespeist werden.

Als Beispiel nennt Cloudflare einen Agenten, der mit den Entwickler-Tools des Unternehmens baut und andernfalls die in der Birthday Week veröffentlichten Produkte und Funktionen verpassen könnte. Mit Websuche könnte er die neueste Dokumentation und die aktuellen Releases abrufen.

Crawler-Standards für Suchpartner

Cloudflare zufolge haben sich seine Partner verpflichtet, die Bot-Crawling-Standards des Unternehmens zu erfüllen. Der Crawler jedes Websuche-Anbieters muss die öffentlich formulierten Anforderungen von Cloudflare an "Verified bots" erfüllen, wie sie in der Entwicklerdokumentation definiert sind. Außerdem müssen Antworten der Websuche einen Link zur Fundstelle der gecrawlten Inhalte enthalten.

Das Unternehmen erklärt, wer sich bei Cloudflare für die Websuche entscheide, beziehe Wissen von Betreibern, die ihre Crawler kenntlich machen, die robots.txt beachten und die Quelle der Suchergebnisse angeben. Cloudflare versteht dies als Weg, Website-Betreibern Transparenz und Kontrolle darüber zu geben, wie ihre Inhalte genutzt werden.

So funktioniert es in AI Gateway

Cloudflare bezeichnet AI Gateway als zentralen Integrationspunkt des neuen Produkts und beschreibt es als Kontrollebene für Anwendungen mit integrierter Observability, einheitlicher Abrechnung, Sicherheit und Zugriffskontrollen. Für die Websuche bedeutet das:

• Die Websuche lässt sich mit AI-Gateway-Guthaben bezahlen.
• Anfragen erscheinen in den regulären Observability-Logs von AI Gateway.
• Teams können steuern, wer auf welche Websuche-Anbieter zugreifen darf.

Cloudflare kündigt an, Partner mit Unterstützung für Zero Data Retention (ZDR) kenntlich zu machen, damit Nutzer wissen, dass ihre Daten nicht gespeichert werden. Die Websuche wird zu den Listenpreisen der Partner für ihre APIs angeboten, ohne zusätzlichen Aufschlag. Bring-Your-Own-Key (BYOK) wird bei Suchanbietern ebenso unterstützt wie bei Anbietern für Modell-Inferenz.

REST-Endpunkt, Workers-Binding und Server Tools

Entwickler können den Dienst auf zwei Wegen aufrufen. Backends, Mobile-Apps oder externe Dienste nutzen einen Standard-REST-Endpunkt, übergeben ein Authentifizierungstoken von AI Gateway und nennen im Payload einen Anbieter. Das Beispiel im Beitrag verwendet die Anbieter ceramic und exa, eine Suchanfrage und ein Ergebnislimit von 5. Wer auf Cloudflare Workers entwickelt, kann über ein eigenständiges Worker-Binding einen websearch-Aufruf aus dem AI-Environment-Objekt nutzen.

Außerdem baut Cloudflare native Server Tools in AI Gateway ein. Die Idee: Entwickler müssen Tools nicht mehr selbst definieren, weil sie fest in die Kontrollebene integriert sind. Die Websuche soll eines der ersten sein. Bis dahin enthält der Beitrag ein Worker-Snippet, das zeigt, wie sich die Websuche selbst als Tool orchestrieren lässt, und zwar mit dem Modell @cf/google/gemma-4-26b-a4b-it.

Was das für Entwickler bedeutet

Für Teams, die Agenten bereits über AI Gateway betreiben, ergänzt die Neuerung eine Live-Anbindung ans Web ohne separate Abrechnung oder zusätzliches Logging, da die Suchnutzung neben der übrigen Gateway-Aktivität erscheint. Die Partneranforderungen zur Kennzeichnung der Crawler und zu Quellenlinks geben Entwicklern zudem die Möglichkeit, Suchanbieter zu wählen, die die veröffentlichten Regeln von Cloudflare erfüllen. Nach Angaben von Cloudflare können Nutzer über die Entwicklerdokumentation starten oder die Funktion im AI Playground mit einem AI-Gateway-Konto und einem Schlüssel ausprobieren.