Cloudflare und OpenAI: Pilotprojekt erschließt Hunderte Millionen Seiten für die ChatGPT-Suche

Die Ergebnisse des Pilotprojekts

Cloudflare zufolge nahm an dem Pilotprojekt eine Gruppe teilnehmender Seiten teil, die rund 1 % des gesamten Netzwerks ausmachen. In diesem Rahmen konnte OpenAI Hunderte Millionen neue Webseiten entdecken und indexieren. Cloudflare beschreibt die erste Antwort auf seine zentrale Frage als „ein klares Ja“ und erklärt, die zusätzlichen Seiten gäben ChatGPT mehr Quellen an die Hand, wenn Menschen nach relevanten, aktuellen Informationen suchen.

Das Unternehmen argumentiert, solche Seiten könnten selbst dann wertvoll sein, wenn nur wenige andere Websites auf sie verlinken. Als Beispiele nennt es die Bedienungsanleitung für ein bestimmtes Waschmaschinenmodell, aktuelle Passbestimmungen und Gebühren oder die neueste Speisekarte und die Öffnungszeiten eines lokalen Restaurants. Die richtige Seite zu finden, könne den Unterschied zwischen einer falschen und einer hilfreichen Antwort ausmachen, so Cloudflare.

Laut Cloudflare liefert sein Netzwerk Signale, die dem Suchcrawler von OpenAI helfen, mehr nützliche Seiten zu finden. OpenAI bewertet und rankt anschließend selbstständig, wie diese Seiten erscheinen, und zwar nach Relevanz und Nützlichkeit. ChatGPT Search verlinkt auf relevante Quellen und gibt Nutzern damit die Möglichkeit, zu den Originalinhalten und den dahinterstehenden Verlagen zu gelangen.

Überflüssiges Crawling vermeiden und schädliche Seiten markieren

Cloudflare betont, das Auffinden einer URL sei nur der erste Schritt. Das Team müsse auch wissen, ob eine Seite erreichbar ist, ob sie etwas Eigenständiges bietet und wofür sie jemandem nützlich sein könnte. Eine Erkenntnis aus dem Pilotprojekt: Automatisierter Datenverkehr kann eine nicht existierende Seite leicht interessant erscheinen lassen. Bots fragen wiederholt Dateien ab, die es nicht gibt, manche Websites leiten nahezu jede Adresse auf die Startseite um, und andere Adressen führen zu Kopien desselben Inhalts.

Wenn Crawler diese Muster erkennen, können sie unnötigen Aufwand vermeiden, noch bevor sie eine Seite abrufen. Davon profitieren laut Cloudflare die Website-Betreiber. Das Unternehmen beschreibt zudem Änderungssignale, die einem Crawler mitteilen, wann sich ein erneuter Besuch einer Seite lohnt und wann nicht. Ein Crawler, der eine unveränderte Seite immer wieder herunterlädt, erzeuge Last ohne jeden Nutzen, heißt es in dem Beitrag.

Cloudflare testet außerdem Signale, die potenziell schädliche Seiten erkennen. Als Beispiel nennt das Unternehmen eine seriöse Website mit einer einzigen kompromittierten Seite, etwa einem von Angreifern platzierten gefälschten Login-Formular. Wird nur diese eine Seite statt der gesamten Domain markiert, werden Menschen geschützt, ohne den Website-Betreiber zu benachteiligen. Erste Ergebnisse deuten darauf hin, dass solche Signale helfen können, Seiten zu identifizieren, die nicht in einen Index gehören.

Es gibt allerdings einen Zielkonflikt. Das Auffinden neuer Seiten kann das Crawling zunächst erhöhen, während diese Seiten bewertet und indexiert werden. Das erklärte Ziel ist, weiter neue Seiten zu entdecken und aktuell zu bleiben und dabei den nötigen Aufwand zu senken.

Nächste Schritte und Folgen für Website-Betreiber

In der nächsten Phase des Pilotprojekts soll die Auswahl der Seiten verbessert werden. Außerdem sollen schnellere und zuverlässigere Änderungssignale getestet und gemessen werden, was nach der Entdeckung von Inhalten passiert. Cloudflare erklärt, man arbeite mit OpenAI daran zu verstehen, wie sich bessere Auffindbarkeit in echte geschäftliche Ergebnisse übersetzen lässt, und werde weiter über die Resultate berichten.

Für Cloudflare-Kunden soll das Ziel nach Angaben des Unternehmens eine geringere unnötige Crawler-Last sein. Für OpenAI bedeutet es, dass mehr Suchressourcen in Informationen fließen, die Menschen weiterhelfen. Cloudflare bringt die Arbeit zudem mit den Bemühungen von OpenAI rund um GPT-6 und Intelligent UI in Verbindung und erklärt, das Pilotprojekt ergänze diese, indem es ChatGPT helfe, aktuellere Informationen aus dem gesamten Web zu finden.

Zur Kontrolle betont Cloudflare, dass die Entscheidungen der Domain-Inhaber durchgängig zählen. Ein Signal zu einer Seite erteile keine Zugriffserlaubnis, und die Forschung nutze Metadaten über das Web für Suche und Entdeckung, statt Seiteninhalte für das Modelltraining weiterzugeben. Website-Betreiber können mit Cloudflares AI Crawl Control nachvollziehen und steuern, wie KI-Systeme auf ihre Websites zugreifen.