Firecrawl Alexandria bringt mehr als 100 Datenanbieter in ChatGPT und Codex

Von Zusammenfassungen aus zweiter Hand zu Primärquellen

Firecrawl beschreibt eine bekannte Grenze von KI-Agenten: Fragt man ChatGPT nach dem jüngsten Quartalsbericht eines Unternehmens, durchsucht es das Web, findet eine Seite, die den Bericht bespricht, und fasst diese Seite zusammen. Heraus kommt eine Darstellung der Zahlen aus zweiter Hand, während der Bericht selbst in der API eines Anbieters liegt, die das Modell nicht aufrufen kann.

Laut Firecrawl schneiden Agenten daher gut ab, wenn das offene Web ein Thema bereits aufbereitet hat, und schlecht, wenn die Antwort von einer Primärquelle abhängt, etwa davon, was eine Serie im letzten Quartal gemeldet hat, was eine Behörde eingereicht hat oder was ein Datensatz verzeichnet.

Firecrawl Alexandria soll diese Lücke schließen. Das Unternehmen sagt, der Agent erhalte damit den Originaldatensatz des Anbieters, auf Basis von Vereinbarungen mit den Anbietern, die ihn pflegen. Eine einzige Anfrage findet die Quelle, zeigt, was sie enthält und was sie kostet, und ruft die Daten ab. Firecrawl zufolge werden die Anbieter vertraglich vergütet, wenn ein Agent ihre Daten abruft. Die Abdeckung umfasst mehr als 100 offizielle Anbieter sowie die Research-, Developer- und Government-Indizes von Firecrawl.

Firecrawl verweist zudem auf eine interne Auswertung. Bei 845 Aufgaben mit demselben Modell, denselben Prompts und verdeckter Bewertung durch KI erzielten Agenten mit Firecrawl Alexandria bei der Antwortqualität 21 % höhere Werte als Agenten mit integrierten Web-Tools.

So funktioniert es in ChatGPT und Codex

Das Plugin arbeitet in drei Schritten: ein Tool finden, prüfen, was es benötigt, und es ausführen. Nutzer stellen einfach eine Frage, und das Plugin geht diese Schritte durch. Firecrawl nennt als Beispiel-Prompt "Find remote software engineering jobs posted in the past week. Include salaries where available and application links." ChatGPT sucht passende Tools, liest die Eingaben und den Preis des gewählten Tools und ruft es auf. Nutzer sehen, welches Tool ausgewählt wurde und was die Daten gekostet haben.

Dasselbe Muster deckt Forschungsarbeiten, Unternehmensmeldungen, Ausgaben der öffentlichen Hand, Podcast-Transkripte, Paketregister und Immobilien ab. Passt kein Anbieter, greift das Plugin auf Websuche und Scraping zurück, sodass eine Lücke in der Abdeckung die Frage nicht beendet.

Nutzer können auch fragen, was es gibt, bevor sie etwas ausgeben, zum Beispiel indem sie eine Liste der Anbieter anfordern, die Zuschläge für Bundesaufträge abdecken, samt dem Preis pro Aufruf.

In Codex durchsucht der Developer Index Repositories, Issues, gemergte Pull Requests, READMEs und Dokumentation direkt und liefert Codex die passenden Textstellen. Firecrawl weist darauf hin, dass Antworten zum Verhalten von Bibliotheken oft in einer README, einem Issue-Thread oder einem gemergten Fix stehen und nicht in einem Blogbeitrag. Die Beispielfrage lautet, wie man pydantic mit uv statt mit pip hinzufügt. Firecrawl zufolge wird der Developer Index in Codex am häufigsten genutzt.

Abrechnung, Bedingungen und Einrichtung

Firecrawl erklärt, die Suche sei kostenlos, abgerechnet werde die Ausführung. Die Frage, welche Daten es gibt, das Lesen der Eingaben eines Tools und die Prüfung seines Preises kosten nichts. Nutzer zahlen den ausgewiesenen Preis des Tools, wenn es läuft. Websuche und das Scraping von Seiten werden wie gewohnt abgerechnet.

Bei manchen Anbietern müssen zuvor Bedingungen akzeptiert werden. Die Zustimmung zu den Bedingungen eines Anbieters bindet die gesamte Organisation, deshalb akzeptiert sie standardmäßig ein Admin im Firecrawl-Dashboard. Braucht ein Anbieter das, zeigt ChatGPT die Bedingungen an und verweist auf die entsprechende Seite. Hat eine Organisation die Zustimmung durch Agenten aktiviert, kann ChatGPT die Bedingungen akzeptieren, nachdem es die aktuellen Bedingungen angezeigt hat.

Ein Firecrawl-Konto ist erforderlich. Alexandria steht für Sitzungen ohne Schlüssel nicht zur Verfügung, das Plugin muss also mit einem Konto verbunden sein, bevor ChatGPT Anbieter-Tools finden oder ausführen kann. Nutzer, die das offizielle ChatGPT-Plugin bereits installiert haben, sehen Firecrawl Alexandria in ihrer nächsten Unterhaltung. Alle anderen können ChatGPT öffnen, das Firecrawl-Plugin installieren und auf Aufforderung ihr Firecrawl-Konto verbinden. Dasselbe Plugin deckt ChatGPT und Codex ab.

Was das für Nutzer bedeutet

Für Menschen, die ChatGPT oder Codex für Recherchen nutzen, ändert sich, dass Antworten aus den strukturierten Daten eines Anbieters stammen können statt von einer Webseite, die diese zitiert. Da die Preise vor der Ausführung eines Tools angezeigt werden und die Suche nichts kostet, sehen Nutzer, was eine Abfrage kostet, bevor sie sich festlegen. Entwickler, die Codex einsetzen, erhalten eine durchsuchbare Quelle aus Repository- und Issue-Material für Fragen dazu, wie sich Bibliotheken in der Praxis verhalten.