Firecrawl erweitert den /scrape-Endpunkt mit Universal Scrape um Daten von Drittanbietern

Firecrawl hat Universal Scrape vorgestellt, eine Erweiterung des /scrape-Endpunkts, über die Entwickler Webseiten, Dateien und Daten von Drittanbietern mit einer einzigen API abrufen können. Laut Unternehmen soll das KI-Agenten mehr Kontext liefern, ohne dass dafür separate Scraper, Dateiparser oder API-Integrationen nötig sind.
- Firecrawl hat Universal Scrape vorgestellt und den /scrape-Endpunkt über Webseiten und Dateien hinaus erweitert.
- Über Alexandria sind Anbieterdaten wie Personenprofile, Finanzdaten und Podcasts erreichbar.
- Laut Firecrawl umfasst Alexandria mehr als 200 Anbieter, täglich kommen weitere hinzu.
- Anbieteraufrufe laufen über den Firecrawl-API-Schlüssel und werden in Firecrawl-Credits zum jeweils ausgewiesenen Preis des Tools abgerechnet.
- Bei einigen Anbietern wie Particle muss zunächst ein Org-Admin die Anbieterbedingungen akzeptieren.
Was Universal Scrape abdeckt
Nach Angaben von Firecrawl übernimmt der Dienst bereits Rendering, Wiederholungsversuche und Parsing für Webseiten und Dateien. Universal Scrape baut darauf auf und ergänzt den Zugriff auf Anbieterdaten über Alexandria, Firecrawls Bibliothek von Anbietern, und zwar über denselben Endpunkt.
Das Unternehmen nennt mehrere Datenkategorien:
- Webseiten und Dateien: dynamische Websites, PDFs und Bilder sowie Word-Dokumente, Tabellen und Präsentationen, die per URL erreichbar sind.
- Personen- und Unternehmensprofile: berufliche und Unternehmensdaten über Anbieter wie Apollo, FullEnrich und Data Legion.
- Finanzdaten: Unternehmenskennzahlen und Marktinformationen über Anbieter wie Fiscal.ai und Benzinga.
- Podcasts: relevante Episoden und Gespräche über Particle, mit Werkzeugen für Podcast-Suche, Abfrage und Transkripte.
Firecrawl zufolge umfasst Alexandria mehr als 200 Anbieter, und Universal Scrape funktioniert bereits mit einer wachsenden Auswahl davon. Das Unternehmen fügt hinzu, dass täglich neue Anbieter in Alexandria hinzukommen und immer mehr von dieser Bibliothek in /scrape eingebunden wird.
So funktioniert es für Entwickler
Bestehende Firecrawl-Nutzer können Seiten und Dokumente wie bisher scrapen und bei Bedarf Anbieterdaten hinzunehmen. Beides läuft über denselben Firecrawl-API-Schlüssel. Laut Firecrawl werden Anbieteraufrufe in Firecrawl-Credits zum jeweils ausgewiesenen Preis des Tools abgerechnet.
Für eine Webseite oder ein unterstütztes Dokument senden Entwickler dessen URL. Für Anbieterdaten rufen sie über denselben Endpunkt eine unterstützte Alexandria-Funktion auf. Firecrawl erklärt zudem, dass einige unterstützte Profil-URLs direkt an die vom Nutzer konfigurierten Anreicherungsanbieter weitergeleitet werden.
Das Beispiel des Unternehmens nutzt das aktuelle firecrawl-SDK mit gesetzter Umgebungsvariable FIRECRAWL_API_KEY. Ein Aufruf scrapt https://www.firecrawl.dev und fordert Markdown an. Ein zweiter Aufruf führt die Podcast-Suche von Particle über /scrape aus, mit der Funktion podcasts/episodes/search, dem semantischen Suchbegriff "AI agents" und einem Limit von 2. Laut Firecrawl liefert er passende Transkriptabschnitte zurück.
Vor dem Podcast-Aufruf muss ein Org-Admin die Anbieterbedingungen von Particle akzeptieren. Firecrawl verweist auf seine Scrape-Dokumentation für das URL-Routing und auf die Alexandria-Dokumentation, um Anbieter-Tools zu finden und aufzurufen.
Was das für Nutzer bedeutet
Für Teams, die Agenten entwickeln, soll die Neuerung den Integrationsaufwand senken. Statt einen eigenen Scraper, einen Dateiparser und mehrere Daten-APIs anzubinden, erreichen Entwickler diese Quellen über einen Endpunkt und einen API-Schlüssel, wobei die Nutzung von Anbietern in Firecrawl-Credits abgerechnet wird.
Firecrawl zufolge lässt sich Universal Scrape in selbst entwickelten Anwendungen einsetzen oder über MCP oder die CLI mit einem Agenten verbinden. Das Unternehmen will weiter ausbauen, was sich über /scrape erreichen lässt, mit dem Ziel, dass eine neue Quelle dem Agenten mehr Material liefert, „ohne dass Sie eine weitere Integration pflegen müssen“, wie es in der Ankündigung von Firecrawl heißt.
Firecrawl: Introducing Universal Scrape


