FantasyBench: Firecrawl Alexandria führt KI-Agenten-Test für Fantasy-Daten mit 80,5 Prozent an

Was FantasyBench prüft

Firecrawl bezeichnet FantasyBench als den ersten öffentlichen Benchmark, der misst, wie genau KI-Agenten echte Fantasy-Fragen beantworten. Er umfasst 272 Fragen, die aus Agentensuchen zur NFL-Saison 2026 stammen. 150 davon betreffen Statistiken vergangener Spiele, Einsatzzeiten und Verletzungsstatus aus den Wochen 1 bis 5. Die übrigen 122 drehen sich um aktuelle Prognosen und Rankings für Woche 6.

Antworten zu vergangenen Spielen werden anhand von nflverse bewertet und mit Sleeper (416 von 417 Werten stimmen überein) sowie ESPN (79 von 79 Ergebnissen) abgeglichen. Prognoseantworten werden mit gespeicherten Seiten von sieben Websites verglichen: CBS, Draft Sharks, StartWho, FantasyPros, Fantasy Football Calculator, FantasyData und FFToday. Ein Modell übernimmt Werte aus jeder Antwort, bewertet sie aber nicht. Ein festgelegtes Programm vergleicht sie mit dem Lösungsschlüssel, sodass identische Antworten immer dieselbe Punktzahl erhalten.

Alle drei getesteten Tool-Typen, Datenanbieter, Websuche und ligabewusste MCP-Server, liefen laut Firecrawl auf demselben Agenten (claude-opus-5-5). Dadurch seien die Ergebnisse direkt vergleichbar.

So schnitten die Tools ab

Firecrawl Alexandria beantwortete 219 von 272 Fragen vollständig richtig, das entspricht 80,5 Prozent. Damit liegt es 8,8 Prozentpunkte vor der nativen Websuche. Firecrawl bezeichnet diesen Abstand als statistisch signifikant (p = 0,005, exakter McNemar-Test). Flaim kam auf 71,3 Prozent und gilt als statistisch gleichauf mit der Websuche.

Der Unterschied entsteht bei den Prognosen. Bei den 122 Prognosefragen zu Woche 6 erreichte Alexandria 77,9 Prozent, die Websuche 60,7 Prozent und Flaim 61,5 Prozent. Bei Statistiken zu vergangenen Spielen lagen die Tools mit rund 80 Prozent dicht beieinander: Alexandria kam auf 82,7 Prozent, die Websuche auf 80,7 Prozent.

Auch bei der Wertegenauigkeit gab es Unterschiede. Wenn Alexandria eine Zahl lieferte, war sie in 98,8 Prozent der Fälle korrekt. Die Websuche lag in 85,0 Prozent der Fälle richtig, 15 Prozent der gemeldeten Zahlen waren also falsch. Die mediane Antwortzeit betrug bei Alexandria 46,8 Sekunden, bei der Websuche 65,0 Sekunden.

Firecrawl führt den Abstand darauf zurück, wie die Daten beim Agenten ankommen. Die Websuche liest eine Seite und lässt das Modell Zahlen aus Tabellen ziehen, während Alexandria strukturierte Datensätze mit den angefragten Feldern liefert. Zur Fantasy-Abdeckung von Alexandria gehören fünf Prognosequellen (CBS, Draft Sharks, StartWho, Fantasy Football Calculator und FFToday), dazu Verletzungs- und Nachrichtenmeldungen, Rest-of-Season-Boards und die Ligaanbindung an ESPN, Sleeper oder Yahoo.

Was das für Fantasy-Spieler bedeutet

Der Beitrag stammt von Firecrawl, das auch das bestplatzierte Tool herstellt. Das Ranking spiegelt also den hauseigenen Benchmark wider. FantasyPros Coach AI und SportsDataIO führt Firecrawl als nicht getestet auf und nennt sie nur, weil sie in Community-Diskussionen auftauchen.

Für Nutzer deuten die Zahlen auf eine Aufteilung hin. Laut Firecrawl eignet sich die native Websuche für schnelle Fragen, Verletzungschecks und allgemeine Rankings. Für die Aufstellung oder Trade-Entscheidungen rät das Unternehmen davon ab, denn dort kann eine falsche Zahl ein Matchup kosten. Alexandria positioniert Firecrawl für Aufgaben, bei denen es auf Genauigkeit ankommt, und nennt die Nachteile selbst: Es braucht ein Firecrawl-Konto und Credits, ein schlüsselloser Gratismodus reicht nur zur Evaluierung, und einige Nischenquellen für Prognosen fehlen noch.