MLCommons entwickelt MLPerf Agents: Benchmark mit 3,5 Millionen US-Dollar aus NSF-gestütztem Programm
MLCommons ist als Benchmarking-Team für die STRIDE Ventures AI Efficiency Challenge ausgewählt worden, ein Programm, das von der US-amerikanischen National Science Foundation unterstützt wird. Mit einer Förderung von 3,5 Millionen US-Dollar über zwei Jahre will das Konsortium MLPerf Agents entwickeln, einen Benchmark, der misst, wie effizient agentische KI-Systeme reale Aufgaben erledigen.
- MLCommons wurde als Benchmarking-Team für die NSF-gestützte STRIDE Ventures AI Efficiency Challenge ausgewählt.
- Eine Förderung von 3,5 Millionen US-Dollar über zwei Jahre finanziert die Entwicklung von MLPerf Agents.
- Der Benchmark misst Kosten, Energie, Latenz und Durchsatz für erfolgreich abgeschlossene Agentenaufgaben über den gesamten Stack hinweg.
- Die ersten Workloads sind für Softwareentwicklung, Recherche und Datenanalyse sowie Kundenservice vorgesehen.
- Verdeckte Validierungsdatensätze und der Audit-Prozess von MLPerf sollen die Manipulation des Benchmarks erschweren.
Was MLPerf Agents messen soll
Laut MLCommons soll MLPerf Agents die Effizienz vom delegierten Ziel bis zum verifizierten Ergebnis erfassen. Das Programm wird von der U.S. National Science Foundation Directorate for Technology, Innovation and Partnerships (NSF TIP) unterstützt.
Das gemeinnützige Konsortium, dem Unternehmen, Hochschulen und Non-Profit-Organisationen angehören, sieht bestehende Benchmarks für Zeit, Kosten und Energieverbrauch bei der Inferenz weiterhin als wichtig an, hält aber eine Weiterentwicklung für nötig. Die Begründung: Ein Agent unterscheidet sich grundlegend von einem einzelnen Modell, das einen einzelnen Prompt beantwortet. Er arbeitet über viele Gesprächsrunden hinweg, ruft Werkzeuge auf, holt Informationen ein, trägt wachsenden Kontext mit sich, erholt sich von Fehlern und überprüft seine eigene Arbeit.
MLCommons weist darauf hin, dass die MLPerf-Inference-Arbeitsgruppe bereits agentische Inferenz-Benchmarks entwickelt, die die Anforderungen von Agenten an das Model Serving abbilden: mehrere Runden, Tool-Aufrufe, wachsender Kontext und Cache-Wiederverwendung. MLPerf Agents soll darüber hinausgehen. Die Messung wird auf den gesamten Workflow ausgeweitet, einschließlich Agent-Harness, Modellauswahl, agentischer Inferenz, Retrieval, Tool-Ausführung, Orchestrierung, Zustandsverwaltung, Fehlerbehebung und Validierung. Laut MLCommons lässt sich mit diesem breiteren Ansatz untersuchen, wie sich sowohl Harnesses als auch Modelle auf die Effizienz über den gesamten Ablauf auswirken, und nicht nur, wie schnell ein Modell Tokens liefert.
Vier geplante Vorteile
MLCommons nennt vier Punkte, die MLPerf Agents leisten soll:
- Effizienz im Verhältnis zum Erfolg. Kosten, Energie, Latenz und Durchsatz werden für erfolgreich abgeschlossene Aufgaben gemessen. Der Erfolg wird mit Verfahren überprüft, die von den MLCommons-Arbeitsgruppen AI Risk and Responsibility beeinflusst sind.
- Blick auf den gesamten Stack. Ressourcen werden über den kompletten Agent-Stack hinweg erfasst, sodass sichtbar wird, wo Ineffizienzen entstehen.
- Vergleichbare Ergebnisse über Architekturen hinweg. Gemeinsame Workloads, Tracing, Messregeln und Validierung ermöglichen es Käufern, Komplettlösungen zu vergleichen.
- Vertrauenswürdige Verifizierung. Verdeckte Validierungsdatensätze sowie der Review- und Audit-Prozess von MLPerf sollen die Manipulation von Benchmarks erschweren.
Die ersten Workloads sollen Softwareentwicklung, Recherche und Datenanalyse sowie Kundenservice abdecken.
Wer beteiligt ist
MLPerf Agents baut auf acht Jahren MLPerf-Benchmarks auf, darunter MLPerf Inference und MLPerf Power. Es soll demselben offenen, kollaborativen Prozess folgen: Workloads, Regeln und Referenzimplementierungen werden von der MLCommons-Community entwickelt, die Ergebnisse unterliegen einem Peer-Review.
David Kanter, Gründer von MLCommons und Leiter von MLPerf, und Professor Vijay Janapa Reddi, Mitgründer und Vice President von MLCommons, leiten die Arbeit gemeinsam mit der Community. Unterstützt wird das Vorhaben laut Ankündigung von Qualcomm, NVIDIA, Intel, AT&T, Workato, Gimlet Labs und weiteren Unternehmen.
Die AI Efficiency Challenge wird von STRIDE Ventures veranstaltet, einer nationalen Plattform für bahnbrechende Innovationen, die von der U.S. National Science Foundation und der Start2 Group ins Leben gerufen wurde. Die Start2 Group verwaltet die Challenge im Rahmen eines Other Transaction Agreement mit der NSF.
Was das für Käufer und Entwickler bedeutet
Nach Angaben von MLCommons soll der Benchmark Käufern Belege für die Auswahl effizienter agentischer Systeme liefern und Entwicklern helfen, Verbesserungen zu finden, die Kosten und Energieverbrauch senken, wenn agentische KI skaliert. Reddi, Vorstandsmitglied und Vice President of Research bei MLCommons, sagte: „Während agentische KI skaliert, beginnen wir gerade erst zu verstehen, wie sich über Harness, Modellaufrufe, Tool-Aufrufe, Wiederholungsversuche und mehr hinweg optimieren lässt, um die beste Kosten- und Energieeffizienz zu erreichen.“
Für Organisationen, die Agentenprodukte prüfen, würde der geplante Ansatz einen Vergleich kompletter Lösungen auf gemeinsamer Grundlage erlauben, statt allein anhand der Modellgeschwindigkeit. Einen Veröffentlichungstermin oder einen Zeitplan für erste Ergebnisse nennt die Quelle über den zweijährigen Förderzeitraum hinaus nicht.
