MLPerf wird Bewertungsmaßstab bei der EU-Ausschreibung für KI-Gigafactories, Endpoints v1.0 startet

MLPerf bewertet Gebote in der EU-Ausschreibung für KI-Gigafactories

Die Europäische Union hat ihre Ausschreibung für KI-Gigafactories im Juli gestartet. Sie umfasst bis zu sieben große KI-Rechenzentren, gestützt durch bis zu 10 Milliarden Euro an EU-Mitteln und nationalen Mitteln. Nach Angaben von MLCommons sollen dadurch Gesamtinvestitionen von mehr als 30 Milliarden Euro ausgelöst werden. Die Ausschreibung ist eine gemeinsame Beschaffung des EuroHPC Joint Undertaking und nationaler Vergabebehörden, die Gebote sind bis zum 12. November 2026 einzureichen.

Die Ausschreibungsunterlagen nennen MLPerf als Standard, um die technische Leistung der Bieter zu messen. Die Angebote werden anhand der Benchmarks MLPerf Training v5.1 und Inference v5.1 bewertet. MLCommons zufolge nennt die Ausschreibung mehr als ein halbes Dutzend Modelle aus den Standard-Workloads von MLPerf: Flux.1 und Llama beim Training sowie Llama 3.1 405B, DeepSeek R1 und SDXL 1.0 bei der Inferenz.

Die geforderten Kennzahlen bauen auf den MLPerf-Standardmetriken auf: Time-to-Train beim Training sowie Time to First Token und Time per Output Token bei der Inferenz. Zusätzlich werden weitere Angaben wie die Auslastung der Beschleuniger verlangt. Bieter müssen Ergebnisse sowohl für die in Phase 1 gelieferte Kapazität als auch für den geplanten Ausbau in Phase 2 melden.

David Kanter, Head of MLPerf, sagte: "MLPerf is designed to help inform buyers as they navigate deploying AI capabilities."

Endpoints testet KI über die Live-API

MLPerf Endpoints misst KI so, wie sie in der Praxis genutzt wird: über die Live-API, mit der Anwendungen ein Modell aufrufen. Das getestete System ist schlicht eine URL, mit der der Endpoints-Client über Standardschnittstellen kommuniziert. Laut MLCommons können Käufer so Hardwarehersteller, Hyperscaler, Neoclouds und Anbieter verwalteter APIs auf gleicher Basis vergleichen, egal ob Bare Metal, ein verwalteter Cloud-Dienst oder ein containerisierter Software-Stack zum Einsatz kommt.

Statt einer einzelnen Spitzenzahl durchläuft Endpoints jedes System mit unterschiedlichen Lasten und liefert ein vollständiges Leistungsprofil. Die Ergebnisse umfassen:

• Concurrency (Parallelität)
• Interaktivität, gemessen in Tokens pro Sekunde und Nutzer
• Systemdurchsatz
• Time to First Token im 90. Perzentil (TTFT P90)

Käufer können damit einen verifizierten Betriebspunkt mit ihren eigenen Anwendungen und Service-Level-Zielen abgleichen. Jedes Ergebnis erscheint als Pareto-Front im LoadStair-Visualizer, der zeigt, wo ein System stabil bleibt und wo es an eine Leistungsgrenze stößt.

Version 1.0 bringt Strommessung und fortlaufende Einreichungen

Endpoints 1.0 führt eine verpflichtende Messung der bereitgestellten Leistungsaufnahme ein, ein Novum in der MLPerf-Familie. Laut MLCommons hilft das Käufern, Energieeffizienz und Kostenprofil jeder Lösung zu verstehen und zu vergleichen.

Die Version baut auf der Basisversion v0.7 vom Juli auf. Sie deckt generative KI-Workloads ab, darunter DeepSeek-R1, GPT-OSS 120B und Llama-Modelle, sowie neue agentische Coding-Workloads mit DeepSeek v4 Pro, Kimi K3 und Qwen 3.6.

Endpoints bietet jetzt fortlaufende Einreichungen. Mitglieder können ein von Fachleuten geprüftes Ergebnis veröffentlichen, sobald sie einen neuen Chip oder eine Softwareoptimierung ausliefern, statt auf eine feste Runde zu warten. Jedes Ergebnis durchläuft weiterhin das Peer-Review- und Audit-Verfahren von MLPerf. MLCommons erwartet die Veröffentlichung der ersten v1.0-Ergebnisse im November. Mitglieder finden den Einreichungsleitfaden und die Regeln unter mlcommons.org/benchmarks/endpoints.

Was das für KI-Käufer bedeutet

MLCommons sieht beide Neuerungen in dieselbe Richtung weisen: Industrie, Staat und Käufer setzen zunehmend auf offene, von Fachleuten geprüfte Messungen als Grundlage für Entscheidungen zur KI-Einführung. Laut der Organisation fragen Käufer nicht nur nach der Chipgeschwindigkeit, sondern nach der gelieferten Dienstleistungsleistung, den Kosten für bestimmte Workloads und dem Energieverbrauch.

Bei öffentlichen Beschaffungen im Umfang der Gigafactories-Ausschreibung brauchen Teams nach Ansicht von MLCommons Leistungsangaben, denen sie vertrauen und die sie vergleichen können, und offene, begutachtete Ergebnisse böten genau das. Für kommerzielle Käufer soll Endpoints vergleichbare, geprüfte Betriebsprofile und Stromdaten über sehr unterschiedliche Anbietertypen hinweg liefern.