Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS startet Leaderboard für SageMaker-JumpStart-Modellvergleiche

18. November 2026, 23:31Von der KI Nachrichten RedaktionQuelle: AWS
AWS startet Leaderboard für SageMaker-JumpStart-Modellvergleiche
Bild: AWS

AWS hat das Amazon SageMaker JumpStart Model Leaderboard gestartet. Die Ansicht in SageMaker Studio vergleicht Open-Weight-Modelle nach Qualität, Leistung und geschätzten Kosten. Zum Start umfasst das Leaderboard mehr als 70 Modelle und nutzt Messungen von AWS, um Vergleiche konsistenter zu machen.

Das Wichtigste in Kürze
  • AWS hat das SageMaker JumpStart Model Leaderboard in SageMaker Studio gestartet.
  • Es umfasst mehr als 70 Modelle von Anbietern wie Meta, Google, Qwen, IBM und Arcee.
  • AWS bewertet die Modelle mit BIG-Bench Hard, GPQA Diamond und MMLU-Pro.
  • Nutzer können die Zeit bis zum ersten Token, den Durchsatz und die geschätzten Instanzkosten vergleichen.
  • Filter und Bereitstellungsoptionen verbinden die Modellauswahl mit der Bereitstellung in SageMaker.

JumpStart-Modelle im direkten Vergleich

Amazon SageMaker JumpStart stellt Hunderte von Open-Weight-Grundlagenmodellen bereit, die Nutzer schnell bereitstellen können. Laut AWS kann die große Auswahl die Entscheidung erschweren, insbesondere wenn Modellkarten und Benchmark-Ergebnisse unter unterschiedlichen Bedingungen veröffentlicht werden.

Das neue Leaderboard erscheint auf der Seite für JumpStart-Basismodelle in SageMaker Studio, neben den bestehenden Ansichten „Kategorien“ und „Alle Modelle“. Es öffnet sich mit Rankings für Large Language Models und verwendet dieselbe Suchleiste sowie dieselben Filter wie die übrigen JumpStart-Ansichten.

Zum Start umfasst es mehr als 70 Modelle von Anbietern wie Meta, Google, Qwen, IBM und Arcee. AWS zufolge sollen im Laufe der Zeit weitere Modelle hinzukommen.

Qualität, Geschwindigkeit und Kosten an einem Ort

Das Leaderboard zeigt Qualitätswerte für drei öffentliche Reasoning-Benchmarks: BIG-Bench Hard, GPQA Diamond und MMLU-Pro. AWS führt die Tests selbst mit derselben Evaluierung für jedes Modell durch, sodass sich die Ergebnisse nach derselben Methode vergleichen lassen. Höhere Werte sind besser. Die Benchmarks bleiben getrennt und werden nicht zu einer einzigen Bewertung zusammengeführt.

BIG-Bench Hard umfasst anspruchsvolle Aufgaben wie logisches Schlussfolgern, Objektverfolgung und mehrstufige Rechenaufgaben. GPQA Diamond besteht aus naturwissenschaftlichen Fragen auf Hochschulniveau, während MMLU-Pro Wissen und Schlussfolgerungsfähigkeiten in Bereichen wie Naturwissenschaften, Recht und Ingenieurwesen misst.

AWS misst außerdem Leistung und Kosten, indem ein standardisierter Workload an einen Endpunkt gesendet wird, der jeweils die Bereitstellungskonfiguration von JumpStart verwendet. Zu den angezeigten Kennzahlen gehören die Zeit bis zum ersten Token, der Durchsatz pro Anfrage und die geschätzten Instanzkosten pro Stunde. Die Zeit bis zum ersten Token misst, wie lange ein Nutzer wartet, bevor eine Antwort beginnt. Der Durchsatz gibt die Zahl der erzeugten Token pro Sekunde an. Die Instanzkosten basieren auf dem standardmäßigen Instanztyp der jeweiligen Konfiguration.

Die geschätzten Kosten decken die SageMaker-Instanzkosten zum On-Demand-Stundensatz ab. AWS zufolge sind Datenübertragung, Speicher, Kosten für Inferenzkomponenten und Rabatte wie Reserved Instances oder AWS Savings Plans nicht enthalten. Die tatsächliche Abrechnung kann abweichen. Für Schätzungen der Abrechnung verweist AWS auf seinen Pricing Calculator.

Profile erleichtern den Vergleich von Bereitstellungen

Nutzer können im Menü „View benchmarks for your use case“ ein Profil für ihren Anwendungsfall auswählen. Das Standardprofil ist „Max Context“. Eine Änderung wirkt sich auf die Kennzahlen für Leistung und Kosten aus, nicht jedoch auf die Qualitätswerte.

Im Menü „Optimized for“ wird die für die angezeigten Kennzahlen verwendete Bereitstellungskonfiguration ausgewählt. Die standardmäßige Option „Balanced“ nutzt die Konfiguration mit den niedrigsten geschätzten Kosten pro Token. „Cost optimized“ wählt den niedrigsten stündlichen Instanzpreis, „Latency optimized“ die kürzeste Zeit bis zum ersten Token und „Throughput optimized“ den höchsten Durchsatz. Einige Konfigurationen können spekulatives Decoding verwenden.

AWS zufolge können Nutzer zunächst Anforderungen wie Lizenz, Anbieter sowie Eingabe- oder Ausgabemodalität über Filter festlegen. Anschließend können sie Benchmark-Spalten sortieren, mithilfe einer blauen Heatmap bessere Ergebnisse erkennen, nicht benötigte Spalten ausblenden und ein Modell öffnen, um es bereitzustellen. Bei Modellen, die serverlose Anpassungen unterstützen, bietet die Modellseite außerdem eine entsprechende Anpassungsoption.

Das Leaderboard soll die Modellauswahl mit der Bereitstellung in SageMaker Studio verbinden. AWS zufolge sollten Nutzer bei der Bereitstellung denselben Anwendungsfall und dasselbe Optimierungsziel auswählen, die sie auch für den Vergleich verwendet haben. Eine andere Konfiguration kann Qualität, Latenz, Durchsatz und Kosten verändern.

Ähnliche Meldungen

AWS lässt KI-Agenten x402-Produkte über Marketplace-Abrechnung kaufen
Produkte und Tools20. November 2026, 00:02

AWS lässt KI-Agenten x402-Produkte über Marketplace-Abrechnung kaufen

AWS hat AWS Billing in die Zahlungen von Amazon Bedrock AgentCore integriert. Damit können KI-Agenten x402-fähige Software, APIs, Daten und Inhalte über den AWS…

AWS bringt PolyAIs Sprachmodell Dialog-RSN-1 zu SageMaker JumpStart
Modelle19. November 2026, 18:28

AWS bringt PolyAIs Sprachmodell Dialog-RSN-1 zu SageMaker JumpStart

PolyAIs Reasoning-Modell Dialog-RSN-1 für Echtzeit-Kundengespräche ist jetzt über AWS Marketplace und Amazon SageMaker JumpStart verfügbar. AWS-Kunden können es als…

AWS bringt vollständiges Fine-Tuning für die serverlose Anpassung von SageMaker AI
Produkte und Tools19. November 2026, 01:15

AWS bringt vollständiges Fine-Tuning für die serverlose Anpassung von SageMaker AI

AWS hat SageMaker AI Serverless Model Customization um Unterstützung für Full Fine-Tuning (FFT) erweitert. Unternehmen können damit alle Modellparameter aktualisieren…