ZenML prüft 7 Alternativen zu Galileo für KI-Observability
ZenML hat sieben Alternativen zu Galileo für Teams geprüft, die KI-Agenten in der Produktion entwickeln und betreiben. Der Vergleich folgt auf die Übernahme von Galileo durch Cisco und die Umwandlung in Splunk Agent Observability. Dabei geht es um Evaluierung, Tracing, Tests und Bereitstellungsanforderungen.
- Cisco hat die Übernahme von Galileo am 22. Mai 2026 abgeschlossen.
- Für Neukunden wird Galileo nun als Splunk Agent Observability angeboten.
- ZenML vergleicht sieben Alternativen in den Bereichen Evals, Tracing und Regressionstests.
- Kitaru führt Agenten-Code anhand aufgezeichneter Produktionssitzungen erneut aus.
- Zu den Alternativen gehören Arize AX, Braintrust, LangSmith, Comet Opik, Langfuse und Fiddler AI.
Warum Teams nach Alternativen zu Galileo suchen könnten
Cisco kündigte die Übernahme von Galileo am 9. April 2026 an, schloss sie am 22. Mai 2026 ab und integrierte Galileo in Splunk. In den Galileo-Versionshinweisen heißt es: „Seit dem 7. August 2026 ist Galileo nun Splunk Agent Observability.“ Kunden, die sich vor diesem Datum registriert haben, behalten das Produkt und die Dokumentation von galileo.ai. Später hinzugekommene Kunden werden zu Splunk weitergeleitet.
ZenML zufolge bringt dies einen neuen Produktweg, ein neues Preismodell und neue Bereitstellungsanforderungen mit sich, die Käufer berücksichtigen müssen. Splunk nennt einen Einstiegspreis von 100 US-Dollar pro Monat bei jährlicher Abrechnung für 1,2 Millionen Spans pro Jahr. Das Paket umfasst außerdem 500 Millionen Luna-Token und fünf Luna-Fine-Tuning-Läufe pro Jahr.
Die von ZenML besprochenen früheren Galileo-Preise umfassten einen kostenlosen Tarif mit 5.000 Traces pro Monat sowie einen Pro-Tarif für 100 US-Dollar pro Monat bei jährlicher Abrechnung und 50.000 Traces. Galileos veröffentlichte Preisliste zeigte nach Pro keinen weiteren Preis. ZenML zufolge gelten die alten Tarife nun nur noch für Bestandskunden. Neukunden sollten daher die aktuellen Produkt- und Preisinformationen von Splunk prüfen.
Anforderungen für den Produktionseinsatz und Vergleichskriterien
ZenML zufolge reservierte Galileo mehrere Funktionen für den Enterprise-Tarif: SSO, eine private VPC oder On-Premises-Bereitstellung, Echtzeit-Schutzmechanismen und dedizierte Inferenzserver mit niedriger Latenz. In der Dokumentation zu Luna-2 heißt es zudem: „Luna-2 ist nur in der Enterprise-Stufe von Galileo verfügbar.“ ZenML argumentiert, dass kleinere Teams diese Funktionen möglicherweise benötigen, bevor sie für einen Enterprise-Vertrag bereit sind.
Der Test vergleicht die Alternativen anhand von vier Fragen. Lassen sich die Bewertungen eines Evaluators mit Labels von Personen überprüfen, die die Aufgabe verstehen? Können Teams eigenen Bewertungs-Code, ein eigenes Beurteilungsmodell und eigene Abhängigkeiten verwenden? Kann die Plattform Tool-Aufrufe, verschachtelte Agenten, parallele Abläufe und Anfragen über Servicegrenzen hinweg nachverfolgen? Und kann aus einem Fehler in der Produktion ein versionierter Testfall werden, bei dem Eingaben, erwartetes Ergebnis und Kontext erhalten bleiben?
ZenML sieht in diesem Weg vom Trace zum Test den Bereich, in dem sich die Tools am stärksten unterscheiden. Berücksichtigt wird auch die Unterstützung für OpenTelemetry, die den Wechsel der Instrumentierung zwischen Anbietern erleichtern kann.
Sieben Alternativen, von Replay-Tests bis zu Enterprise-Kontrollplattformen
Die Alternativen verfolgen unterschiedliche Ansätze. Kitaru konzentriert sich darauf, Änderungen anhand aufgezeichneter Produktionssitzungen zu testen. Dabei wird echter Agenten-Code mit aufgezeichneten Tool-Ergebnissen erneut ausgeführt. ZenML beschreibt Kitaru als Open-Source-Tool des Teams hinter ZenML, das am 4. November 2026 die Version 0.27.6 erreicht hatte und sich weiterhin in der Beta-Phase befindet. Bezahlte Tarife beginnen bei 39 US-Dollar pro Monat.
Arize AX richtet sich an Enterprise-Teams, die Online-Evaluierungen für jeden Span benötigen, mit Evaluatoren für LLMs, Code, Agenten und HTTP-Endpunkte. Braintrust zielt auf Eval-orientierte Teams, die Zusammenführungen anhand von Bewertungen freigeben. LangSmith ist auf Teams ausgerichtet, die LangGraph und LangChain verwenden. Comet Opik kombiniert einen Apache-2.0-Kern mit Testsuiten, die aus fehlgeschlagenen Traces erstellt werden. Langfuse bietet einen MIT-Kern und einen OTLP-Endpunkt für Teams, die den Trace-Speicher auf ihrer eigenen Infrastruktur betreiben möchten.
Fiddler AI richtet sich an Unternehmen, die Machine-Learning-Modelle und Agenten unter einer gemeinsamen Kontrollplattform betreiben. Dafür stehen Schutzmechanismen und Evaluator-Regeln für Produktionsspans zur Verfügung. Der Vergleich von ZenML führt für die gesamte Gruppe kostenlose und kostenpflichtige Optionen auf, darunter kostenlose Open-Source-Angebote sowie Einstiegspreise von 19 US-Dollar pro Monat für Comet Opik bis 249 US-Dollar pro Monat für Braintrust.
Für Nutzer stellt die Analyse die Wahl unter den Gesichtspunkten Kontrolle über Evaluierungen, Self-Hosting, Kosten und der Möglichkeit dar, Fehler aus der Produktion in Regressionstests umzuwandeln. Galileos Funktionen bleiben Teil des Vergleichs. Neukunden müssen jedoch den Produktweg über Splunk berücksichtigen und die aktuellen Bedingungen vor einer Entscheidung prüfen.
