ZenML wird zu ZenML Labs und integriert KI-Ingenieure in seine Plattform

Ein Unternehmen, drei Produkte

ZenML Labs zufolge spiegelt die Umbenennung den Fokus des Unternehmens wider, Teams beim Betrieb von KI-Systemen in der Produktion zu unterstützen. ZenML bleibt das KI-Orchestrierungsprodukt des Unternehmens, während Kitaru Lücken bei der Bewertung von Agenten identifizieren soll, indem es Produktionssitzungen untersucht. ZenML Pro ist die verwaltete Plattform für beide Produkte, auf der die KI-Ingenieure aufbauen.

ZenML zufolge nutzen unter anderem JetBrains, Safran und Adeo die Technologie seit fünf Jahren, um KI in der Produktion einzusetzen. Nun sieht das Unternehmen bei Agenten ähnliche betriebliche Herausforderungen. Dazu gehören unbemerkte Fehler, unerwartete Kundenanfragen, Prompt-Änderungen mit Auswirkungen auf das bisherige Verhalten und steigende Modellkosten.

KI-Ingenieure untersuchen Traces und testen Lösungen

Das neue Agenten-Framework in ZenML Pro umfasst für ZenML und Kitaru entwickelte Fähigkeiten für Aufgaben wie das Erstellen von Evaluierungen, die Untersuchung von Fehlern und das Testen von Änderungen. Das Unternehmen bezeichnet jeden Bot als KI-Ingenieur für einen bestimmten Agenten, ein bestimmtes Modell oder einen bestimmten Job. Die Bots liefern Belege für ihre Arbeit, während Menschen entscheiden, was veröffentlicht wird.

Laut ZenML liest das System Produktions-Traces zusammen mit bestehenden Evaluierungen, gruppiert ähnliche Fehler und hebt die Sitzungen hervor, deren Prüfung sich am meisten lohnt. Außerdem kann es sich mit GitHub verbinden, um einen Agenten, seine Evaluierungen und relevante Richtlinien zu finden. ZenML zufolge können Nutzer die für den Zugriff auf Repositories und Traces verwendeten Schlüssel widerrufen. Gespeichert werden demnach nur Metadaten. Teams, deren Daten in ihrer eigenen Umgebung bleiben müssen, können die Agenten in ihrer eigenen Cloud mit ihrem eigenen Large-Language-Model-Endpunkt ausführen.

Wenn eine mögliche Lösung gefunden ist, können die Agenten sie als Experiment anhand vergangener Produktionssitzungen ausführen. ZenML beschreibt als Beispiel einen Schadenbearbeitungsagenten, bei dem 31 von 214 Einsprüchen nach dem Wechsel zu einem günstigeren Modell ohne Entscheidung endeten, obwohl eine Evaluierung zur Prüfung des Antwortformats jeden Fall bestanden hatte. Nach Angaben des Unternehmens könnten seine KI-Ingenieure dieses Muster erkennen und eine Prüfung namens decision_made entwerfen.

Roadmap sieht Feinabstimmung von Modellen vor

ZenML betrachtet Produktions-Traces als potenzielle Trainingsdaten. Auf seiner Roadmap erklärt das Unternehmen, dass seine KI-Ingenieure ein günstigeres Open-Source-Modell anhand dieser Traces feinabstimmen sollen. Dies soll über eine ZenML-Pipeline geschehen, die auf der Infrastruktur des Kunden läuft. Das resultierende Modell würde anhand derselben Prüfungen evaluiert. Der Kunde genehmigt den Wechsel und erhält die Gewichte.

Für bestehende ZenML-Nutzer sollen Pipelines weiterhin mit demselben SDK, denselben Stacks und denselben Integrationen laufen, ohne dass Codeänderungen erforderlich sind. Das Dashboard hat ein neues Design, während das klassische Dashboard weiterhin unter classic.cloud.zenml.io verfügbar bleibt. ZenML und Kitaru bleiben unter Apache 2.0 quelloffen. Nach Angaben des Unternehmens werden selbst gehostete und lokale Deployments nach einem Upgrade auf das neue Dashboard umgestellt.

Nutzer von ZenML Pro erhielten die neue Oberfläche in der Woche vor der Ankündigung. Die neue Oberfläche von Kitaru wird laut ZenML heute veröffentlicht. Das Ziel des Unternehmens ist es, Menschen festlegen zu lassen, was eine Verbesserung bedeutet, während KI-Ingenieure Fehler untersuchen, Verbesserungen testen und später Modelle trainieren und bereitstellen.