Snowflake bietet serverloses Fine-Tuning für Modelle mit offenen Gewichten

Snowflake will Entwicklern das GPU-Management abnehmen

Snowflake hat am 3. November die öffentliche Vorschau von Cortex Training angekündigt. Der Dienst soll Unternehmens- KI-Teams ermöglichen, große Sprachmodelle mit offenen Gewichten anhand eigener Daten anzupassen und bereitzustellen, ohne GPU-Infrastruktur, Checkpoints oder verteilte Ausführung aufbauen, planen oder verwalten zu müssen.

Nach Angaben des Unternehmens erzeugen produktive KI-Anwendungen große Mengen kommerziell wertvoller Daten. Dazu können Kundenanfragen, Nutzungsmuster und Ergebnisse gehören. Cortex Training verknüpft diese Daten mit dem Prozess zur Modellanpassung, während Snowflake die GPUs, den Modellstatus und die verteilte Ausführung verwaltet.

Snowflake zufolge basiert der Dienst auf einem anpassbaren, optimierten Open-Source-Backend. Auf Grundlage eigener Vergleichstests kann Cortex Training bis zu 61 Prozent niedrigere Kosten bieten als andere serverlose Dienste.

SFT, RL und individuelle Trainingsschleifen

Cortex Training unterstützt überwachtes Fine-Tuning, kurz SFT, sowie Reinforcement Learning, kurz RL. Beide Methoden können mit Training aller Parameter oder mit LoRA eingesetzt werden. Entwicklern stehen Modellfamilien mit offenen Gewichten zur Verfügung, darunter Qwen, GLM, Nemotron, Gemma und DeepSeek.

Beim SFT lernt das Modell anhand hochwertiger Beispiele. Bei einem Kundenservice-Agenten könnte dies bedeuten, Probleme zu erkennen, mit Kunden zu kommunizieren, Eskalationsregeln anzuwenden sowie Tools und Arbeitsabläufe passend zu nutzen.

RL formt das Verhalten dagegen anhand von Rückmeldungen zu messbaren Ergebnissen. Als Beispiele nennt Snowflake, einem Kundenservice-Agenten beizubringen, wann er ein Ticketsystem verwenden, wann er eine Billing-API aufrufen und wann er einen Fall an einen Menschen eskalieren soll. Ziel ist ein besseres Gleichgewicht zwischen Qualität, Geschwindigkeit und Kosten.

Der Dienst lässt sich in Frameworks wie Hugging Face TRL, PrimeRL, veRL und SkyRL integrieren. Über APIs auf niedrigerer Ebene können Entwickler außerdem eigene Verlustfunktionen, Modellarchitekturen und Trainingsschleifen erstellen.

Von der Datenaufbereitung bis zu OpenAI-kompatiblen Endpunkten

Snowflake möchte, dass Cortex Training den gesamten Lebenszyklus eines Modells verwaltet. Teams können Modelle zunächst anhand eigener Workloads nach Qualität, Latenz und Kosten vergleichen und anschließend das für die Anpassung am besten geeignete Basismodell auswählen.

Auf Snowflakes Datenplattform können Unternehmen strukturierte und unstrukturierte Daten bereinigen, filtern, anreichern und kennzeichnen. Mit Cortex AI Functions, SQL und Snowpark lassen sich diese Daten in trainingsfertige Datensätze umwandeln. Cortex AI Gateway kann zudem Traces, Logs und Modellinteraktionen von Agenten erfassen.

Zusammen mit Anwendungsergebnissen und menschlichem Feedback können diese Daten als Grundlage für neue Trainingsdatensätze dienen. Snowflake beschreibt dies als kontinuierlichen Verbesserungszyklus: Auf Basis von Signalen aus dem Produktiveinsatz können Modelle immer stärker auf die spezifischen Aufgaben eines Unternehmens zugeschnitten werden.

Checkpoints angepasster Modelle lassen sich vergleichen und anschließend über OpenAI-kompatible Inferenz-Endpunkte bereitstellen. Snowflake zufolge gilt die rollenbasierte Zugriffskontrolle für Trainingsdaten, Modelltraining, Bereitstellung und Inferenz. Daten, Modellgewichte und Optimiererstatus verbleiben dabei in der von Snowflake verwalteten Umgebung.

Was bedeutet das für Unternehmen?

Cortex Training bietet Unternehmens- KI-Teams eine Alternative, wenn sie die Leistung von Modellen mit offenen Gewichten anhand eigener Daten verbessern, aber keinen dedizierten GPU-Cluster betreiben wollen. Snowflake zufolge können sich Entwickler auf Modelllogik und Experimente konzentrieren, während die Plattform infrastrukturlastige Vorgänge wie Vorwärts- und Rückwärtspropagation, Optimierungsschritte, Gewichtssynchronisierung und Generierung übernimmt.

Nach Angaben von Snowflake nutzt ResolveAI die serverlosen APIs, um lang laufende Aufgaben mit Hunderten und in einigen Fällen mehr als tausend GPUs zu trainieren. Forschende von OpenHands erklärten, Cortex Training habe ihnen ermöglicht, sich auf Experimente und Training zu konzentrieren, ohne auf die zuvor verwendeten Frameworks zu verzichten.