AWS bringt vollständiges Fine-Tuning für die serverlose Anpassung von SageMaker AI

AWS hat SageMaker AI Serverless Model Customization um Unterstützung für Full Fine-Tuning (FFT) erweitert. Unternehmen können damit alle Modellparameter aktualisieren, ohne GPUs bereitstellen oder verteiltes Training konfigurieren zu müssen. Nach Angaben des Unternehmens lieferte FFT in Experimenten mit einem Qwen3-4B-Modell und 110.000 Paaren aus Programmieranweisungen und Antworten bessere Ergebnisse als LoRA.
- SageMaker AI Serverless Model Customization unterstützt jetzt Full Fine-Tuning.
- AWS verglich FFT und LoRA anhand von Qwen3-4B und 110.000 Paaren aus Programmieranweisungen und Antworten.
- FFT erreichte bei 100K+ Trainingsbeispielen 90,0 Prozent semantische Korrektheit nach dem LLM-as-Judge-Verfahren.
- AWS zufolge übernimmt die serverlose Anpassung die Zuweisung von Rechenressourcen und die Checkpoint-Verwaltung.
Warum AWS Full Fine-Tuning einführt
Fine-Tuning passt ein vortrainiertes Large Language Model an die Domäne, Aufgabe oder den Stil eines Unternehmens an, indem das Training mit den eigenen Daten fortgesetzt wird. AWS stellt dies als Möglichkeit dar, die Genauigkeit bei spezialisierten Aufgaben zu verbessern und zugleich möglicherweise die Inferenzkosten durch kleinere, auf bestimmte Aufgaben zugeschnittene Modelle zu senken.
Viele Workflows zur Modellanpassung verwenden Low-Rank Adaptation, kurz LoRA. Dabei werden die Gewichte des vortrainierten Modells eingefroren und Low-Rank-Matrizen hinzugefügt. Dadurch sinkt die Zahl der trainierbaren Parameter und die benötigte GPU-Kapazität. AWS zufolge eignet sich dieser Ansatz gut für einfachere Anpassungen. Seine Low-Rank-Struktur kann jedoch die Fähigkeit des Modells begrenzen, komplexe Änderungen abzubilden.
FFT aktualisiert dagegen die Modellparameter gleichzeitig. Nach Angaben von AWS kann das Modell dadurch die vollständige Repräsentationsfähigkeit seiner Gewichtsmatrizen nutzen und komplexes, domänenspezifisches Wissen besser aufnehmen. Das Unternehmen erklärt, dass LoRA bei zunehmender Aufgabenkomplexität und Datensätzen mit mehr als zehntausenden Beispielen ein Genauigkeitsplateau erreichen kann.
FFT im Vergleich zu LoRA im Benchmark
AWS nutzte überwachtes Fine-Tuning für das in Amazon SageMaker AI Studio verfügbare Basismodell Qwen3-4B. Die Experimente verwendeten den Datensatz Magicoder-Evol-Instruct-110K, den AWS als kuratierte Sammlung von 110.000 Paaren aus Programmieranweisungen und Antworten beschreibt. Diese decken Algorithmenentwurf, Debugging, Datenstrukturen und Systemprogrammierung ab.
Der Datensatz wurde in 99.000 Trainingsdatensätze, 5.500 Validierungsdatensätze und 5.500 zurückgehaltene Testdatensätze aufgeteilt. LoRA und FFT erhielten dieselben Prompts, Zielvorgaben und Evaluierungscodes.
AWS berichtet, dass FFT bei 100K+ Trainingsbeispielen bei der semantischen Korrektheit nach dem LLM-as-Judge-Verfahren über Aufgaben zur Codegenerierung 90,0 Prozent erreichte. Für die Bewertung wurde Amazon Nova Pro als automatisierter Prüfer eingesetzt, der feststellte, ob der erzeugte Code logisch korrekt war. AWS zufolge lag FFT in einem Vergleich anhand eines Netzdiagramms außerdem in jeder Dimension vor LoRA, mit besonders deutlichen Vorsprüngen bei BLEU und ROUGE-2.
Die Modelle wurden mit LLM-as-Judge, PRIMECODE und MMLU bewertet. Diese Methoden untersuchten die semantische Korrektheit, die Genauigkeit der Codegenerierung und den Erhalt von Allgemeinwissen. PRIMECODE nutzte BLEU, ROUGE-1/2/L und F1, um den erzeugten Code mit Referenzlösungen zu vergleichen.
Serverloses Training beseitigt Infrastrukturaufwand
SageMaker AI Serverless Model Customization soll Data Scientists und Machine-Learning-Ingenieuren ermöglichen, ein Basismodell, einen Datensatz und Hyperparameter festzulegen, während der Dienst die Zuweisung der Rechenressourcen und die Verwaltung von Checkpoints übernimmt. AWS zufolge sind weder die Bereitstellung von GPUs noch die Einrichtung eines Clusters oder die Konfiguration von verteiltem Training erforderlich.
Der Beitrag zeigt einen über das SageMaker Python SDK konfigurierten FFT-Job mit einer Lernrate von 2e-5, einer globalen Batch-Größe von 8, 2 maximalen Epochen und einem Warmup-Verhältnis der Lernrate von 0.1. Die Trainingsmetriken werden im Job erfasst und können in der verknüpften MLflow-App angezeigt werden.
AWS zufolge muss für den Wechsel des Beispiels von FFT zu LoRA lediglich TrainingType.FULL in TrainingType.LORA geändert werden. Für Nutzer mit großen, hochwertigen Datensätzen und komplexen Anforderungen an die Modellanpassung positioniert die Ankündigung FFT als Möglichkeit, eine höhere Modellqualität anzustreben, ohne den mit vollständigem Training verbundenen Aufwand der Infrastrukturverwaltung zu übernehmen.


