Atos trimmt kleine Modelle mit Red Hat AI und schlägt GPT-4.1 bei deutschen Texten

Eine Aufgabe, die sich nicht durch mehr Kontext lösen lässt

Im Mittelpunkt des Atos-Projekts steht die Analyse deutschsprachiger Social-Media-Inhalte in 14 Kategorien, etwa mit Indikatoren für schädliche Inhalte. Nachgelagerte Systeme hängen von der Ausgabe ab, sodass das Modell seine Erkenntnisse in einer konsistenten, klar definierten JSON-Struktur liefern muss. Zudem musste die Lösung strenge Souveränitätsanforderungen erfüllen, mit Kontrolle über Daten, Modelle und Trainingspipeline.

Red Hat weist darauf hin, dass Retrieval-Augmented Generation (RAG) zu einem wichtigen Weg geworden ist, KI-Modelle mit proprietären Informationen zu verbinden. Nicht jedes Problem lasse sich jedoch lösen, indem man einem Modell mehr Kontext gibt. Hier bestand die Herausforderung darin, ein Modell dazu zu bringen, überwiegend deutschsprachige Inhalte zu interpretieren, die richtigen Informationen zu extrahieren und sie zuverlässig in der geforderten Struktur auszugeben. Laut Red Hat bedeutet das, das Verhalten des Modells zu verändern und nicht nur die Informationen, auf die es zugreifen kann.

Mit Red Hat AI setzte Atos auf die Generierung synthetischer Daten, um die hochwertigen Datensätze aufzubauen, die zum Feintuning kleiner Modelle für die strukturierte Extraktion nötig sind. Red Hat zufolge löst dies das Problem knapper domänenspezifischer Daten, eine häufige Hürde beim Feintuning.

Ergebnisse: Kleine Modelle gegen GPT-4.1

Der Anwendungsfall wurde im Hinblick auf potenziell Millionen von Datensätzen pro Tag konzipiert, weshalb Inferenzkosten und Latenz wichtig sind. Die zentrale Frage lautete, wie klein ein Modell sein kann, um die Aufgabe dennoch zu erfüllen.

• Das Feintuning verbesserte den Gesamtwert von Phi-4 Mini in der Evaluierung um bis zu 26,4 % gegenüber den Basismodell-Vergleichswerten.
• Das angepasste Modell erreichte allein durch Feintuning rund 99 % gültiges JSON, ohne zusätzliche Hilfsstruktur zur Durchsetzung des Ausgabeformats.
• Das feinjustierte Modell Qwen 2.5 7B übertraf GPT-4.1 in der Evaluierung.
• Das feinjustierte Phi-4 Mini kam trotz seiner deutlich geringeren Größe sehr nah an GPT-4.1 heran.
• Phi-4 Mini übertraf zudem NuExtract 2.0 8B, ein speziell für strukturierte Extraktion entwickeltes und mehr als doppelt so großes Modell, im Gesamtwert um bis zu 22,6 %.

Red Hat betont die Grenzen dieses Befunds. Er bedeute nicht, dass kleinere Modelle bei jeder Arbeitslast Frontier-Modelle schlagen, sondern nur, dass das größte Modell nicht zwangsläufig für jede Aufgabe die richtige Wahl ist.

Von Datensouveränität zu KI-Souveränität

Red Hat argumentiert, Souveränität bedeute nicht nur, Daten innerhalb geografischer Grenzen zu halten. Unternehmen benötigten zunehmend Kontrolle über die Modelle selbst: wo sie laufen, wie sie angepasst werden und wie sie in Geschäftsprozesse passen. Ein offenes Modell lasse sich auf die eigenen Arbeitslasten eines Unternehmens zuschneiden und auf einer vom Unternehmen kontrollierten Infrastruktur betreiben.

Mit agentischer KI gewinne das an Bedeutung, so das Unternehmen. Unternehmensagenten orchestrieren oft viele spezialisierte Aufgaben, etwa das Extrahieren von Informationen, das Klassifizieren von Anfragen, das Erzeugen strukturierter Ausgaben und die Interaktion mit Unternehmenssystemen. Diese Aufgaben erfordern häufig ein konsistentes, aufgabenspezifisches Verhalten statt der breiten Fähigkeiten eines Frontier-Modells. Statt jede Aufgabe an ein großes Frontier-Modell zu schicken, können Unternehmen für jede Arbeitslast das passende Modell wählen und kleinere Modelle dort spezialisieren, wo es sinnvoll ist.

Was das für Unternehmen bedeutet

Für den Produktionseinsatz mit hohem Volumen liefert das Feintuning eines kleinen Modells für eine klar definierte Arbeitslast laut Red Hat die richtige Präzision ohne den Overhead eines universellen Frontier-Modells und verbessere die Wirtschaftlichkeit des KI-Betriebs im großen Maßstab erheblich. Das Unternehmen versteht Feintuning als Ergänzung zu RAG: RAG liefert relevantes Unternehmenswissen, während Feintuning einem Modell spezialisierteres und konsistenteres Verhalten beibringt.

Die Ergebnisse stammen aus einer einzigen Extraktionsaufgabe für deutschsprachige Texte und werden von Red Hat berichtet, nicht von einer unabhängigen Evaluierung. In diesem Rahmen folgert Atos, dass ein kleines, angepasstes Modell bei spezifischen Unternehmensaufgaben die Leistung von Frontier-Modellen erreichen oder übertreffen kann und zugleich die Kontrolle bietet, die souveräne KI verlangt. Red Hat verweist außerdem auf seinen technischen Blogbeitrag dazu, wie Atos strukturierte Ausgaben angegangen ist, sowie auf Red Hat OpenShift AI und AI Quickstarts.