OpenAI-Modelle machen große Fortschritte beim Programmieren in COBOL, Fortran und Visual Basic

Warum ressourcenarme Sprachen wichtig sind

Für ressourcenarme Sprachen stehen den Modellen zum Lernen weit weniger Code und Dokumentation zur Verfügung als bei Python oder JavaScript. Dennoch stützen sie kritische Infrastruktur. OpenAI verweist auf Angaben, wonach COBOL mehr als 40 % der Online-Banking-Systeme, 80 % der Kreditkartentransaktionen vor Ort und 95 % der Geldautomatentransaktionen trägt, während Fortran in der Wettervorhersage und bei Sicherheitsanalysen für Nuklearunterlagen zum Einsatz kommt.

Die Arbeit des Unternehmens orientiert sich nach eigenen Angaben am Feedback von Entwicklern und Unternehmenskunden, die berichteten, dass Coding-Modelle mit diesen Sprachen oft Schwierigkeiten haben. Die Wartung solcher Software ist anspruchsvoll, weil die Dokumentation lückenhaft sein kann, die ursprünglichen Entwickler das Unternehmen womöglich verlassen haben und wichtige Geschäftsregeln mitunter nur im Code existieren. Teams, die Fehler beheben oder in eine andere Sprache migrieren, müssen das Verhalten bewahren, von dem ihre Systeme abhängen.

MultiLangBench: SQLite von Grund auf neu bauen

OpenAI hat zwei Evaluierungen entwickelt. Die erste, MultiLangBench, verlangt von einem Modell, in 20 Sprachen jeweils von Grund auf eine SQLite-kompatible Datenbank-Engine in einer vorgegebenen Sprache zu bauen. Das Modell muss eine Codebasis strukturieren, den Zustand verwalten, Fehler behandeln und Funktionen ergänzen, ohne bestehende Funktionalität zu beeinträchtigen. Datenbankdateien dienen dabei als gemeinsame Schnittstelle: Das Kandidatenprogramm erhält eine Ausgangsdatenbank und eine SQL-Abfrage und erzeugt eine veränderte Datenbank, die mit der SQLite-Referenzimplementierung abgeglichen wird. Die Tests wurden aus der bestehenden SQLite-Testsuite adaptiert.

Bei maximalem Reasoning-Aufwand erreicht GPT-6 Astra über die 20 Sprachen hinweg eine durchschnittliche Testbestehensquote von 87,4 %, gegenüber 26,8 % bei GPT-5.6 Sol. OpenAI meldet Zugewinne in jeder getesteten Sprache:

• COBOL: 10,9 % auf 72,1 %
• OCaml: 25,6 % auf 85,8 %
• Fortran: 21,4 % auf 83,5 %
• Visual Basic: 27,5 % auf 89,4 %

Astra erzielt in 19 der 20 Sprachen mehr als 83 %, wobei COBOL mit 72 % am schwierigsten ist.

GPT-6 Luna wird als kostengünstigere Option positioniert. Das Modell kommt auf einen Durchschnitt von 40,3 % und verbessert sich ebenfalls in jeder Sprache gegenüber GPT-5.6 Sol, darunter COBOL (10,9 % auf 17,1 %), OCaml (25,6 % auf 34,1 %), Fortran (21,4 % auf 31,4 %) und Visual Basic (27,5 % auf 41,6 %). Die geschätzten durchschnittlichen API-Kosten liegen bei 0,77 US-Dollar pro Sample, verglichen mit 3,48 US-Dollar bei GPT-5.6 Sol, also rund 78 % niedriger. OpenAI veröffentlicht das MultiLangBench-Setup, die Testsuite und die Ergebnisse je Sprache auf GitHub.

COBOL migrieren und das Verhalten bewahren

Die zweite Evaluierung verlangt von den Modellen, COBOL-Programme nach C++, Java, Kotlin, Python oder Rust zu migrieren und dabei zu bewahren, was das jeweilige Programm tut. OpenAI weist darauf hin, dass Details wie Rundungsregeln und der Umgang mit fehlenden Datensätzen häufig fachliche Anforderungen widerspiegeln. Die Festkommaarithmetik von COBOL etwa verwirft überzählige Nachkommastellen, sofern nicht ausdrücklich gerundet wird. Eine Neuimplementierung, die rundet, kann daher fehlerfrei laufen und dennoch andere Finanzergebnisse liefern.

Verdeckte Tests verlangen Byte-für-Byte-Übereinstimmung bei beobachtbaren Ausgaben, und eine Migration gilt nur dann als erfolgreich, wenn alle Tests bestanden werden. GPT-6.1 Sol erreicht bei geringem Reasoning-Aufwand eine Genauigkeit von 86,6 %, gegenüber 5,4 % bei GPT-5.6 Sol in derselben Einstellung, bei 61 % der API-Kosten. Bei höherem Reasoning-Aufwand steigt die Genauigkeit auf 97,9 %, womit die Evaluierung laut OpenAI nahezu ausgereizt ist.

Was das für Teams bedeutet

Für Teams, die ältere Systeme warten, deuten die Ergebnisse auf genauere und günstigere Code-Migrationen hin. OpenAI schränkt jedoch ein: Beim Einsatz in Produktivsoftware sind weiterhin eine Prüfung durch Fachleute und Tests gegen die Geschäftsregeln und Abhängigkeiten des Systems nötig.

Das Unternehmen lädt Entwickler ein, die Modelle über die API bei Coding-Aufgaben in den Sprachen auszuprobieren, die ihre Teams nutzen, und zu melden, wo die Modelle Schwächen zeigen und welche Sprachen oder Workflows als Nächstes folgen sollten. Da das MultiLangBench-Setup öffentlich ist, können Entwickler zudem die Leistung in den Sprachen prüfen, auf die sie angewiesen sind, und Lücken erkennen, die für die eigene Arbeit relevant sind.