OpenAI baut Performance Factory zur Automatisierung von ChatGPT-Verzögerungen
OpenAI hat die Performance Factory entwickelt, ein cloudbasiertes System, das Codex-Agenten zur Untersuchung, Behebung und Überprüfung von Leistungseinbrüchen in seinen Diensten einsetzt. Nach Angaben des Unternehmens verfolgte der erste Workflow in etwas mehr als drei Monaten über 1.700 Untersuchungen und ermittelte in mehr als 600 Fällen die Ursache.
- OpenAI hat die cloudbasierte Performance Factory entwickelt, um Workflows der Performance-Entwicklung zu automatisieren.
- Der Regression Workflow untersucht Warnmeldungen, schlägt Fehlerbehebungen vor und überprüft nach der Bereitstellung die Wiederherstellung.
- Der Workflow verfolgte in etwas mehr als drei Monaten über 1.700 Untersuchungen und ermittelte in mehr als 600 Fällen die Ursache.
- Das System kombiniert einen Aufgabendienst, eine Dispatch-Schleife, die Ausführung von Codex in der Cloud und Ereignisabonnements.
Von Warnmeldungen zu verifizierten Fehlerbehebungen
Die Performance Factory automatisiert den Prozess von einer Leistungswarnung bis zur Überprüfung der Wiederherstellung. Wenn eine Warnung ausgelöst wird, erstellt der Regression Workflow eine Aufgabe. Ein Agent untersucht die Verlangsamung, dokumentiert seine Ergebnisse und schlägt eine Fehlerbehebung vor, die ein Entwickler prüfen kann.
Nach der Bereitstellung prüft ein weiterer Agent, ob die Leistung wieder den Ausgangswert erreicht hat. Der Workflow durchläuft die Phasen Untersuchung erforderlich, Ursache ermittelt, Fehlerbehebung vorgeschlagen und behoben. Entwickler können Aufgaben in Slack oder der Benutzeroberfläche des Workflows verfolgen, Kontext hinzufügen und vorgeschlagene Änderungen prüfen.
Nach Angaben von OpenAI verfolgte der Workflow in etwas mehr als drei Monaten über 1.700 Untersuchungen und ermittelte in mehr als 600 Fällen die Ursache. Das Unternehmen spricht von 17 automatisierten Untersuchungen pro Tag.
Wie sich OpenAIs Prozess entwickelt hat
OpenAI zufolge mussten Entwickler bei der Performance-Arbeit zunächst Metriken und Logs untersuchen, Traces vergleichen, laufende Maschinen debuggen und Code lesen. Das Team sammelte schließlich mehr als 30 Performance-Tools, darunter CPU- und Allokations-Profiler, um wiederkehrende Probleme wie Regressionen bei der Latenz bis zum ersten Token in ChatGPT zu untersuchen.
Codex arbeitete anfangs als technischer Partner. Das System konnte große Codebasen durchsuchen, relevante Metriken und Traces finden, Interaktionen zwischen Diensten verfolgen und Profiling durchführen. Die Entwickler mussten die Untersuchung jedoch weiterhin anleiten.
Das Team hielt seinen Prozess anschließend in einem gemeinsamen perf-forensics-Skill fest. Die Anweisungen geben Codex vor, welche Tools zu verwenden sind und wie untersucht werden soll, wann eine Verlangsamung begonnen hat, welche Anfragen betroffen waren und ob Bereitstellungen oder Konfigurationsänderungen die Ursache sein könnten. OpenAI testete und verfeinerte den Skill mit Evals, die auf früheren Regressionen basierten.
Im nächsten Schritt wurden die Untersuchungen in die Cloud verlagert und mit übergeordneten Workflows verbunden. Statt nach der Veröffentlichung einer Diagnose durch einen Agenten zu enden, verfolgt die Performance Factory, was jede Aufgabe als Nächstes benötigt, und weist einen Agenten zu, sobald dieser Schritt bereit ist.
Vier Komponenten betreiben die Factory
Nach Angaben von OpenAI besteht das System aus vier Hauptteilen: einem Aufgaben-Tracker mit konfigurierbaren Workflows, einer Dispatch-Schleife, einer API zur Ausführung von Codex in der Cloud und Abonnements, die Agenten bei eintretenden Ereignissen aktivieren.
Entwickler definieren Workflows über Konfigurationsdateien und Markdown-Prompts. Die Konfiguration legt Aufgabenstatus, zulässige Übergänge und Schritte fest, die einen Entwickler erfordern. Die Dispatch-Schleife prüft, welche Aufgaben bereit sind, startet einen Codex-Durchlauf mit den Anweisungen für den aktuellen Status und dokumentiert den Fortschritt des Agenten.
Codex läuft in einer Umgebung innerhalb des OpenAI-Netzwerks mit Zugriff auf Code-Repositories und Observability-Tools, darunter Metriken, Logs, Traces, CPU-Profile und Speicher-Snapshots. Die Agenten arbeiten unter einer Dienstidentität. Dadurch kann OpenAI Berechtigungen begrenzen und von Performance-Agenten ausgeführte Aktionen identifizieren.
Über Abonnements können Aufgaben auf Ereignisse wie einen GitHub-Kommentar zu einer Prüfung, einen fehlgeschlagenen CI-Check oder eine abgeschlossene Bereitstellung warten. Sobald ein passendes Ereignis eintrifft, wird die Aufgabe bereit und die Dispatch-Schleife kann einen Agenten mit der Fortsetzung der Arbeit beauftragen.
Warum das für den ChatGPT-Betrieb wichtig ist
Die Ankündigung von OpenAI zeigt, wie das Unternehmen Codex über die individuelle Unterstützung beim Programmieren hinaus einsetzt. Agenten koordinieren dabei einen wiederholbaren technischen Prozess über Untersuchungen, Codeänderungen, Prüfungen und Kontrollen in der Produktion hinweg.
Für OpenAI soll das System seinen Teams helfen, mit dem, was das Unternehmen als „atemberaubendes Tempo der agentischen Entwicklung“ bezeichnet, Schritt zu halten. Für Nutzer liegt die unmittelbare Bedeutung in den Bemühungen des Unternehmens, Probleme bei der Dienstleistung durch einen automatisierten Workflow zu erkennen und zu beheben. Die Ankündigung nennt jedoch keine Leistungsverbesserungen oder Verfügbarkeitswerte für Nutzer.
OpenAI: How OpenAI’s Performance Factory keeps ChatGPT fast


