Meta: Modellvorlagen verkürzen ML-Engineering-Zeit um 92 %

Meta zufolge hat ein vorlagenbasierter Ansatz für maschinelles Lernen den Engineering-Aufwand pro Modell in den vergangenen zwei Jahren um 92 % gesenkt. Das Unternehmen nutzte Standard Model Templates, um Verbesserungen im großen Ökosystem seiner Anzeigen-Ranking-Modelle zu koordinieren.
- Meta zufolge senkten SMTs den Engineering-Aufwand pro Modell um 92 %.
- Der Ansatz brachte 5000+ Technik-Modell-Kombinationen hervor.
- Die Offline-Modellqualität verbesserte sich bei neutraler Bereitstellungskapazität im Durchschnitt um 0,63 %.
- Meta meldet einen kumulierten Online-Zuwachs von 0,86 %, der nach Anzahl 70 % der Modelle abdeckt.
- Der Workflow brachte innerhalb von zwei Jahren 80 neue ML-Verfahren hervor.
Meta verabschiedet sich von der Entwicklung Modell für Modell
Metas Systeme für das Anzeigen-Ranking verarbeiten täglich Milliarden von Anfragen über eine große Bandbreite an Produkten und Optimierungszielen. Nach Angaben des Unternehmens hat sich die zentrale Herausforderung im Engineering von der Entwicklung neuer Verfahren hin zu deren Verbreitung über Produktionsmodelle verlagert.
Mit dem Wachstum der Modellflotte sahen sich die Teams mit einer zunehmend vielfältigen Mischung aus Architekturen, Merkmalen, Trainingseinstellungen, Anforderungen an die Bereitstellung und plattformspezifischer Logik konfrontiert. Laut Meta erhöhte diese Fragmentierung den Engineering-Aufwand für die Einführung neuer Ideen, steigerte wegen zusätzlicher Sonderfälle die Kosten für die Zuverlässigkeit und erschwerte es, die Auswirkungen einer Änderung im gesamten Ökosystem vorherzusagen.
Meta zufolge führt die separate Anpassung jedes Verfahrens an jedes Modell dazu, dass der Aufwand linear mit der Zahl der Modelle wächst. Außerdem begrenzt sie die Automatisierung, da AutoML- und Optimierungssysteme am besten in einem strukturierten Suchraum funktionieren.
Standard Model Templates schaffen gemeinsame Bausteine
Metas Antwort darauf war die Einführung von Standard Model Templates oder SMTs. Der Ansatz organisiert das Modelldesign rund um eine kleinere Zahl wiederverwendbarer Vorlagen, die aus gemeinsamen Komponenten bestehen, darunter Architekturentscheidungen, Merkmalslogik, Trainingseinstellungen und Konfigurationen für die Bereitstellung.
Die Vorlagen decken wichtige Muster für Ranking und Retrieval bei unterschiedlichen Modellgrößen ab. Sie bündeln außerdem Komponenten für die Auswahl von Merkmalen, Merkmalsinteraktionen, Modellparallelität, die Trainingskonfiguration und eine hardwarebewusste Bereitstellung. Modellspezifische Logik bleibt dort erhalten, wo sie benötigt wird, während gemeinsame Elemente als geteilte Bestandteile abgebildet und gepflegt werden.
Dadurch verändert sich der Entwicklungsprozess von Iterationen pro Modell hin zu Iterationen auf Vorlagenebene. Meta kann ein Verfahren an einer kleineren Gruppe repräsentativer Modelle bewerten und es anschließend auf Modellgruppen übertragen, die dieselbe Vorlage verwenden. Nach Angaben des Unternehmens verringert dies die Komplexität der Übertragung, ermöglicht eine robustere Validierung und bessere Leitplanken und macht die Ergebnisse repräsentativer Modelle zu einem nützlicheren Signal für die gesamte Gruppe.
Gemeldete Ergebnisse und ein umfassenderes Optimierungssystem
In den vergangenen zwei Jahren senkte der Ansatz laut Meta den Engineering-Aufwand pro Modell um 92 %, brachte 5000+ Technik-Modell-Kombinationen hervor, verbesserte die Offline-Modellqualität bei neutraler Bereitstellungskapazität im Durchschnitt um 0,63 % und erzielte einen kumulierten Online-Zuwachs von 0,86 %, der nach Anzahl 70 % der Modelle abdeckt.
Meta zufolge wurden außerdem 80 neue ML-Verfahren über einen Workflow zur Optimierung mehrerer Modelle eingeführt. Dabei werden Verfahren an repräsentativen Modellen bewertet, die Gesamtleistung gegen Regressionsraten abgewogen und Kandidaten anschließend an zurückgehaltenen Modellen validiert, bevor sie in eine neue Vorlagenversion integriert werden.
Nach Angaben des Unternehmens ermöglicht das System den Teams, vollständige Modelldesigns zwischen Modellfamilien zu übertragen, statt einzelne Komponenten nacheinander anzuwenden. Es unterstützt auch auf Skalierungsgesetzen basierende Optimierungs-Workflows, sodass sich Kosten-Leistungs-Abwägungen im Vorlagenraum ermitteln und breiter anwenden lassen.
Für Meta bildet das Ergebnis eine gemeinsame Grundlage zur Verbesserung einer großen Modellflotte. Die Quelle des Unternehmens stellt SMTs außerdem als Möglichkeit dar, agentischen Systemen zur Modellerstellung strukturierte, bewährte Designmuster bereitzustellen. Die hier vorliegende Diskussion endet jedoch, bevor die vollständige Umsetzung dieses Anwendungsfalls beschrieben wird.
Engineering at Meta: Design Once, Deploy at Scale: Building a Template-Driven ML Ecosystem

