Salesforce veröffentlicht Agenten zur Verbesserung von KI-Modellen und Code

Agenten schlagen Verbesserungen vor, testen sie und übernehmen sie

SFR-AutoR&D erhält ein Ziel, ein zu bearbeitendes System und ein Rechenbudget. Anschließend formulieren die Agenten Hypothesen, implementieren Methoden und führen kontrollierte Experimente anhand etablierter Baselines durch. Code- oder Modellverbesserungen werden laut Salesforce nur übernommen, wenn sie durch Belege gestützt sowie als korrekt und sicher eingestuft wurden.

Das System verwendet zwei Agenten. AutoR&D-Engineer sucht in bestehendem Code nach algorithmischen und systembezogenen Verbesserungen, während TrainForge Trainingsmethoden untersucht und Kandidaten anhand zurückgehaltener Benchmarks bewertet, die nicht während des Trainings verwendet werden. Beide laufen auf AutoInfra, der Trainingsplattform von Salesforce für Experimente über gemeinsam genutzte GPU-Kapazitäten.

Salesforce AI Research hat SFR-AutoR&D auf öffentlichen Codebasen wie pandas, hnswlib und USearch eingesetzt. Nach Angaben des Unternehmens fanden die Agenten in allen drei Projekten weitere Verbesserungen und bündelten die Änderungen mit Benchmark-Nachweisen.

Verbesserung des Abrufs in rund 80 Stunden

Salesforce setzte SFR-AutoR&D zunächst ein, um SFR-Embedding V3 zu verbessern, das für den Abruf in Data Cloud verwendete Modell. Anschließend richtete das Team das System auf das Open-Source-Modell EmbeddingGemma 2 aus und entwickelte SFR-Embedding v4, das laut Salesforce sowohl bei der Qualität als auch bei der Latenz messbar besser war.

Bei der Bewertung anhand von 10 öffentlichen Abrufaufgaben in MTEB verbesserte das System den nDCG@10-Wert des Modells um 6,13 Punkte. Die Kennzahl misst die Relevanz der 10 obersten Ergebnisse und gewichtet höher platzierte Ergebnisse stärker.

In einer zweiten, etwa neun Stunden dauernden Sitzung konzentrierte sich das System auf Betriebsgeschwindigkeit und Kosten. Salesforce zufolge lieferte das daraus resultierende Modell 36 % mehr Durchsatz und 17 % weniger Latenz bei nahezu unveränderter Qualität. Der vollständige Verbesserungszyklus dauerte rund 80 Stunden. Von Menschen geleitete Forschung an Embedding-Modellen benötigte dafür in der Vergangenheit mehrere Wochen.

Embedding-Modelle wandeln Text in numerische Repräsentationen um, die Systemen beim Abruf von Datensätzen, Dokumenten und Fallhistorien helfen. In der Beschreibung von Salesforce bestimmen sie, welche Informationen ein Agentforce-Agent über Data Cloud abruft, bevor er eine auf den Daten eines Kunden basierende Frage beantwortet.

Von Menschen gesetzte Grenzen bleiben Teil des Prozesses

Nach Angaben von Salesforce sind Anforderungen an Vertrauen und Sicherheit in die Betriebsgrenzen des Systems eingebaut. Forschende legen Ziel, Budget, Bewertung und Datenbeschränkungen fest. Für Produkte vorgesehene Modelle verwenden ausschließlich Datensätze, die eine ethische und rechtliche Prüfung bestanden haben. Ein Modell, das bei der Bewertung gut abschneidet, muss vor dem Einsatz bei Kunden weiterhin die Anforderungen für den Produktionsbetrieb erfüllen.

„Die wissenschaftliche Methode gibt weiterhin den Rahmen vor, nur läuft der Zyklus schneller“, sagte Silvio Savarese, EVP und Chief Scientist von Salesforce. Shafiq Joty, Senior Research Director bei Salesforce AI Research, sagte, die Agenten seien darauf ausgelegt, „diese Entdeckungen mit strengen experimentellen Nachweisen zu untermauern“.

Das Unternehmen beschreibt SFR-AutoR&D als ein frühes Beispiel für Unternehmenssysteme, die vor der Bereitstellung Verbesserungen vorschlagen und nachweisen können. Salesforce erklärt außerdem, dass seine Forschenden CodeEvolve entwickeln, ein verwandtes Projekt, das eine evolutionäre Suche mit großen Sprachmodellen kombiniert, um Leistung und Codequalität in Java und Salesforce Apex zu verbessern.