Mercor verkürzt KI-Batch-Jobs mit Vercel AI Gateway von 12 auf 2 Stunden

Modellkapazität wurde zum Terminsproblem

Mercor bringt Hunderttausende Fachexperten mit führenden KI-Laboren zusammen und hilft ihnen dabei, die von ihnen benötigten menschlichen Daten zum Trainieren und Bewerten von Modellen zu erzeugen. Außerdem führt das Unternehmen umfangreiche automatisierte Bewertungsjobs durch, um Modelle für Labore und Unternehmen zu beurteilen. Die Nachfrage kommt schubweise und kann den Modellverkehr tagelang an die Kapazitätsgrenze bringen, während für einzelne Bewertungs- oder Kennzeichnungsjobs Fristen von 24 Stunden gelten.

Mercors Kombination aus direkten Integrationen und Gateways von Drittanbietern konnte bei steigender Nachfrage nicht genügend Token-pro-Minute-Kapazität für die Open-Model-Workloads bereitstellen. Anfragen stießen auf Anbieterlimits und landeten in Warteschlangen für erneute Versuche. Zeitkritische Batch-Jobs dauerten dadurch mehr als 12 Stunden und verbrauchten mehr als die Hälfte der 24-Stunden-Frist eines Kunden.

Laut Vercel stellte AI Gateway zusätzliche Inferenzkapazität und eine Ausweichweiterleitung zwischen Anbietern bereit, sobald Anfragen auf Ratenlimits stießen. Mercor berichtet, dass diese Jobs nun in 2 bis 3 Stunden abgeschlossen sind. In den ersten 10 Tagen mit Gateway routete das Team 18 Millionen Anfragen und 63 Milliarden Tokens, ohne auf Ratenlimits zu stoßen. Mercor verwendet weiterhin mehrere Gateways und Anbieter, schätzt an Vercel jedoch den Modellzugang, die Kontrollmöglichkeiten und die persönliche Unterstützung, wenn zusätzliche Kapazität benötigt wird.

Budgets und Ablaufdaten für Entwickler

Mit zunehmender Modellnutzung musste Mercor nachvollziehen können, wohin die Token-Ausgaben flossen. Die bisherige Einrichtung bot jedoch kaum Transparenz nach Team und Projekt. Ein einzelner Fehler in einer Skriptschleife konnte das verfügbare Budget aufbrauchen.

Hunderte Mercor-Entwickler nutzen Open Models inzwischen über AI Gateway mit nutzerbezogenen Schlüsseln, die Ablaufdaten, Token-Limits und Ausgabenlimits enthalten. Das Sicherheitsteam kann Experimenten ein Budget und ein Enddatum zuweisen und anschließend anhand der Nutzungsdaten feststellen, welcher Nutzer, welches Projekt und welcher Workload den Verbrauch verursacht. Entwickler erhalten eine API für führende Anbieter von Foundation-Modellen und einen wachsenden Katalog an Open Models. Dadurch können sie ein neues Modell ausprobieren, ohne eine weitere Anbieterintegration zu entwickeln oder neue Zugangsdaten zu verwalten.

Geschäftsteams entwickeln, Passport übernimmt die Anmeldung

Einige hundert Beschäftigte aus Mercors Geschäftsteams entwickeln inzwischen Anwendungen auf Vercel. Die Zahl der Projekte ist von weniger als einem Dutzend auf rund 2.000 gestiegen. Viele davon sind temporäre Umgebungen für einen bestimmten Kundeneinsatz. Ein produktiver Anwendungsfall bietet Experten detaillierte Ansichten zu ihren Projektaufgaben und ihrem Fortschritt. Entwickelt wurden diese Ansichten von Geschäftsteams, statt sie durch die Entwicklungsabteilung in die Kernplattform integrieren zu lassen.

Passport stellt eine gemeinsame Authentifizierungsebene bereit und übernimmt die Anmeldung bei Vercel-Bereitstellungen über einen bestehenden Identitätsanbieter. Mercors Identitätsteam entwickelte ein Produkt namens Audiences, das Vercel Passport integriert. Sobald ein Team die zugriffsberechtigten Experten auswählt, erstellt Audiences die IdP-Gruppe, die Vercel-Verbindung und die Passport-Konfiguration. Mercor berichtet, dass der Zugriff für Zielgruppen von einigen Dutzend Experten bis zu mehreren Zehntausend innerhalb von Sekunden bereitgestellt wird.

Die Deprovisionierung funktioniert umgekehrt. Da der Zugriff aus der IdP-Gruppe abgeleitet wird, entzieht das Entfernen der Gruppe am Ende eines Einsatzes den Zugriff auf das Projekt, sodass keine veralteten Zugriffsrechte zurückbleiben.

Eingeschränkte Berechtigungen für Agents und die nächsten Schritte

Mercor setzt Agents außerdem ein, um Fragen von Experten auf seinem Marktplatz zu beantworten, HR-Abläufe zu automatisieren und Beschäftigten bei der Navigation durch interne Systeme zu helfen. Der Ansatz besteht darin, jedem Agenten auf seine Aufgabe zugeschnittene, begrenzte Berechtigungen zu geben, statt ihm alle Möglichkeiten der Person zu gewähren, die ihn aufgerufen hat. Bei Agents, die Open Models über AI Gateway nutzen, kann Mercor den Modellzugriff begrenzen, Ablaufdaten festlegen und Ausgaben deckeln. Unabhängig davon lässt sich bestimmen, welche Systeme und Aktionen jeder Agent erreichen beziehungsweise ausführen darf.

Mercor erwartet, dass künftig mehr Open Models seine internen Agents und Systeme antreiben und mehr Teams außerhalb der Entwicklung Werkzeuge für Experten bauen werden. Ziel des Unternehmens ist es nach eigenen Angaben, den sicheren Weg zum schnellsten Weg zu machen. Teams sollen weniger Zeit für Modellintegrationen sowie Authentifizierung und Sicherheit von Anwendungen aufwenden, während der Aufwand für diese Bereiche nicht im gleichen Maß wie die Entwicklung wächst.