Baseten führt Autoscaling-Zeitpläne ein, um Kaltstart-Verzögerungen zu verringern
Baseten hat Autoscaling-Zeitpläne eingeführt. Die Funktion erhöht die Mindestzahl an Replikaten vor vorhersehbarem Traffic, damit Anfragen nicht auf Kaltstarts warten müssen. Zeitpläne können sich wiederholen, etwa jeden Werktagmorgen, oder einmalig laufen, zum Beispiel vor einem Produktlaunch.
- Baytens Autoscaling-Zeitpläne erhöhen die Mindestzahl an Replikaten, bevor vorhersehbarer Traffic eintrifft.
- Zeitpläne können sich wiederholen (zum Beispiel an Werktagmorgen) oder einmalig laufen (zum Beispiel vor einem Launch).
- Pro Umgebung sind bis zu 10 Zeitpläne mit einer gemeinsamen Zeitzone erlaubt.
- Zeitfenster dürfen sich nicht überschneiden und müssen mindestens fünf Minuten dauern.
- Die Konfiguration ist über das Dashboard, die CLI oder die Management API möglich.
Was Kaltstarts sind und warum sie eine Rolle spielen
Autoscaling passt die Zahl der Replikate an den eingehenden Traffic an. Steigt die Nachfrage, brauchen neue Replikate Zeit, bevor sie Anfragen bearbeiten können. Baseten bezeichnet das als Kaltstartzeit und gibt an, dass sie die Zuweisung von Rechenressourcen, den Start der Serving-Software und das Laden des Modells umfasst.
Anfragen, die während eines Kaltstarts warten müssen, haben laut Baseten längere Antwortzeiten von Ende zu Ende. Autoscaling-Zeitpläne setzen genau hier an: Zusätzliche Replikate werden gestartet, bevor der Traffic eintrifft, statt erst zu reagieren, wenn die Nachfrage bereits gestiegen ist.
Zeitplanung nach bekannter Nachfrage
Baseten weist darauf hin, dass viele Workloads vorhersehbaren Traffic haben. Mit Autoscaling-Zeitplänen können Nutzer ihre Autoscaling-Einstellungen zu festgelegten Zeiten ändern, ohne dafür einen externen Cron-Job pflegen zu müssen.
Das Unternehmen beschreibt zwei Hauptanwendungsfälle:
- Wiederkehrende Spitzen: Die Mindestzahl an Replikaten wird während der Arbeitszeit erhöht und über Nacht gesenkt. Baseten nennt als Beispiel eine App zur Transkription von Meetings, die vor Beginn der Besprechungen hochskaliert und nach der Spitze wieder herunterskaliert.
- Geplante Ereignisse: Eine vorübergehende Kapazitätserhöhung lässt sich für Produktlaunches, Lasttests oder Migrationen auf ein neues Deployment einplanen.
So werden die Zeitpläne konfiguriert
Jeder Zeitplan legt ein Zeitfenster sowie die minimale und maximale Zahl an Replikaten für dieses Fenster fest. Das Minimum ist die niedrigste Zahl an Replikaten, die der Autoscaler im Fenster laufen lässt. Das Maximum begrenzt die Gesamtzahl der Replikate, die der Autoscaler betreiben kann. Ist kein Zeitplan aktiv, gelten für die Umgebung die Standardeinstellungen.
Baseten nennt folgende Regeln:
- Pro Umgebung lassen sich bis zu 10 Zeitpläne anlegen, die alle dieselbe Zeitzone nutzen.
- Fenster können täglich, stündlich oder einmalig sein.
- Fenster dürfen sich nicht überschneiden und müssen mindestens fünf Minuten dauern.
- Zeitpläne lassen sich über das Dashboard, die CLI oder die Management API einrichten.
Was das für Nutzer bedeutet
Für Teams mit bekannten Traffic-Mustern bietet die Funktion eine integrierte Möglichkeit, Kapazität im Voraus bereitzustellen, statt sich allein auf reaktive Skalierung zu verlassen. Laut Baseten können zusätzliche Replikate, die vor einem erwarteten Anstieg gestartet werden, die Antwortzeiten von Ende zu Ende bei wachsendem Anfragevolumen stabil halten. Das Unternehmen verweist auf seine Einrichtungsanleitung und bietet an, konkrete Workloads mit seinen Ingenieuren zu besprechen.
