Runpod macht Batch Inference allgemein verfügbar und ergänzt Endpunkt für GLM-5.3
Runpod hat angekündigt, dass Batch Inference auf seiner Plattform jetzt allgemein verfügbar ist. Auf der Seite der Ankündigung finden sich außerdem ein öffentlicher Endpunkt für GLM-5.3, neu gebaute PyTorch-Templates und eine Anleitung zu Global Volumes.
- Runpod meldet, dass Batch Inference jetzt allgemein verfügbar ist.
- GLM-5.3 ist auf den öffentlichen Endpunkten von Runpod verfügbar und lässt sich über Playground, curl oder das OpenAI SDK in Python nutzen.
- Die PyTorch-Templates decken nun die Versionen 2.6 bis 2.13 für mehrere CUDA- und Ubuntu-Versionen ab.
- Der Deploy-Ablauf für Pods hat ein neues CUDA-Dropdown, um Templates an GPU und Workload anzupassen.
- Global Volumes werden wie Network Volumes eingebunden, laufen aber auf Object Storage.
Batch Inference ist allgemein verfügbar
Der Beitrag trägt den Titel „Batch Inference Is Now Generally Available on Runpod“. Der für diesen Bericht verfügbare Text enthält nur kurze Zusammenfassungen verwandter Beiträge und macht keine Angaben dazu, wie Batch Inference funktioniert, wie es abgerechnet wird oder wie es eingesetzt wird. Diese Details werden hier nicht behandelt; Leser sollten sie im Beitrag von Runpod selbst nachlesen.
Die Seite zeigt allerdings eine Reihe weiterer Neuerungen, die zusammen mit der Ankündigung veröffentlicht wurden und sich an Entwickler richten, die Modelle und Workloads auf der Infrastruktur von Runpod betreiben.
GLM-5.3 auf öffentlichen Endpunkten
Laut Runpod ist GLM-5.3 jetzt auf den öffentlichen Endpunkten des Unternehmens verfügbar. Das Unternehmen hat eine Anleitung veröffentlicht, die drei Nutzungswege zeigt:
- das Modell im Playground ausprobieren
- es per curl aufrufen
- es über das OpenAI SDK in Python nutzen
Die Unterstützung des OpenAI SDK bedeutet, dass Entwickler das Modell mit einer Client-Bibliothek ansprechen können, die sie womöglich bereits verwenden, statt ein separates Toolkit einzusetzen. Zu Preisen oder Leistungswerten des Endpunkts macht die Quelle keine Angaben.
Neu gebaute PyTorch-Templates und Global Volumes
Außerdem hat Runpod nach eigenen Angaben seine PyTorch-Templates neu gebaut. Sie decken nun die Versionen 2.6 bis 2.13 für mehrere CUDA- und Ubuntu-Versionen ab. Der Deploy-Ablauf für Pods enthält ein neues CUDA-Dropdown, mit dem Nutzer laut Unternehmen ein Template an ihre GPU und ihren Workload anpassen können.
Ein dritter Beitrag erklärt Global Volumes. Laut Runpod werden sie wie ein Network Volume eingebunden, laufen aber auf Object Storage. Das Unternehmen betont, dass Global Volumes nicht einfach „Network Volumes, nur besser“ seien und dass die Object-Storage-Basis beeinflusse, was Nutzer darauf ablegen sollten. Welche Daten sich am besten eignen, geht aus dem Auszug nicht hervor.
Was das für Nutzer bedeutet
Für Runpod-Kunden deuten die Ankündigungen auf mehr Optionen hin, um Inferenz auszuführen und Umgebungen auf der Plattform zu verwalten. Dass Batch Inference allgemein verfügbar ist, legt nahe, dass die Funktion für den regulären Einsatz bereit ist, auch wenn der vorliegende Text ihre Fähigkeiten nicht beschreibt. Der GLM-5.3-Endpunkt, die breitere Auswahl an PyTorch- und CUDA-Kombinationen und die Hinweise zu Global Volumes sind praktische Änderungen für alle, die auf Runpod Modelle, Templates oder Speicher auswählen.
RunPod: Batch Inference Is Now Generally Available on Runpod
