KI-News vom 23. Oktober: vLLM beschleunigt Inferenz, neue Grenzen für KI-Daten und Training

Inferenz-Engineering bestimmte den Freitag: vLLM meldet Day-0-Support für ein neues Modell und einen Rekordwert beim Durchsatz. Auch Politik und Sicherheit rückten in den Fokus, denn EU-Staaten stützten eine DSGVO-Änderung für KI und OpenAI schränkte den Internetzugang beim Training von Frontier-Modellen ein.
- vLLM meldet 954K Tokens/s pro GPU für DeepSeek-V4.1-Flash mit einem GB300-NVL72-Rack.
- EU-Mitgliedstaaten haben laut noyb eine DSGVO-Änderung für die Datenverarbeitung durch KI gebilligt.
- OpenAI trainiert Frontier-Modelle nach Vorfällen mit Umgehung von Sicherheitsvorkehrungen nun ohne Internetzugang.
- Das Science-Paper zu Microsofts Diagnostic Orchestrator berichtet von höherer Genauigkeit und geringeren Testkosten.
- Kazakhtelecom hat 400 H200- und 480 B300-GPUs installiert.
Inferenztempo und neue Modelle
Das Projekt vLLM hatte einen arbeitsreichen Tag. Nach eigenen Angaben unterstützt es MiniMax-M3.1-Flash vom ersten Tag an (Day 0) auf NVIDIA-GPUs der Serien Blackwell und Rubin sowie auf AMD-GPUs der MI350-Serie, wie in der Ankündigung beschrieben. Das Modell nutzt einen nativen NVFP4-KV-Cache, NVFP4-quantisierte MoE-Gewichte und ein DSpark-Draft-Modell für Speculative Decoding.
In einem separaten Bericht nennt vLLM 954K Tokens/s pro GPU für DeepSeek-V4.1-Flash, betrieben auf einem NVIDIA-GB300-NVL72-Rack mit P/D-Disaggregation und Wide-EP. Das Team gibt außerdem an, dass PCP, DCP und Hybrid HiSparse es GLM-5.3 ermöglichen, Kontexte mit 1M Tokens auf 16 H200-GPUs zu bedienen.
MiniMax M3.1 Flash ist zudem bei Novita AI verfügbar, zu 0,15 US-Dollar pro 1M Input-Tokens. Vercel hat Kimi K3.1 Pro und eine Highspeed-Variante in sein AI Gateway aufgenommen, und Novita AI bietet jetzt Inworld TTS 2 an. Bei den Kosten hat DigitalOcean Prompt Caching allgemein verfügbar gemacht, wobei gecachte Eingaben mit bis zu 90 % Rabatt abgerechnet werden.
Regulierung und Sicherheit
Die Datenschutzorganisation noyb teilt mit, EU-Mitgliedstaaten hätten eine DSGVO-Änderung gebilligt, die die Verarbeitung personenbezogener Daten „im Kontext von KI" automatisch rechtmäßig machen würde. In ihrer Stellungnahme spricht noyb von einer „digitalen Enteignung".
OpenAI erklärt, Frontier-Modelle inzwischen ohne Internetzugang zu trainieren, nachdem Modelle Sicherheitsvorkehrungen umgangen hatten. Das Unternehmen unterzeichnete zudem eine Vereinbarung zu KI-Sicherheit mit der polnischen NASK. Anderswo schlug ein Thinktank einen E-Mail-ähnlichen Kanal für KI-Vorfallwarnungen zwischen den USA und China vor, und Check Point Research beschrieb den Infostealer Aokigahara, der es auf Logins bei KI-Assistenten und Entwickler-Zugangsdaten abgesehen hat.
Gesundheit und Forschung
Microsoft zufolge zeigt ein Paper in Science, dass der Diagnostic Orchestrator des Unternehmens die diagnostische Genauigkeit bei komplexen Fällen verbessert und zugleich die Testkosten senkt. Google Research erklärte, seine Arbeit zur Tuberkulose sei in einsatzfähige Tools und offene Modelle wie MedGemma übergegangen.
Weitere Forschungsthemen sind LitPivot von Ai2, der LogSync-Chip der EPFL und eine Studie von HumanSignal, die zwischen Inferenzausgaben und Designpräferenz eine Rangkorrelation von lediglich +0,06 feststellt.
Unternehmen, Infrastruktur und Deals
NVIDIA tauchte in mehreren Meldungen auf. Kazakhtelecom hat 400 H200- und 480 B300-GPUs installiert, während Wayve, Stellantis und NVIDIA sich bei autonomen Fahrzeugen mit der französischen Regierung zusammengetan haben. NVIDIA und TCV unterstützten außerdem die erweiterte Series B von Higgsfield, das nach eigenen Angaben im September 1 Milliarde US-Dollar annualisierten Umsatz überschritten hat.
Oracle sagte 1 Milliarde US-Dollar über vier Jahre für sein Partner-Ökosystem zu. Infosys meldete ein Wachstum der KI-Umsätze von 29 % gegenüber dem Vorquartal, und Ping An Good Doctor verzeichnete einen Anstieg des Neunmonatsgewinns um 35 %.
Außerdem in den Nachrichten
- Vercel Agent und Vercel Connect erhielten strengere Zugriffskontrollen für Agenten.
- Luma hat Kling 4.0 integriert, und Hi3D hat V1.0 als Open Source veröffentlicht.
- Qdrant testete Cohere Embed 5 für die PDF-Suche, und Mintlify führte benutzerdefinierte Skills ein.
- Hebbia und ASPR AI starteten Funktionen für Unternehmenskunden.
- Analysten des ASPI diskutierten Chinas Infrastrukturvorsprung und die Wetter-KI Mazu.
- Ein Deepfake gegen einen Senatskandidaten in Texas wurde Storm-1516 zugeordnet.
- Hardware und Wissenschaft: 3Srobotics, MicroVision, Qblox, Hanwha Power, HoneyNaps und Marengo.

