Krisp: Ein FP16-Schalter verdoppelt in etwa die Zahl der Voice-Isolation-Anrufe pro Server

Was Krisp geändert hat

Die Änderung aktiviert FP16, ein Zahlenformat, das Werte mit 16 statt der üblichen 32 Bit speichert. Laut Krisp handelt es sich weder um einen anderen Algorithmus noch um ein kleineres Modell. Es ist dasselbe Netz mit denselben Schichten, das nur halb so viele Bits speichert und multipliziert.

Das Unternehmen nennt zwei Effekte. Erstens sind Gewichte und Zwischenergebnisse nur halb so groß, sodass pro Frame weniger Daten zwischen Arbeitsspeicher und CPU bewegt werden müssen. Diese Modelle würden oft eher durch den Datentransfer als durch die reine Multiplikationsgeschwindigkeit begrenzt, so Krisp. Zweitens passen in ein CPU-Register einer bestimmten Breite doppelt so viele FP16- wie Float32-Zahlen. Ein 512-Bit-Register eines Intel-Chips fasst 16 Float32-Werte oder 32 FP16-Werte.

Auf einem Graviton3 mit 16 vCPUs sank die p95-Latenz bei einem einzelnen Stream für Krisp VI Balanced von 3,00 ms auf 1,48 ms pro 20-ms-Audioframe. In einem 20-ms-Fenster bedeutet das: Mit FP16 passen 13 Frames hinein, ohne FP16 sind es 6.

So wurde die Kapazität gemessen

Krisp hat nicht die Geschwindigkeit eines einzelnen Anrufs gemessen, sondern wie viele Anrufe ein Server gleichzeitig halten kann, da diese Zahl die Serverkosten bestimmt. Die Streams wurden Laststufe für Laststufe erhöht, bis eine von drei Grenzen verletzt wurde. Berichtet wurde jeweils die letzte Anzahl, bei der alle drei Grenzen eingehalten wurden.

• CPU-Auslastung (p95) höchstens 85 %
• Echtzeitfaktor (p95) höchstens 0,85
• Verworfene Frames höchstens 1 %

Das Unternehmen testete drei Modelle: Krisp VI Balanced und Krisp VI Default (die vollständigen Modelle) sowie Krisp VI Lite. Jedes lief mit deaktiviertem und aktiviertem FP16 auf Instanzen mit AWS Graviton3, Intel Sapphire Rapids und Intel Ice Lake. Die Tests nutzten das Krisp Python SDK 1.12.0 und fanden im August 2026 statt. Der Benchmark hatte eine Sicherheitsobergrenze von 508 Streams, ein mit 508+ gekennzeichnetes Ergebnis bedeutet daher, dass die tatsächliche Obergrenze höher liegt.

Die Ergebnisse nach CPU

Bei Krisp VI Balanced steigerte FP16 die Kapazität auf beiden CPUs mit nativer FP16-Hardware. Auf Graviton3 stieg die Zahl bei der Instanz mit 4 vCPUs von 23 auf 43 Streams, bei 16 vCPUs von 76 auf 137 und bei 32 vCPUs von 86 auf 171. Auf Sapphire Rapids lagen die Werte für dieselben drei Größen bei 11 auf 21, 44 auf 77 und 79 auf 144.

Krisp VI Default verhielt sich nahezu identisch und erreichte 138 Streams auf einem Graviton3 mit 16 vCPUs und 146 auf einer Sapphire-Rapids-Maschine mit 32 vCPUs. Das schlanke Krisp VI Lite legte prozentual weniger zu, bewältigte insgesamt aber mehr Streams. Auf einem Graviton3 mit 16 vCPUs stieg es von 209 auf 358 (+71 %), und auf einem Graviton3 mit 32 vCPUs erreichte es mit FP16 die Obergrenze von 508 Streams, zuvor waren es 287. Auf Sapphire Rapids lagen die Zuwächse über alle drei Modelle hinweg zwischen +61 % und +91 %.

Intel Ice Lake zeigte keine Veränderung. Da die CPU keine FP16-Hardware hat, blieb Balanced bei 7 Streams auf 4 vCPUs und 38 auf 16 vCPUs, auch die anderen Modelle stagnierten.

Was das für Betreiber bedeutet

Für den Schalter sind weder Änderungen am Modell noch an der Audio-Pipeline nötig. Ist er aktiviert, prüft das SDK, ob die CPU FP16-Arithmetik unterstützt. Falls ja, werden die Gewichte als Float32 geladen, in FP16 umgewandelt, und die Inferenz läuft in FP16. Falls nicht, bleibt alles auf dem Float32-Pfad. Krisp erklärt, dass FP16 die Qualität nicht verschlechtert.

Für Teams, die Krisp Voice Isolation im großen Maßstab auf Graviton3 oder Sapphire Rapids betreiben, bedeutet das laut Krisps Benchmark praktisch etwa doppelt so viele Live-Anrufe pro Server mit demselben Modell. Betreiber mit älteren Chips wie Ice Lake sollten keinen Nutzen erwarten. Krisp rät, in der Dokumentation zu enableLowPrecisionExecution in der jeweils neuesten SDK-Version für die eigene Sprache nachzusehen. Zum Zeitpunkt der Veröffentlichung waren das Python 1.13.3, Node.js 1.8.2 und C/C++ 9.22.0.

Die Zahlen stammen aus Krisps eigenen Tests auf bestimmten Cloud-Instanzen, auf anderer Hardware oder bei anderen Verkehrsmustern können die Ergebnisse abweichen.