VAST Event Broker 5.5 wandelt JSON in Tabellen um, unterstützt mTLS und Nachrichten bis 950 MB
VAST Data hat Version 5.5 seines VAST Event Broker veröffentlicht, einer Kafka-Implementierung, die eingehende JSON-Nachrichten jetzt direkt in strukturierte Tabellen schreibt. Das Release bringt außerdem mTLS-Authentifizierung, hebt die maximale Nachrichtengröße auf 950 MB an und steigert laut Unternehmen den Durchsatz gegenüber VAST 5.4.
- VAST Event Broker 5.5 führt Blob Expansion (Topics to Tables) ein: JSON-Nachrichten werden aufgelöst und parallel zum Topic in eine DataBase-Tabelle geschrieben.
- Die Expansion erfolgt synchron: Die Bestätigung an den Producer kommt erst, nachdem die Nachricht in Topic und Tabelle gespeichert wurde.
- Laut VAST bringt 5.5 eine deutliche Durchsatzsteigerung gegenüber 5.4, das 2,2 Millionen Nachrichten pro Sekunde und Broker erreichte.
- Das Release ergänzt mTLS-Authentifizierung für Clients und hebt die maximale Nachrichtengröße für die Interoperabilität mit bestehenden Apache-Umgebungen auf 950 MB an.
- Die Cluster-Erweiterung erfordert laut VAST kein Partitions-Rebalancing, weil DASE kein Konzept eines Knotens kennt, dem Daten gehören.
Topics in einer Datenbank statt in Log-Segmenten
Der VAST Event Broker wurde erstmals mit VAST 5.4 ausgeliefert. Laut Jason Russler, Technical Director bei VAST, handelt es sich um eine Kafka-Implementierung auf Basis der Architektur Disaggregated Shared-Everything (DASE) des Unternehmens. Russler ist der Autor des Ankündigungsbeitrags.
Herkömmliche Kafka-Implementierungen setzen auf ein Shared-Nothing-Design: Die Topic-Daten werden in Log-Segmente auf lokalem Speicher geschrieben, Partitionsreplikate sorgen für Ausfallsicherheit und Hochverfügbarkeit. VAST geht einen anderen Weg und schreibt Nachrichten in die VAST DataBase. Das Unternehmen beschreibt sie als flexible, skalierbare Präsentationsschicht für strukturierte und Vektordaten, aufgebaut auf einem spaltenorientierten Tabellenformat mit Partitionierung, Sortierung, Vektor-Clustering und automatischer Defragmentierung.
Laut VAST entsteht bei DataBase-Tabellen nur sehr wenig Schreibverstärkung, sie unterstützen volle Hochverfügbarkeit und lassen sich einfach skalieren, weil kein Rebalancing nötig ist. So gespeicherte Nachrichten lassen sich neben dem Abruf über Kafka-Protokolle auch direkt mit der VAST Native Query Engine, Trino, Spark und Python abfragen. Die Daten können nach Partition, Offsets, Zeitstempeln, Message-Headern und den Nachrichten selbst verarbeitet werden.
Blob Expansion macht aus JSON-Streams Tabellen
Die zentrale Neuerung in 5.5 heißt Blob Expansion, auch Topics to Tables genannt. Sie parst JSON-Nachrichten, die in ein Topic gelangen, löst bei Verschachtelung die Struktur auf und schreibt sie parallel zum Topic selbst als strukturierte Daten in eine DataBase-Tabelle.
Der Vorgang erfolgt synchron. Die Bestätigung an den Producer wird erst gesendet, wenn die Nachricht sowohl im Topic als auch in der Tabelle gespeichert wurde.
Laut VAST können Nutzer dadurch beliebige Datenoptimierungen an der Expansionstabelle vornehmen, abgestimmt auf das Nachrichtenschema:
- Die Tabelle kann partitioniert, sortiert oder beides sein.
- Die ausgewählten Felder können eine Teilmenge der Felder in der Nachricht sein.
- Die Tabelle kann auch eine Obermenge des Nachrichtenschemas sein, die später über Merge- oder Update-Operationen befüllt wird.
In der Praxis, so VAST, sind JSON-Streamingdaten unmittelbar nach dem Senden an die Broker abfragbar, und das System kann diese Expansionen mit hohem Durchsatz verarbeiten.
Leistung, Sicherheit und Nachrichtengröße
Auch bei diesem Release stand die Leistung im Fokus. Laut VAST ist der Event Broker 5.5 schneller als jeder andere verfügbare Broker und eine deutliche Verbesserung gegenüber VAST 5.4, wo der Wert bei 2,2 Millionen Nachrichten pro Sekunde und Broker lag. Das Unternehmen misst den maximal dauerhaften Durchsatz pro Cluster-Knoten für ein Topic mit einem Read-Amplification-Faktor von 1 und Nachrichten von 1 KiB. Das Ergebnis ist eine einzelne Rate, die zur Hälfte aus Lese- und zur Hälfte aus Schreibzugriffen besteht, 2 GB/s entsprechen also 1 GB/s Lesen plus 1 GB/s Schreiben. Der aktualisierte Wert steht in einem Diagramm im Originalbeitrag und wird im Text nicht genannt.
VAST argumentiert, ein höherer Durchsatz bedeute mehr Nutzen aus der Hardware, Unterstützung für mehr Consumer Groups auf einem Topic und mehr betrieblichen Spielraum. Zudem genüge es, für die Erweiterung eines Clusters Knoten hinzuzufügen. Da DASE das Konzept eines Knotens, dem Daten gehören, abschafft, seien alle Partitionen sofort ohne Rebalancing verfügbar.
In puncto Sicherheit ergänzt das Release die mTLS-Authentifizierung, mit der Clients sich gegenüber dem Broker ausweisen können. VAST weist darauf hin, dass mTLS in gehärteten Zero-Trust-Umgebungen, IoT-Ökosystemen und Microservice-Architekturen verbreitet ist.
Die maximale Nachrichtengröße wurde auf 950 MB angehoben, um die Interoperabilität mit bestehenden Apache-Umgebungen sicherzustellen. VAST nennt außerdem interne Aktualisierungen, die Latenz und Überwachung von Broker-Topics verbessern.
Was das für Anwender bedeutet
Für Teams mit ereignisgesteuerten Workflows liegt die wichtigste Änderung laut VAST darin, dass sich JSON-Streams ohne separate Pipeline als strukturierte Tabellen abfragen lassen. Organisationen mit strengen Identitätsanforderungen erhalten mTLS, und das höhere Nachrichtenlimit soll den Umstieg von bestehenden Apache-Kafka-Installationen erleichtern. Die Leistungsangaben stammen von VAST selbst; interessierte Kunden können das Unternehmen kontaktieren oder eine Demo vereinbaren.
