Apache Kafka 4.4.0 bringt Dead-Letter-Queues für Share Groups und transaktionale State Stores

Apache Kafka 4.4.0 ist erschienen und bringt Dead-Letter-Queues für Share Groups, optionale transaktionale State Stores in Kafka Streams sowie eine Reihe von Deprecations mit. Laut der Release-Ankündigung enthält die Version 25 KIPs und 963 Commits seit 4.3.0.
- Apache Kafka 4.4.0 enthält laut Release-Ankündigung 25 KIPs und 963 Commits seit 4.3.0.
- Share Groups erhalten Dead-Letter-Queues (KIP-1191), sobald share.version auf 2 angehoben wurde.
- Kafka Streams bekommt optionale transaktionale State Stores (KIP-892), standardmäßig deaktiviert.
- broker.id und kafka-broker-api-versions.sh gehören zu den als veraltet markierten Elementen.
- Mit kafka-storage formatierte Storage-Verzeichnisse sind nicht mehr vorwärtskompatibel (KIP-1170).
Änderungen bei Broker, Clients und Tools
Das wichtigste Thema für Consumer ist KIP-1191: Share Groups unterstützen jetzt Dead-Letter-Queues. Datensätze, die über die maximale Zustellungsanzahl hinaus freigegeben oder vom Share Consumer abgelehnt werden, kommen für die DLQ infrage, sobald das Feature share.version auf 2 angehoben wurde. Das Verhalten wird dynamisch über eine Reihe von errors.deadletterqueue-Einstellungen konfiguriert, darunter Topic-Name, automatisches Anlegen von Topics, ein Schalter auf Gruppenebene und eine Option zum Kopieren von Datensätzen.
KIP-909 ergänzt die Client-Einstellung bootstrap.resolve.timeout.ms, die steuert, wie die DNS-Auflösung von bootstrap.servers erfolgt. Der Standardwert 0 behält das bisherige synchrone Verhalten bei. Ein positiver Wert aktiviert die asynchrone Auflösung: Der Client-Konstruktor kehrt sofort zurück, Fehler zeigen sich später als BootstrapResolutionException. Laut Ankündigung handelt es sich um ein Feature in Entwicklung, das sich in einem Minor Release ändern kann; Kafka Streams und Kafka Connect unterstützen es noch nicht.
Weitere Änderungen in diesem Bereich:
- KIP-1312: Controller lassen sich aus den Cluster-Metadaten abmelden, entweder mit dem neuen Befehl kafka-cluster.sh unregister-controller oder mit dem Flag --unregister bei kafka-metadata-quorum.sh remove-controller. Voraussetzung ist die Metadata-Version 4.4-IV2.
- KIP-1241: Die neuen Konfigurationen remote.copy.lag.bytes und remote.copy.lag.ms erlauben es, die Redundanz bei Tiered Storage durch verzögerten Upload zu verringern.
- KIP-1242: Clients übermitteln beim Verbindungsaufbau Cluster- und Knoteninformationen, sodass fehlgeleitete Verbindungen erkannt und behandelt werden können.
- KIP-1291: Der Linux-I/O-Metrics-Collector stellt alle 7 Felder aus /proc/self/io über JMX bereit. Laut Ankündigung können Betreiber damit Page-Cache-Trefferquoten berechnen, Write Amplification erkennen und die I/O-Aktivität der Log Compaction überwachen.
- KIP-1299: kafka-producer-perf-test.sh erhält die Optionen --record-key-range, --key-distribution und --random-seed für reproduzierbare Benchmark-Läufe.
- KIP-1323: kafka-share-groups.sh kann Share-Group-Offsets aus einer Datei initialisieren, sodass eine Share Group mit den committeten Offsets einer Consumer Group starten kann.
Neuerungen in Kafka Streams
Die bedeutendste Änderung bei Streams ist KIP-892 mit transaktionalen State Stores. Sie werden über enable.transactional.statestores aktiviert, was standardmäßig auf false steht. Ist die Option eingeschaltet, werden State Stores bei einem Fehler unter Exactly-once-Verarbeitung nicht mehr gelöscht und neu aufgebaut. Verloren gehen und erneut abgespielt werden nur die Schreibvorgänge seit dem letzten erfolgreichen Commit. Die Konfigurationen statestore.uncommitted.max.bytes und default.interactive.query.isolation.level steuern die Größe des Puffers für nicht committete Daten und das Isolationslevel interaktiver Abfragen.
Mit KIP-1331 können Broker über ein steckbares Backend eine menschenlesbare Beschreibung der Verarbeitungstopologie einer Streams-Gruppe speichern. Ist group.streams.topology.description.plugin.class gesetzt, übermitteln Clients eine Beschreibung, die Topology#describe() entspricht, an den Group Coordinator. Abrufbar ist sie mit Admin#describeStreamsGroups oder kafka-streams-groups.sh --describe --topology, ohne dass Zugriff auf den Quellcode der Anwendung nötig ist. KIP-1357 ergänzt benutzerdefinierte Task-Assignors auf Broker-Seite, die mit group.streams.assignors registriert und pro Gruppe mit streams.assignor.name ausgewählt werden.
Weitere Ergänzungen:
- KIP-1340: Ein neues Interface ValueJoinerWithStreamAndMappedKey und KStream-Join-Overloads für KStream-GlobalKTable-Joins stellen sowohl den gemappten Schlüssel als auch den ursprünglichen Stream-Schlüssel bereit. Die älteren, auf ValueJoinerWithKey basierenden Overloads sind deprecated, verhalten sich aber unverändert.
- KIP-1356: Vier neue IQv2-Abfragetypen liefern Record Headers aus Headers-fähigen State Stores zurück.
- KIP-1321: StreamPartitioner erhält eine neue Methode, die Record Headers entgegennimmt; die Variante ohne Headers ist deprecated.
- KIP-1245: application.server wird beim Erstellen der StreamsConfig validiert und muss leer oder ein gültiger Host:Port-Endpunkt sein, andernfalls wird eine ConfigException geworfen.
Deprecations und Hinweise zum Upgrade
Mehrere Elemente sind als veraltet markiert. KIP-1232 erklärt die Broker-Konfiguration broker.id für deprecated. KIP-1200 markiert ClientQuotaCallback#updateClusterMetadata als deprecated; die Methode soll in Kafka 5.0 entfernt werden, und eigene Implementierungen müssen sie nicht mehr überschreiben, da ein Default-No-op bereitsteht. KIP-1301 erklärt die verbleibenden Yammer-basierten Classic-Group-Metriken in GroupCoordinatorMetrics für deprecated und ersetzt sie durch gleichwertige Kafka-Metrics-Gauges. KIP-1220 fügt kafka-cluster.sh den Befehl api-versions hinzu, weshalb kafka-broker-api-versions.sh deprecated ist und im nächsten Major Release entfernt wird.
Eine Änderung betrifft den Betrieb direkt. Gemäß KIP-1170 sind Storage-Verzeichnisse, die mit dem kafka-storage-Tool formatiert wurden, nicht mehr vorwärtskompatibel. Ein Broker muss nun dieselbe oder eine neuere Version haben als das Tool, das sein Verzeichnis formatiert hat, unabhängig von der beim Formatieren gewählten Option --release-version.
Außerdem führt KIP-1319 TxnOffsetCommit v6 ein, das sich an OffsetCommit angleicht, indem es Topic-IDs statt Topic-Namen überträgt und feiner abgestufte Fehlercodes zurückgibt. Die Ankündigung verweist für wichtige Änderungen und detaillierte Upgrade-Schritte auf den Abschnitt „Upgrading to 4.4“ der Dokumentation und für die vollständige Liste auf die Release Notes.
Was das für Kafka-Nutzer bedeutet
Teams, die Share Groups betreiben, erhalten einen standardisierten Weg für Datensätze, die sich nicht verarbeiten lassen. Streams-Nutzer, die unter Exactly-once-Verarbeitung ein robusteres Wiederherstellungsverhalten brauchen, können transaktionale State Stores aktivieren, die standardmäßig ausgeschaltet sind. Betreiber sollten vor dem Upgrade die Deprecations und die Kompatibilitätsregel für kafka-storage prüfen und dazu den Upgrade-Abschnitt der Dokumentation nutzen.
Confluent: Introducing Apache Kafka 4.4.0


