Eclipse Aerospace bringt zwei Jahrzehnte Flugdaten in Databricks

Eclipse Aerospace hat die Aufnahme von fast 20 Jahren proprietärer Flugdaten mit Databricks modernisiert. Servicezentren und Ingenieure erhalten dadurch schneller Zugriff auf Flugverläufe. Der Ansatz ersetzt eine mehrstufige Decodierungspipeline durch einen Spark-nativen Weg auf Basis benutzerdefinierter PySpark-Datenquellen und des vorhandenen Rust-Decoders des Unternehmens.
- Eclipse Aerospace speichert mehr als 3 TB Flugdaten aus fast 20 Jahren.
- Die Daten decken mehr als eine Million Flugstunden ab und verwenden proprietäre Formate.
- Ein Rust-Decoder läuft nun über eine benutzerdefinierte PySpark-Datenquelle innerhalb von Spark.
- Databricks berichtet von der doppelten Leistung einer vergleichbaren, auf PyArrow basierenden reinen Python-Datenquelle.
- Databricks berichtet von einer fast 20-mal höheren Leistung als bei einer nativen Python-Implementierung ohne Arrow.
Proprietäres Format bremste die Datenaufnahme
Eclipse Aerospace speichert in Databricks mehr als 3 TB Flugdaten, die mehr als eine Million Flugstunden abdecken. Die Daten stammen aus nahezu in Echtzeit erfasster Satellitentelemetrie, Massen-Uploads vollständiger Flugverläufe und externen Quellen. Die gesamte Telemetrie verwendet jedoch proprietäre Dateiformate, für die benutzerdefinierte Decoder erforderlich sind.
Bevor benutzerdefinierte PySpark-Datenquellen in Databricks Runtime 15.4 LTS verfügbar wurden, hatte das Unternehmen drei Hauptoptionen. Es konnte Dateien als Binärdaten laden und mit benutzerdefinierten Python-Funktionen aufteilen, einen Scala-Decoder auf dedizierter Rechenkapazität verwenden oder die Dateien vor dem Laden in Databricks in ein Zwischenformat decodieren.
Nach Angaben von Databricks nutzte der Ansatz mit dem Zwischenformat einen Rust-Decoder auf AWS Lambda, um Avro-Dateien zu erstellen. Das führte zu zusätzlicher Latenz, doppelter Schemalogik, eingeschränkter Transparenz in der Spark-Überwachung und dazu, dass das Unternehmen sowohl die ursprünglichen Binärdateien als auch deren Avro-Kopien speichern musste.
Rust-Decodierung läuft nun innerhalb von Spark
Beim neuen Design wird der vorhandene Rust-Decoder von Eclipse Aerospace in ein mit PyO3 und Maturin erstelltes Python-Paket eingebunden. Der Decoder selbst bleibt von Spark getrennt, während eine schlanke PySpark-Schicht Optionen, Partitionierung und Schemadefinition übernimmt.
Databricks zufolge dient Apache Arrow als Schnittstelle zwischen Rust und Python. Rust erstellt einen Arrow RecordBatch, der über das Arrow C Data Interface als pyarrow.RecordBatch an Python übergeben wird. Dadurch entfällt ein Serialisierungsschritt, und es werden nicht für jede Zeile einzelne Python-Objekte erzeugt.
Da die Decodierung nun innerhalb von Spark stattfindet, kann die Datenaufnahme die Spark-Benutzeroberfläche, Job-Metriken und nachgelagerte Delta-Workflows nutzen. Databricks Serverless weist außerdem bedarfsgesteuert Rechenkapazität zu und verwaltet sie, sodass Eclipse Aerospace für den schnellen Datenzugriff keine dedizierte Infrastruktur dauerhaft betreiben muss.
Auswirkungen auf Leistung und Plattform
Databricks berichtet, dass das Rust-basierte Python-Paket in Benchmarks die doppelte Leistung einer vergleichbaren, auf PyArrow basierenden reinen Python-Datenquelle erreichte. Gegenüber einer nativen Python-Implementierung ohne Arrow erzielte es nach Angaben des Unternehmens eine fast 20-mal höhere Leistung.
Benutzerdefinierte PySpark-Datenquellen basieren auf der Python Data Source API, die in Apache Spark 4.0 eingeführt wurde. Databricks zufolge ist die API ab Databricks Runtime 15.4 LTS allgemein verfügbar und wird in Serverless-Umgebung 2 und späteren Versionen unterstützt. Da die API in Python implementiert ist, müssen Nutzer keinen separaten JVM-Connector oder kein JAR erstellen.
Für Eclipse Aerospace bedeutet das einen einfacheren Weg von spezialisierten Flugdaten zu Analysen, mit weniger doppelter Speicherung und weniger operativen Übergaben. Nach Angaben von Databricks kann derselbe Ansatz Teams auch beim Arbeiten mit anderen Formaten helfen, auf die gängige Analyse-Engines nicht direkt zugreifen können, darunter HDF5 für wissenschaftliche Daten und ARINC 429 für Daten aus der Luft- und Raumfahrt.
Databricks: Eclipse Aerospace simplifies flight-data ingestion with Databricks

