Cambridge-Projekt rekonstruiert jahrhundertealte Musik mit maschinellem Lernen

Ein Projekt aus Cambridge hat einen mittelalterlichen Choral rekonstruiert und eine neue Aufführung ermöglicht, der jahrhundertelang teilweise unleserlich war. Dabei wurden multispektrale Bildgebung, maschinelles Lernen und musikwissenschaftliche Expertise kombiniert, um die Notation aus einem beschädigten Manuskript zu bergen.
- Ein Cambridge-Projekt rekonstruierte den mittelalterlichen Choral <em>O Felix Mortale</em>.
- Die Arbeit kombinierte multispektrale Bildgebung, maschinelles Lernen und musikwissenschaftliche Expertise.
- Das beschädigte Manuskript enthält drei im 13. Jahrhundert entstandene Choräle für zwei Stimmen.
- Der CHARM-Werkzeugkasten ist kostenlos verfügbar und kann vollständige Manuskripte verarbeiten.
- Künftige Arbeiten werden die Methoden an einer größeren Bandbreite von Dokumenttypen und Fallstudien testen.
Musik aus einem beschädigten Manuskript bergen
Das Projekt befasste sich mit historischen Notenblättern, deren Notation durch physische oder chemische Schäden unleserlich geworden war. Es war bei der Cambridge Image Analysis group angesiedelt und umfasste die Cambridge University Library, ihr Cultural Heritage Imaging Laboratory, das Fitzwilliam Museum, die Gonville & Caius Library und das Department of Music.
Eine zentrale Fallstudie war ein anonymes Fragment im Besitz des Gonville & Caius College Cambridge. Das vertikal eingerissene Fragment enthält drei im 13. Jahrhundert für zwei Stimmen geschriebene Choräle und ist damit ein Beispiel für frühe Mehrstimmigkeit. Ein Teil ist noch lesbar, während Schäden am anderen Teil Abschnitte der Notation unklar machten.
Das Fragment war 1970 teilweise transkribiert worden, doch wegen der starken Beschädigung blieben Lücken. Das Projekt konzentrierte sich auf den zweiten Choral, O Felix Mortale, der größtenteils auf dem beschädigten Teil geschrieben war. Die Zusammenarbeit mit Dr. Johanna-Pauline Thöne von der Maynooth University Ireland und dem Doktoranden Jack Stebbing von der University of Cambridge ermöglichte eine vollständige Transkription. Anschließend wurde der Choral in der Kapelle des Gonville & Caius College aufgeführt, wahrscheinlich zum ersten Mal seit Jahrhunderten.
Bildgebung mit expertengeleitetem maschinellem Lernen kombinieren
Die Forschenden nutzten multispektrale Bildgebung, eine Technik, die Informationen über mehrere Wellenlängenbereiche hinweg erfasst, darunter auch Bereiche außerhalb des sichtbaren Lichts wie Infrarot und Ultraviolett. Diese unterschiedlichen Spektralbereiche können Merkmale sichtbar machen, die mit bloßem Auge oder durch herkömmliche Aufnahmen im sichtbaren Licht nicht zu erkennen sind.
Zum Einsatz kamen zwei Bildgebungssysteme. Eine tragbare multispektrale Kamera, die vom Fitzwilliam Museum ausgeliehen wurde, bietet 8 Frequenzbänder. Das hauseigene System des Cultural Heritage Imaging Laboratory verwendet 49 Bandpassfilter und nimmt Bilder mit höherer Auflösung auf. Es kann jedoch nicht bewegt werden und eignet sich daher nicht für Manuskripte, die zu wertvoll oder zu empfindlich für einen Transport sind.
Das Team wendete zunächst Standardverarbeitungsmethoden an und entwickelte anschließend Darstellungen, die anhand des Feedbacks von Musikwissenschaftlern gestaltet wurden. Die Methoden sollten das Durchscheinen der Rückseite von Blättern und Materialrauschen unterdrücken und zugleich das Signal der Notation hervorheben. Die beteiligten Experten erstellten Annotationsmasken, indem sie kleine Bereiche nach wichtigen Signalinformationen kennzeichneten. Diese Annotationen halfen dabei, das System so zu trainieren, dass es Visualisierungen erzeugt, die sich auf die für das Lesen der beschädigten Musik wichtigsten Merkmale konzentrieren.
Ein Werkzeugkasten für beschädigte Dokumente
Nach Angaben der Forschenden ermöglichten die verbesserten Bilder den Musikwissenschaftlern, in den meisten Fallstudien des Projekts die Notation zu rekonstruieren und zu transkribieren. Die Ergebnisse zeigten außerdem, wie wichtig die Bildgebungshardware ist. Die Daten des hauseigenen Geräts des Cultural Heritage Imaging Laboratory lieferten in dem Fall, in dem beide Systeme eingesetzt wurden, detailliertere Informationen und führten zu einer höheren Rekonstruktionsqualität. Das tragbare System erzielte dennoch hilfreiche Ergebnisse, wenn Manuskripte nicht bewegt werden konnten.
Im Anschluss an die ursprüngliche Forschung entwickelte das Team mit einem Softwareentwickler und durch eine Anschlussfinanzierung aus dem Impact Accelerator scheme den CHARM-Werkzeugkasten. Der Werkzeugkasten ist nun kostenlos verfügbar und zeigt jeden Verarbeitungsschritt. Obwohl er im Rahmen der Arbeit an beschädigter Musiknotation entwickelt wurde, soll er die Lesbarkeit beliebiger digitalisierter Dokumente verbessern und kann ein vollständiges Manuskript auf einmal verarbeiten.
Bedeutung des Projekts für das Kulturerbe
Das Projekt zeigt, wie beschädigtes Archivmaterial untersucht werden kann, ohne sich ausschließlich auf Aufnahmen im sichtbaren Licht oder manuelle Interpretation zu stützen. Der Ansatz verbindet eine zerstörungsfreie Bildaufnahme mit automatisierter Verarbeitung und dem Urteilsvermögen von Fachleuten, die die zu rekonstruierenden Dokumente verstehen.
In künftigen Arbeiten sollen die Methoden von CHARM auf eine größere Bandbreite von Fallstudien und Dokumenttypen angewendet werden. Ziel ist es, ihre Anwendbarkeit, Robustheit und Übertragbarkeit über die in diesem Projekt untersuchten Materialien hinaus zu bewerten. Für Bibliotheken, Museen und Forschende bietet der kostenlos verfügbare Werkzeugkasten die Möglichkeit, Verarbeitungsschritte zu überprüfen und zugleich zu untersuchen, ob zuvor unleserliche Inhalte lesbar gemacht werden können.
Cambridge Accelerate Programme for Scientific Discovery: How can we…bring together machine learning and expert knowledge to reconstruct music unheard for centuries?

