CMU-Tool MultiVerse: Künstler bestimmen, wie KI ihre Songtexte anpasst

Adaptive Songtexte unter Kontrolle der Urheber

MultiVerse wurde von einem Forschungsteam entwickelt, zu dem Alex Wang gehört, Doktorand am Human Computer Interaction Institute (HCII) der Kenneth C. Griffin School of Computer Science an der CMU. Wang ist Musiker und Spieleentwickler, die Idee entstand aus seiner Masterarbeit im Bereich Musik. Er sagte, er sei davon inspiriert worden, wie dynamisch Videospiele sind: Die Entwickler gestalten dort "einen Möglichkeitsraum", in dem jeder Spieler innerhalb der Vision der Schöpfer ein eigenes Erlebnis hat.

Adaptive Lyrics bedeutet, dass die Person, die einen Song geschrieben hat, festlegen kann, welcher Aspekt einer Textzeile verändert werden darf. Die Quelle nennt ein Beispiel: Ein Song mit einer Zeile über die Zugfahrt nach New York City könnte in Versionen umgewandelt werden, in denen das Reiseziel zu dem passt, wohin die Hörerin oder der Hörer unterwegs ist, etwa Pittsburgh.

So funktionieren die Steuerungsoptionen

MultiVerse nimmt die Songtexte eines Urhebers entgegen und lässt ihn bestimmte Leitplanken einstellen, bevor die Technologie den Text anpasst. Laut den Forschenden gibt es drei Hauptkategorien von Steuerungsoptionen:

• Intention: Gefühle oder Themen.
• Struktur: der Rhythmus oder die Silbenzahl.
• Kontext: an welche Informationen über das Publikum, etwa Standort oder Stimmung, sich der Text anpasst.

Wang wandte das auf einen Song an, den er über die Rückkehr ins Gates Hillman Center geschrieben hat. Die ersten Zeilen lauten "Back in Gates, winding up the helix bend/Pausch lights flicker as the daylight ends." Elemente wie Ort, Routine und Anblick lassen sich in variable Platzhalter verwandeln, zum Beispiel "Back in [Familiar Place]".

Das System erzeugt mehrere Versionen des Textes, und jede dem Urheber angezeigte Version wird rechnerisch daraufhin überprüft, ob sie die Vorgaben des Künstlers erfüllt. Verwendet ein Text ein ABAB-Reimschema und MultiVerse erzeugt ein AABB-Schema, wird diese Option verworfen.

Warum die Forschenden das Projekt für wichtig halten

David Lindlbauer, Assistant Professor am HCII, wies darauf hin, dass heutige generative KI aus einem einfachen Prompt individuelle Songs zu nahezu jedem Thema erzeugen kann. Die Ergebnisse seien wahrscheinlich kaum von menschengemachten Songs zu unterscheiden, doch "KI nimmt den Künstler und seinen kreativen Prozess vollständig aus der Schleife, was nicht unbedingt wünschenswert ist." Das Team sieht die Musikproduktion als Spektrum von komplett manuell bis vollständig KI-generiert und untersucht, wie sich die Vorteile beider Seiten verbinden lassen.

Chris Donahue, Assistant Professor im Fachbereich Informatik, merkte an, dass Musikstreamingdienste zunehmend mit Künstlern und Plattenlabels zusammenarbeiten, um adaptive Medien in Form von KI-Song-Remixen zu erproben. Seine Frage: "Wie können wir Werkzeuge bauen, mit denen Künstler die Art der Veränderungen begrenzen, die diese Funktionen an ihrer Musik vornehmen dürfen?"

Test und nächste Schritte

Das Team testete das System mit 10 Songwritern. Deren Rückmeldungen zufolge hatten sie mit MultiVerse mehr Kontrolle als bei Generative-KI-Werkzeugen, die mehr Eigenständigkeit übernehmen. Laut der Zusammenfassung der CMU gab das Tool den Urhebern deutlich mehr Kontrolle und Sicherheit als allgemeines KI-Prompting.

Die Forschenden stellen ihre Arbeit auf dem Symposium on User Interface Software and Technology (UIST) der Association for Computing Machinery in Detroit vor. Eine öffentliche Veröffentlichung oder Verfügbarkeit von MultiVerse erwähnt die Quelle nicht.

Für Künstler zeigt die Arbeit einen Weg, KI-Personalisierung zu nutzen, ohne den Song selbst aus der Hand zu geben: Die Urheber entscheiden, was sich ändern darf, und alles, was außerhalb dieser Grenzen liegt, wird herausgefiltert, bevor sie es sehen. Für Streamingdienste, die KI-Remixe erproben, bietet das ein Modell, solche Funktionen mit von Künstlern definierten Grenzen zu entwickeln.