Software macht Musik für Filme und Games

Tonstudio: "GeMMA" hilft bei Vorarbeit. Bild: pixelio.de, Paul-Georg Meister

Ein Team an der Fachhochschule St. Pölten hat mit "GeMMA" ein Software-Framework entwickelt, mit dem Nutzer einfach Musik beispielsweise für Filme und Games komponieren können. Dazu nutzt das System ausgeklügelte Algorithmen, um anhand sprachlicher Beschreibungen von Szenen und mithilfe einer Vergleichsdatenbank an Videoclips passende Tracks zu erstellen. Das Tool ist dabei vielseitig anwendbar. "Die Einsatzmöglichkeiten reichen von der Erstellung von Soundtracks, Games und Imagevideos bis hin zur pädagogischen Musikvermittlung", so Hannes Raffaseder, Leiter des Instituts für Creative\Media/Technologies (ICMT) an der FH St. Pölten.

Die Arbeit realer Komponisten soll GeMMA aber keinesfalls ersetzen, sondern vielmehr erleichtern. "Wir beschäftigen uns am ICMT stark mit kreativen Workflows in der Medienproduktion. Dabei ist uns aufgefallen, dass die Kommunikation zwischen Regisseur und Filmkomponist oft problembehaftet ist", erklärt Julian Rubisch, wissenschaftlicher Mitarbeiter am ICMT, gegenüber pressetext. Denn Regisseure sind oft musikalische Laien, können ihre Wünsche also nicht ideal vermitteln. "Oft werden sogenannte 'Temp Tracks' verwendet, die die Komponisten ähnlich, aber anders umsetzen sollen." Das neue Tool ist dazu gedacht, diese Temp Tracks intelligenter zu erstellen.

Einfach beschreiben

Um mit GeMMA zu komponieren, brauchen Nutzer keine großen musikalischen Fertigkeiten, sondern vor allem ein Hilfsmittel: die Sprache. Denn das Tool setzt auf semantische Beschreibungen der einzelnen Szenen im Film, Video oder Spiele. Aus einem Pulldown-Menü wählt der Anwender dazu Begriffe wie "Liebe", "Krieg" oder "Tod". Das Software-Framework sammelt die Annotationen und vergleicht sie mit einer speziellen Datenbank, die 500 Szene-Clips von 250 Blockbustern - von "Madagaskar" bis "Matrix" - enthält und erstellt dann auf Basis mathematischer Gesetzmäßigkeiten der Komposition ein zu den Beschreibungen passendes Musikstück.

Dass derart erstellte Tracks gewisse Ähnlichkeiten haben können, stört nicht unbedingt. "Filmkomponisten arbeiten seit Aufkommen des Tonfilms mit Stereotypen", betont Rubisch. Er verweist auf das Horn als Symbolklang für Jagd oder Krieg oder die Flöte in der Pastorale, deren Tradition sogar viel älter ist als der Tonfilm selbst. Zudem umfasst das System zu jedem semantischen Symbol mehrere Instrumentierungen, um Vielfalt zu garantieren. Ferner können Nutzer nach ihrem Gutdünken die Komposition beeinflussen. "Wenn eine an sich traurige Szene fröhlich vertont werden soll, um damit einen gewissen Effekt zu erzielen, ist das immer noch möglich."

Vielseitige Arbeitsgrundlage

Das System gibt die erstellten Musikstücke als MIDI-Dateien aus. Diese dürfen als Neukomposition lizenzfrei genutzt werden. "Die produzierten Temp Tracks sind nicht primär zur Veröffentlichung als Endprodukt gedacht, sondern als Vorlage bzw. Arbeitsgrundlage für Komponisten", unterstreicht freilich Rubisch. Dieser menschliche Faktor ist wichtig, immerhin ist nicht ganz auszuschließen, dass eine GeMMA-Komposition so gefährlich nahe an einer Vorlage liegt, dass es die GEMA auf den Plan rufen würde.

Doch auch abseits von Filmen und Games haben die für das System entwickelten Algorithmen Potenzial. Ein Beispiel dafür ist die Tablet-App "JazzPainter", mit der User ein virtuelles Jazz-Ensemble aus Bass, Gitarre, Klavier und Schlagzeug interaktiv zum Klingen bringen. In Zusammenarbeit mit dem Ernst-Krenek-Forum Krems wiederum entwickelt die FH St. Pölten derzeit eine Software-Anwendung für den schulischen Musikunterricht. Dank Benutzeroberflächen, die zum spielerischen Entdecken einladen, sollen Kinder und Jugendliche damit künftig unterschiedliche Kompositionsmodelle spielerisch verstehen.

Quelle: www.pressetext.com/Thomas Pichler