MIT-Forscher basteln an Videos zum "Hineingreifen"

Violetter Pfeil: Objekte im Video lassen sich bewegen. Bild: mit.edu

Wissenschaftler des Massachusetts Institute of Technology (MIT) sind einer revolutionären neuen Technologie auf der Spur, die es ermöglichen soll, Videos deutlich interaktiver zu gestalten als wir das bisher gewohnt sind.

Der "Interactive Dynamic Video" (IDV) getaufte Ansatz könnte es dem Betrachter eines Videoclips in Zukunft beispielsweise ermöglichen, direkt in das gerade gezeigte Bild "hineinzugreifen", um darin befindliche Objekte zu berühren bzw. auf verschiedene Arten zu manipulieren. Das Anwendungspotenzial ist enorm und reicht vom Bauwesen bis hin zu deutlich verbesserten Augmented- und Virtual-Reality-Anwendungen.

Mit Objekten spielen

"Wir lernen eine Menge über Objekte, indem wir sie manipulieren: Wir können sie anstoßen oder schubsen und schauen dann einfach, was passiert", erklärt Abe Davis, PhD-Student am Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT. "Mithilfe von IDV können wir das physische Verhalten von Objekten einfangen, das uns die Möglichkeit eröffnet, mit ihnen im virtuellen Raum zu spielen", ergänzt der Wissenschaftler. "Indem wir Videos interaktiver gestalten, können wir vorhersagen, wie sich einzelne Objekte in Anbetracht unbekannter Kräfte verhalten und neue Wege erforschen, was sich mit einem Video alles anstellen lässt", so Davis.

Die potenziellen Anwendungsmöglichkeiten seien enorm breit gefächert. "Es gibt viele mögliche Einsatzgebiete, von Filmemachern, die damit vollkommen neue Visual Effects in ihren Produktionen umsetzen können, bis hin zu Architekten, die damit überprüfen können, ob die von ihnen entworfenen Gebäude strukturell stabil genug sind", nennt der Forscher einige Beispiele.

Fünf Sekunden reichen

Wenn die Bewegung von Objekten simuliert werden soll, wird für gewöhnlich auf ein 3D-Modell zurückgegriffen. "Diese Methode ist allerdings recht teuer und funktioniert nicht bei allen Objekten", so Davis. Auch Algorithmen seien nicht ausreichend, um komplexe Bewegungen in unbekannten Umgebungen halbwegs realistisch simulieren zu können. "Bei unserer Technik reichen aber schon ganze fünf Sekunden des Videos, um genug Informationen zu haben, die für eine realistische Simulation reichen", betont der MIT-Experte.

Um die Objekte in ihrer Bewegung korrekt abbilden zu können, analysierte Davis' Team eine Reihe von Videoclips, um bestimmte Frequenzen zu finden, die nur bei spezifischen Bewegungen auftreten. "Wenn wir diese Eigenschaften kennen, können wir auch vorhersagen, wie sich diese Objekte in völlig anderen Situationen verhalten", erläutert der Forscher.

Unterschiedliche Testobjekte

Eigenen Angaben zufolge hat Davis die IDV-Technologie bereits an einer Reihe von unterschiedlichen Objekten in Videos getestet: an einer Brücke, einem Klettergerüst und einer Ukulele. Dabei konnte er mit wenigen Mausklicks zeigen, dass es möglich ist, das Bild anzustoßen, heranzuziehen und in verschiedene Richtungen zu biegen oder zu bewegen. Bei einem Versuch konnte er sogar demonstrieren, wie sich mit einer Handbewegung in beinahe telekinetischer Art und Weise die Blätter eines Strauches in einem Video bewegen lassen.

Quelle: www.pressetext.com/Markus Steiner