Mit regulären Videokameras die Bewegungen von Schauspielern und Sportlern in Echtzeit erfassen

Wissenschaftler des Max-Planck-Instituts für Informatik in Saarbrücken können die Bewegungen eines Schauspielers in Echtzeit erfassen. Quelle: Foto: MPI (idw)

Innerhalb von nur Millisekunden und lediglich mit Videokameras, Mathematik und Rechenkraft können Forscher des Max-Planck-Instituts für Informatik in Saarbrücken automatisch erkennen, wie sich mehrere Personen bewegen. Das von den Informatikern entwickelte Verfahren hilft nicht nur Trickfilmspezialisten in Hollywood, sondern auch Medizinern und Sportlern.

Die digital animierte Komödie „Ted“ läuft gerade in deutschen Kinos. Ihr eigentlicher Star ist der gleichnamige Teddybär, den sich John Bennett (gespielt von Mark Wahlberg) als Kind wünschte und nun auch noch als Erwachsener erträgt. Solche Art von Computergrafik gehört zum Standard bei Kinofilmen seit der Kinofilm „Avatar – Aufbruch nach Pandora“ mit seinen blauhäutigen, digital animierten Figuren drei Oscars gewann und weltweit rund drei Milliarden US-Dollar einspielte. Teilen sich bei „Ted“ und „Piraten der Karibik“ noch Schauspieler aus Blut und Fleisch mit digitalen Kollegen die Leinwand, setzte der renommierte Regisseur Steven Spielberg bei „Tim und Struppi“ ganz auf virtuelle Darsteller. Sie wurden wie Ted per Motion-Capture-Verfahren zum Leben erweckt. Ein Schauspieler schlüpft dazu in einen Anzug, der mit Markern beklebt ist. Diese reflektieren Infrarotlicht, das von einem speziellen Kamera-System ausgestrahlt und empfangen wird. Auf diese Weise können die Bewegungen des realen Schauspielers erfasst und später mit einer Animationssoftware auf die virtuelle Figur übertragen werden.

„Die Schauspieler mögen Motion-Capturing nicht. Die Anzüge sind unangenehm zu tragen und die Marker behindern sie in ihren Bewegungen“, erklärt Christian Theobalt, Professor für Informatik an der Universität des Saarlandes und Leiter der Forschergruppe „Graphics, Vision & Video“ am Max-Planck-Institut für Informatik (MPI). Das habe sich seit dem computeranimierten Charakter „Gollum“ aus der Filmtrilogie „Herr der Ringe“ nicht geändert. Theobalt hat zusammen mit seinen MPI-Kollegen Nils Hasler, Carsten Stoll und Jürgen Gall von der Eidgenössischen Technischen Hochschule Zürich ein neues Verfahren entwickelt, das nicht nur ohne Marker auskommt, sondern die Bewegungen auch noch viel schneller erfasst. „Das wissenschaftlich Neue ist die Art und Weise, wie wir die gefilmte Szene im Computer repräsentieren und berechnen. Daraus resultiert dann auch die hohe Geschwindigkeit, mit der wir Bewegung erfassen und darstellen können“, erklärt Theobalt.

In der Realität sieht das dann so aus: Videokameras filmen im Labor einen Sportler beim Rad schlagen. Der Computer berechnet auf Basis der aufgenommenen Bilder das Bewegungsskelett so schnell, dass für den Betrachter keine Verzögerung zwischen der gefilmten Bewegung und dem darübergelegten knallroten Bewegungsskelett erkennbar ist. Und aufgrund der neuen mathematischen Repräsentation funktioniert dies laut Aussage von Theobalt auch, wenn die Bewegungen von mehr als nur einer Person erfasst werden sollen, diese teilweise durch im Raum stehende Objekte verdeckt werden oder vor einem unruhigen Hintergrund stattfinden. „Wir sind überzeugt, dass mit diesem Ansatz sogar Motion-­Capturing in der freien Natur, beispielsweise in einem Olympiastadion möglich ist“, erklärt Theobalt.

Athleten könnten es nutzen, um schneller zu rennen, höher zu springen und weiter zu werfen. Vor den Fernsehgeräten und vor Ort könnten Zuschauer mithilfe der Technologie herausfinden, was den Unterschied zwischen erstem und zweitem Platz ausmachte. Auch die Medizin könnte davon profitieren. Ärzte wiederum könnten mit dem Ansatz den Heilungserfolg nach Operationen an Gelenken analysieren, so Theobalt. Seine MPI-Kollegen Nils Hasler und Carsten Stoll wollen nun eine Firma gründen, um aus der bisherigen Software ein kommerzielles Produkt zu machen. „Es haben bereits erste Gespräche mit Unternehmen aus Hollywood stattgefunden“, verrät Theobalt.

Technischer Hintergrund

Die für den Ansatz notwendige Technik ist recht preiswert. Lediglich normale Videokameras, die zu exakt gleichen Zeitpunkten filmen, sind notwendig. Laut Aussagen der Max-Planck-Forscher funktioniert das Verfahren ab fünf Kameras, ihre Ergebnisse erzielten sie mit zwölf Geräten. Entscheidend sei die mathematische Repräsentation der Videobilder, des Schauspielers und die weitere Berechnung. Dazu erstellen die Informatiker ein 3-D-Modell des zu erfassenden Darstellers aus einem Bewegungsskelett mit 58 Gelenken. Die Proportionen des Körpers modellieren sie als Summe einer dreidimensionalen Gaußfunktion, die visualisiert wie Kugeln aussehen. Deren Radius variieren sie nach den Maßen der realen Person. Das resultierende 3-D-Modell ähnelt somit dem Maskottchen eines bekannten Reifenherstellers. Die zur realen Person gehörenden Bildpunkte auf den von den Videokameras aufgenommenen Bildern werden ebenfalls in „Gauße“ umgeformt. Sie überdecken Bildbereiche, die sich durch den gleichen Farbwert definieren.

Um die Bewegungen zu erfassen, arbeitet das Rechenverfahren kontinuierlich daraufhin, dass sich die „Gauße“ aus 2-D- und 3-D-Bild möglichst passgenau überlagern. Die dazu notwendigen Vergleiche können die Saarbrücker auf mathematischem Wege effizient und schnell lösen. Auf diese Weise können sie die gefilmte Bewegung erfassen und in Echtzeit visualisieren.

Quelle: Universität des Saarlandes (idw)