Smartphone-Videos erschaffen Gesichter in 3D

Visualisierter Rechenprozess: links das Endergebnis.

Bild: cmu.edu

Aus einem per Smartphone aufgenommen Video errechnen Informatiker der Carnegie Mellon University (CMU) ein 3D-Objekt, beispielsweise einen Kopf. Er wird von mehreren Seiten aufgenommen. Das ergibt eine wahre Datenflut, die eine Software, die maschinelles Lernen nutzt, verarbeitet Um ein 3D-Modell zu schaffen, ist normalerweise eine teure Ausrüstung nötig: Laserscanner, optimale Beleuchtung und mehrere Kameras.

Zweistufiger Rechenprozess

Die Forscher am CMU-Institut für Robotik schaffen das Kunststück in einem zweistufigen Rechenprozess. Das Ergebnis entspricht der Wirklichkeit bis auf Bruchteile eines Millimeters. Es sei leistungsfähiger als die bisherige kameragestützte Methode. Ein digitales Gesicht lässt sich nutzen, um Avatare für Spiele oder andere Zwecke zu entwickeln, oder für virtuelle oder erweiterte Realität. Auch taugt es zur biometrischen Identifikation oder sogar in der Medizin, etwa in der plastischen Chirurgie. Die präzise Wiedergabe eines Gesichts könnte auch die Anfertigung von genau passenden Masken erleichtern, wie Chirurgen sie tragen.

"Die 3D-Rekonstruktion eines Gesichts ist bisher ein offenes Problem bei der computergestützten Visualisierung und in der Grafik", sagt Simon Lucey, Assistenzprofessor am CMU-Robotik-Institut. Das liege daran, dass Menschen sehr sensibel auf leichte Abweichungen in Gesichtern reagieren. "Selbst kleinste Anomalien in der Rekonstruktion sorgen dafür, dass sie unecht wirkt."

Für sämtliche Objekte geeignet

Der Rekonstruktionsprozess beginnt mit der Aufnahme eines Videos mit einer Dauer von 15 bis 20 Sekunden. Die Entwickler nutzten im Test die Zeitlupenfunktion eines iPhone X. Als nächstes setzten sie eine Technik namens "Simultane Positionsbestimmung und Kartenerstellung" ein. Per Triangulation wird dabei die Lage eines jeden Punkts des Gesichts erfasst. Als Korrektiv dient dabei die Position der Kamera. Dabei entsteht ein grobes Abbild des Gesichts, das noch Lücken aufweist. Diese füllen die Forscher mit einer speziellen Methode des maschinellen Lernens.

"Maschinelles Lernen ist ein mächtiges Werkzeug, das wir jeden Tag nutzen", verdeutlicht Lucey das immense Potenzial des Verfahrens. "Es hat die Tendenz, sich Lösungen zu merken." Das CMU-Verfahren ist nicht nur für die 3D-Rekonstruktion von Gesichtern geeignet. Es lässt sich für alle Objekte anwenden. Die Rechenzeit liegt bei 30 bis 40 Minuten.

Quelle: www.pressetext.com/Wolfgang Kempkens