System gehorcht auf Fingerzeig – Softwaresteuerung durch Gesten

Das System lokalisiert Hände und Finger in Echtzeit. Bild: Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.

Touch-Displays gehören spätestens seit iPhone und iPad zu den Standard-Bedientechniken im Umgang mit Computern, Smart Phones und anderen Geräten. Die berührungslose Bedienung durch Gestenerkennung ist der nächste konsequente Schritt. Fraunhofer FIT hat ein System realisiert, das Hand- und Fingerstellungen des Benutzers in Echtzeit erkennt und in entsprechende Befehle übersetzt. Das System kommt ohne Spezialhandschuhe und Marker aus und ist obendrein Multi-User tauglich.

Touch-Displays sind auf dem Vormarsch und haben die klassische Eingabe per Maus und Tastatur bereits in einigen Domänen fast verdrängt. Als Durchbruch gilt das iPhone, das Apple im Sommer 2007 auf den Markt brachte. Seitdem wurden zahlreiche ähnliche Geräte mit vergleichbaren Eigenschaften erfolgreich lanciert. Neuere Generationen unterstützen sogar die Bedienung von mehreren Personen gleichzeitig, sind also Multi-User tauglich, etwa der Microsoft Surface, eine Art Computer-Tisch, bei dem die komplette Oberfläche zur Eingabe genutzt werden kann. Naturgemäß ist diese Interaktionsform auf zweidimensionale Oberflächen zugeschnitten.

 

Einen Schritt in die Zukunft weist der Prototyp einer berührungslosen 3D-Multi-Touch-Umgebung, der von Fraunhofer FIT realisiert wurde. Unter Multi-Touch versteht man in diesem Zusammenhang, dass mehrere Finger beider Hände gleichzeitig ein Objekt "berühren" und durch Bewegungen oder Gesten manipulieren können. In unserem Falle Hand- und Fingergesten in der Luft, die das System erkennt und entsprechend interpretiert.

Kinofans erinnern sich vermutlich noch lebhaft an den Science-Fiction-Thriller "Minority Report" aus 2002, in dem Tom Cruise in einer 3D-Software-Arena zahlreiche Programme in atemberaubender Geschwindigkeit bediente – allerdings mit Spezialhandschuhen, die ihm lediglich das Agieren mit je drei Fingern erlaubten.

Im FIT-Prototyp werden in Echtzeit Hände und Finger der Benutzter in den Bilddaten einer 3D-Kamera erkannt und die Bewegungen mitverfolgt. Die 3D-Kamera arbeitet nach dem Laufzeitverfahren (TOF-Prinzip). Sie misst für jeden Bildpunkt, wie lange das Licht bis zum gefilmten Objekt und zurück benötigt, und ermittelt so die Distanz.

"Aus diesem Datenwust filtert ein spezieller Bildanalyse-Algorithmus nun die Positionen von Händen und Fingern heraus. Die schnelle Auswertung gelingt durch eine intelligente Filterung der einkommenden Daten. Stellt man sich diese als ein 3D-Relief einer Berglandschaft vor, so wird schnell klar, dass nur Gipfelregionen Handflächen oder Finger sein können.", so Georg Hackenberg, der im Zuge seiner Masterarbeit an der Realisation des Systems maßgeblich beteiligt war. Zusätzlich reduzieren Plausibilitätskriterien, etwa die Größe einer Hand oder die Fingerlänge, die potentiellen Koordinaten.

Doch auch wenn Benutzertest die Funktionalität und vor allem die besondere Intuitivität des Bedienungskonzepts belegen, muss das System für eine erfolgreiche Markteinführung noch verbessert werden. Armbanduhren etwa können durch Reflexionen das System verwirren, und auch Handflächen, die orthogonal zur Kamera gehalten werden, bereiten Probleme.

"Trotzdem: Wie man auch an den Ankündigungen von Microsoft zum Project Natal sehen kann, werden vergleichbare Benutzungsschnittstellen schon sehr bald im Spielebereich zum Einsatz kommen. Das Potential dieser Technologie eröffnet darüber hinaus auch neuartige Lösungen für andere Anwendungsdomänen, wie die Exploration komplexer Simulationsdaten und neue Formen des Lernens", prognostiziert Prof. Wolfgang Broll vom Fraunhofer-Institut für Angewandte Informationssysteme FIT.

Quelle: Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.