Entwicklung eines kostengünstigen Gestenerfassungssystems für Automobiltechnik und industrielle Anwendungen

Die Mensch-Maschine-Schnittstelle (MMI oder engl. HMI) ist eine Schlüsselkomponente fast aller industrieller und automobiltechnischer Anwendungen. Bei komplexer werdenden Interaktionen sind traditionelle Schaltersysteme für viele Umgebungen nicht mehr geeignet: Sie sind nicht intuitiv und lenken den Bediener von anderen Aufgaben wie die Steuerung einer Maschine oder das Fahren eines Fahrzeugs ab.

Für die gestenbasierte Steuerung gibt es viele Möglichkeiten; die Herausforderung für die Entwickler besteht darin, Leistung und Präzision in einem ausgewogenen Verhältnis zu Kosten und Einfachheit sowie Energieverbrauch zu halten.

Dieser Artikel befasst sich mit der Frage, welche Komponenten für ein Gestensteuerungssystem auf der Basis von Infrarot-Erfassungstechnologie benötigt werden. Anschließend wird eine kostengünstige Evaluierungskarte und deren Software vorgestellt, die Unterstützung bei der schnellen Entwicklung und Verkürzung der Markteinführungszeit bietet.

Kontaktlose Erfassungsanwendungen

Die erste praktische Anwendung der kontaktlosen Erfassung war die Erkennung der Annäherung eines Objekts und die Auslösung einer entsprechenden Reaktion. Automatische Türen, Seifenspender, Haustürleuchten und Handtrockner nutzen durchweg kontaktlose Sensoren als Eingänge.

Die Näherungssensoren dieser Systeme fungieren als Schalter, die einen digitalen Ein-/Aus-Ausgang bereitstellen. Die Gestenerfassung ermöglicht dem Benutzer hingegen die Nutzung dreidimensionaler Bewegungen zur Steuerung eines Systems auf intuitive Art.

Die Gestensteuerung ermöglicht es zudem, Änderungen innerhalb eines großen aktiven Feldes vorzunehmen. Das macht es möglich, feinere Bewegungen durch grobe Bewegungen zu ersetzen. Diese Fähigkeit ist eine entscheidende Funktion bei modernen Videospielkonsolen, die Gestenerfassungstechnik für die Erkennung komplexer Bewegungen aus dem Sportbereich oder die Verfolgung mehrerer Spieler einsetzen.

Infrarottechnik zur Gestenerfassung

Videospielkonsolen nutzen Laser und Spezialkameras für die Erfassung der Aktivitäten des Benutzers. Für viele Anwendungen wie Automobiltechnik beispielsweise wäre das jedoch zu kompliziert und zu teuer. Hier lässt sich beispielsweise mit nur einer einfachen Bewegung der Hand nach links oder rechts der Radiosender wechseln (Abb. 1). Analog dazu lässt sich auch die Einstellung der Lautstärke mit einem Wischen nach oben oder unten bzw. einer Drück- oder Ziehbewegung vornehmen.

Abbildung 1: Ein Gestenerfassungssystem nutzt intuitive Bewegungen zur Vereinfachung der Steuerung von Maschinen. (Bildquelle: BBC/BMW)

Weil sie eine Vielzahl einfacher Gesten erkennen kann und dabei wenig kostet, ist die Infrarot(IR)-Erfassungstechnologie eine gute Wahl für viele Anwendungen im Industrie-, Verbraucher- und Automobiltechnikbereich (Abb. 2). Die Hardware besteht aus zwei IR emittierenden Dioden (IREDs), die sich in einem festgelegten Abstand auf der Karte befinden. In der Mitte zwischen ihnen befindet sich ein Detektor.

Abbildung 2: Ein einfaches IR-Gestenerfassungssystem mit zwei IR-Dioden und einem Erfassungsgerät in der Mitte. (Bildquelle: Vishay Semiconductor)

Das Strahlungsmuster der einzelnen IR-Emitter ist stark direktional. Bewegt sich eine Hand über einen Emitter, weist die reflektierte Strahlung, die vom erkennenden Sensor gemessen wird, eine entsprechende Spitze auf. Wenn der Bediener die Hand von links nach rechts bewegt, steigt die Stärke des Signals vom linken (schwarzen) Emitter und sinkt die Stärke vor dem rechten (grünen) Emitter. Bewegt sich die Hand von rechts nach links, ist es umgekehrt.

Der Sensor übermittelt die Daten zu einem Mikrocontroller, der Software für die Analyse der Schwankungen in der Signalstärke im zeitlichen Verlauf enthält. So ermittelt er, ob eine Wischgeste ausgeführt wurde, und wenn ja, in welche Richtung.

Beispiel für den Aufbau eines Gestenerfassungssystems

Ein typischer Stromkreis einer Anwendung für die Gestenerfassung verfügt zusätzlich über einen dritten IR-Emitter im Vergleich zum Basissystem. Damit können sowohl Aufwärts-/Abwärts- als auch Links-/Rechts-Gesten erkannt werden (Abb. 3).

Abbildung 3: Aufbau eines Gestenerfassungssystems mit drei Emittern, das sowohl Links-/Rechts- als auch Aufwärts-/Abwärts-Gesten erkennen kann. (Bildquelle: Vishay Semiconductor)

Herzstück des Systems ist der IR- und Umgebungslichtsensor VCNL4035X01 von Vishay Semiconductor, der mit einer einzelnen Spannungsversorgung von 2,5 bis 3,6 Volt arbeitet. Der anwendungsspezifische integrierte Schaltkreis (ASIC) enthält Treiber für drei externe IR-Emitter, eine interne Photodiode für den Empfang der reflektierten Ausgänge sowie Schaltkreise für die Verarbeitung des Signals der Photodiode. Eine serielle I²C-Schnittstelle nach Industriestandard kommuniziert mit einem externen Mikrocontroller, der die Daten analysiert, um die Geste zu decodieren.

Abbildung 4: Der VCNL4035 kann bis zu drei externe IR-Emitter antreiben und enthält einen internen Umgebungslichtsensor. (Bildquelle: Vishay Semiconductor)

Um Energie zu sparen und die Verarbeitungslast zu reduzieren, verfügt der VCNL4035 über einen programmierbaren Interrupt-Pin, der den Mikrocontroller bei einem Gestenereignis oder einer Änderung des Umgebungslichts aus dem Ruhezustand holen kann. Das macht ein kontinuierliches Abfragen überflüssig.

Der VCNL4035X01 weist ein 4,0 x 2,36 Millimeter messendes Miniatur-LLP (leitungsloses Gehäuse) mit einer Höhe von 0,75 Millimetern auf. Dadurch kann er auch in Smartphones, Digitalkameras, Tablet-PCs und ähnliche Geräte mit beengten Platzverhältnissen eingebaut werden.

Abbildung 5: Normalisierter Spektralverlauf der Sensoren in der VCNL4035-IR-Photodiode (a) und im Umgebungslichtsensor (b). Zum Vergleich ist die Reaktion des menschlichen Auges angegeben. (Bildquelle: Vishay Semiconductor)

Zur Ermittlung der Bewegungsrichtung muss die Software zwischen den IRED-Ausgängen unterscheiden können, um sie vergleichen zu können. Im Gestenerfassungsmodus steuert der VCNL4035 die IREDs sequenziell und in schneller Abfolge an. Dann signalisiert er dem Mikrocontroller, die internen Register mit den drei 16-Bit-Ausgaben der Photodioden auszulesen. Die Stromsteuerstärke, die Ansteuerungszeit und die Zeit zwischen den aufeinanderfolgenden Messungen sind durchweg vom Benutzer wählbar.

Der Umgebungslichtsensor (ALS) empfängt sichtbares Licht und wandelt es in einen 16-Bit-ADC-Wert um. Der ALS des VCNL4035 hat seine Spitzenempfindlichkeit bei 540 nm und eine Bandbreite von 430 nm bis 610 nm. Das ist sehr nahe an den Werten des menschlichen Auges.

IRED-Anforderungen

Die Ausgabe der IREDs muss der Empfindlichkeitsreaktion der Photodiode des VCNL4035 entsprechen, um die beste Leistung sicherzustellen. Mit einer Spitzenwellenlänge (λ_P) von 940 nm eignet sich die VSMY2940RG-Emitter-Serie von Vishay Semiconductor sehr gut für diesen Zweck. Sie basiert auf GaAlAs-Emitter-Chip-Technologie (Galliumaluminiumarsenid). Sie bietet eine typische Strahlungsintensität von 880 Milliwatt pro Steradiant (mW/sr) bei 1 A Durchlassstrom im gepulsten Betrieb (t_p = 100 μS).

Zusätzlich emittieren die Geräte Strahlung in einem sehr direktionalen Muster, vorrangig innerhalb eines Abstrahlwinkels von ±10° (Abbildung 6).

Abbildung 6: Der IR-Emitter VSMY2940RG von Vishay hat ein stark eingeschränktes relatives Verhältnis zwischen Strahlungsintensität und Winkelversatz und eignet sich dadurch für Anwendungen zur Gestenerfassung. (Bildquelle: Vishay Semiconductor)

Überlegungen bei der Entwicklung eines Gestenerfassungssystems

Der Entwickler eines Gestenerfassungssystems muss eine Reihe von Punkten abwägen, bevor er die optimale Auslegung ermittelt. Einer dieser Punkte ist das Verhältnis zwischen Erfassungsbereich und Stromverbrauch. Ein weiterer ist die IRED-Positionierung.

Erhöht man den Abstand, in dem eine Geste erfasst werden kann, muss auch die Ausgangsleistung der IREDs steigen, die eine Funktion ihres Durchlassstroms ist. Infolgedessen steigt der Stromverbrauch, was bei batteriebetriebenen Geräten problematisch wäre. Durch die höhere elektrische Leistung steigt auch die Hitzemenge, die abgeführt werden muss. Dadurch wächst möglicherweise auch die Größe der Konstruktion.

In dem eingangs besprochenen Beispiel ergibt ein IRED-Treiberstrom von 200 mA eine typische Strahlungsintensität von 200 mW/sr. Das ermöglicht die Erfassung von Handgesten, die bis zu 40 cm vor der Sensorkarte gemacht werden.

Im Hinblick auf die IRED-Positionierung hängt die Anzahl der externen IREDS und deren Positionierung von den Erfordernissen der jeweiligen Anwendung ab. Der Abstand zwischen den IREDs und dem Sensor kann bei einer einfachen Annäherungsanwendung oder für die Erkennung kleiner Gesten wie Fingerbewegungen nur wenige Millimeter betragen.

Eine größere Trennung von Sensor und IREDs bietet Vorteile im Hinblick auf die Ermittlung der Richtung einer Handbewegung in größerem Abstand. Der optimale Abstand lässt sich mit empirischen Tests ermitteln.

Software für die Gestenerfassung

Für die Ermittlung der beabsichtigten Geste unter Verwendung der Ausgaben vom VCNL4035 gibt es mehrere Verfahren. Ein einfaches Verfahren ist das Festlegen eines minimalen Schwellenwertes für die Erfassung eines Objekts. Eine steigende Flanke, die den Schwellenwert überschreitet, signalisiert die Ankunft einer Hand über einer IRED, und eine fallende Flanke signalisiert, dass die Hand den Erfassungsbereich der IRED verlassen hat.

Bei zwei IREDs gibt die Reihenfolge der Ereignisse an, ob ein Wischen nach links oder rechts erfolgt ist. Bei dieser Methode wird das Ergebnis jedes Messzyklus separat analysiert. Das erfordert weniger Verarbeitungsressourcen.

Ein rechenintensiverer Ansatz analysiert die Daten aus mehreren Messreihen (Frames). Der Algorithmus berechnet für jeden Frame zwei Mengen: die Standardabweichung der einzelnen Signale im Vergleich zum jeweiligen Mustersatz und die zeitliche Verzögerung zwischen den Links-Rechts-Signalen. Durch den Vergleich der Ergebnisse mit benutzerdefinierten Schwellenwerten kann der Algorithmus entscheiden, welche Art von Geste ausgeführt wurde.

Die Standardabweichung s ist eine Maßzahl für die Verteilung der Daten innerhalb des analysierten Frames. Sie wird mit folgender Formel berechnet:

Wobei x̄ der Mittelwert des aktuellen Frames und n die Anzahl der analysierten Proben ist.

Eine hohe Standardabweichung impliziert eine große Signaländerung. Das lässt vermuten, dass eine Hand über den Sensor oder in seine Richtung bewegt wird.

Eine geringe Standardabweichung hingegen impliziert, dass sich das Signal nur wenig oder gar nicht ändert, weil sich entweder keine Hand im Erfassungsbereich des Sensors befindet, oder, falls doch, diese Hand nicht bewegt wird. Eine ausreichend große Zeitverzögerung zwischen den Signalen bedeutet, dass eine Wischgeste stattgefunden hat. Bei dieser Berechnung kann mit einem Kreuzkorrelationsalgorithmus, der die Überschneidung zwischen den beiden Signalen berechnet, auch näherungsweise die Verzögerung ermittelt werden.

Schneller Einstieg mit einem Sensor-Starterkit

Das Sensor-Starterkit VCNL4020 von Vishay ermöglicht einen schnellen Einstieg in die Entwicklung eines IR-basierten Gestenerfassungssystems. Das Kit umfasst einen USB-Dongle, ein einsteckbares Demoboard VCNL4020 zur Gestenerkennung und eine Mini-CD mit dem USB-Treiber und der Software.

Der VCNL4020 selbst ist ein integrierter Näherungs- und Umgebungslichtsensor mit einem internen IR-Emitter. Auf der Demo-Karte treibt der VCNL4020 auch einen externen IRED an, um ggf. eine größere räumliche Trennung zu ermöglichen.

Abbildung 7: Das Sensor-Starterkit VCNL4020 von Vishay umfasst die für die Entwicklung eines einfachen Gestenerfassungssystems benötigte Hard- und Software. Es bildet den Standard-Ausgangspunkt von Vishay – mit Anschlussmöglichkeiten für eine Vielzahl von Erweiterungskarten für verschiedene Vishay-Sensoren. (Bildquelle: Vishay Semiconductor)

Der USB-Dongle ermöglicht die I²C-zu-USB-Kommunikation zwischen der Demokarte und einem Host-PC. Er enthält den CY768013A von Cypress Semiconductor, ein ASIC, der den optimierten Mikrocontroller 8051 mit einem integrierten Einzelchip-Transceiver nach USB2.0-Standard kombiniert. Zudem enthält er einen 3,3-Volt-Regler plus den MCP3421 von Microchip Technology, einen 18-Bit-Sigma-Delta-Analog/Digital-Wandler (ADC) mit einem Eingang, um einen zusätzlichen analogen Eingang bereitzustellen.

Der USB-Dongle dient als Basis für andere VCNL-Sensor-Demokarten, die alle kostenfrei von Vishay bezogen werden können, z. B. die Demokarte VCNL4035. Diese Karte ist insoweit besonders intuitiv, als dass sie ein LED-Array umfasst, das die Richtung einer Geste angibt.

Die Entwicklungssoftware auf der im Lieferumfang der Karte VCNL4035 enthaltenen CD implementiert die eingangs erwähnten Standardabweichungs- und Kreuzkorrelations-Erkennungsalgorithmen.

Mit der Software kann der Benutzer die Schlüsselparameter des Datenerfassungs- und des Erkennungsalgorithmus ändern. Zur Optimierung der Systemleistung lassen sich zahlreiche Parameter einstellen:

• Datenmessrate
• Messprobenzeit
• Aufwärts-/Abwärts-Erkennungsschwellenwert
• Links-/Rechts-Erkennungsschwellenwert
• Schwellenwertkurve
• Standardabweichungs-Schwellenwert

Abbildung 8: Gestenerfassungsbildschirm unter Verwendung einer GUI von LabVIEW für den VCNL4035, der die Ergebnisse einer Links-nach-rechts-Bewegung zeigt. (Bildquelle: Vishay Semiconductor)

Das Starterkit enthält eine grafische Benutzerschnittstelle (GUI), die auf der weit verbreiteten LabVIEW-Programmierplattform von National Instruments läuft. Es wird der Gestenerfassungsbildschirm mit den Ergebnissen einer Links-nach-rechts-Bewegung gezeigt (noch einmal Abbildung 8). Die (rote) IRED löst zuerst aus, gefolgt von der mittleren (grünen) und dann der rechten (blauen) IRED.

Entwicklern, die noch nicht mit der LabVIEW-Umgebung vertraut sind, bietet das LabVIEW Home Bundle von Digilent die Chance, mit minimalen Kosten zu beginnen.

Fazit

Mit einem Infrarot-Gestenerfassungssystem lässt sich vielen Herausforderungen im HMI-Bereich Rechnung tragen. Seine Kombination aus kostengünstiger Hardware und komplexer Software kann viele Handbewegungen erkennen, wie sie bei industriellen, automobiltechnischen und verbraucherelektronischen Anwendungen üblich sind.

Vishay bietet eine Vielzahl optoelektronischer Komponenten und Starter-Kits, die Entwicklern den schnellen Einstieg in die Entwicklung eines HMI-Gestenerfassungssystems erleichtern. Die Einbindung einer LabVIEW-GUI vereinfacht zudem die Entwicklung und erleichtert die Überlegungen bezüglich der einzugehenden Kompromisse.