Sensors Expo 2019: holographische Touch-Steuerung von Neonode lässt Entwickler innehalten

Auf der Sensors Expo 2019 Ende Juni wurden zahlreiche Sensorprodukte, Technologien, Kits, Referenzdesigns sowie Anregungen zu ihrer Verwendung präsentiert. Außerdem gab es diverse gute Ratschläge von STMicroelectronics, worauf man bei einem Sensor besonders achten sollte. Jetzt aber möchte ich über die meiner Meinung nach beste Demonstration der Messe sprechen, nämlich den Neonode zForce AIR^TM.

Dieser Sensor war Bestandteil einer Demonstration, bei der eine „Touch“-Schnittstelle in den 3D-Raum projiziert wurde (Abbildung 1). Das Besondere dabei war, dass man eigentlich nichts berührt hat. Wenn man die Hand nach der projizierten Taste ausstreckte und sie berührte, wurde diese Berührung vom Sensor zForce AIR erkannt und das System reagierte entsprechend. Das Ganze war irgendwie sehr befremdlich und dennoch auch unterhaltsam.

Abbildung 1: Bei der Demonstration von Neonode wurde ein holographisches Bild von einem Display an einen Punkt im Raum etwa 13 cm über der Oberfläche der Demonstrationsanordnung projiziert. Von vorn betrachtet sieht man ein reguläres Bedienfeld (links), das bei Betrachtung von der Seite verschwindet (rechts). (Bildquelle: TechWire International)

Für Neonode geht es dabei jedoch nicht nur um den reinen Unterhaltungsfaktor. Das Produkt ist selbstverständlich auch für ernsthafte Anwendungen gedacht. Irritierte Benutzer sind daher nicht gerade von Vorteil. Hierfür hat sich das Unternehmen jedoch eine Strategie ausgedacht. Zuerst werfen wir jedoch einen genaueren Blick auf die Demonstration und beschreiben den zForce AIR und seine Rolle.

Wie wurde das ganze bewerkstelligt?

Da es sich um eine Demonstration handelt, bietet das folgende Video die beste Möglichkeit zur Beschreibung.

Video: Sehen Sie sich an, wie der zForce AIR von Neonode mithilfe eines speziellen Kunststoffs von Asukanet eine Steuerungsschnittstelle in den 3D-Raum projiziert. (Videoquelle: TechWire International)

Hier ist eine kurze Zusammenfassung. Die Demonstrationsanordnung umfasste ein normales Display in einem Kasten. Das Display und die Oberseite des Kastens bildeten einen Winkel von 45°. Die Oberseite des Kastens war mit einer speziellen Kunststofffolie von Neonodes Partner Asukanet (Tokio, Japan) überzogen. In den Kunststoff eingearbeitet waren zahlreiche Spiegel, die das Bild um weitere 45° drehten und vom Display an einen bestimmten Punkt im Raum etwa 20 cm über dem Kasten projizierten. Das ist gelinde gesagt merkwürdig, denn wenn man die Anordnung von der Seite – also in einer horizontalen Ebene – betrachtet, dann sieht man nichts (Abbildung 2, rechts).

Da die Koordinaten jedes einzelnen Pixels des Bildes bekannt waren, konnte die Demonstrationsanordnung mithilfe des zForce AIR erkennen, wann ein Benutzer einen Punkt im Raum berührte, der direkt einer Steuertaste entsprach.

Der zForce AIR erkennt Objekte, indem er Infrarotstrahlen mit einem Durchmesser von 2 Millimetern (mm) aussendet. (Abbildung 2). Empfänger erfassen das vom Objekt reflektierte Licht und die Position wird vom Mikrocontroller von Neonode über I²C oder ein USB-HID-Profil (Human Interface Device) an den Host gesendet. Auf den Host heruntergeladene, proprietäre Software korreliert die Fingerposition mit den projizierten Pixelpositionen.

Abbildung 2: Der zForce AIR von Neonode verwendet IR-Licht, um einen Finger oder beliebige Objekte zu erkennen. (Bildquelle: Neonode Inc.)

Selbstverständlich steckt noch sehr viel mehr dahinter, doch das könnte vielleicht ein Thema eines zukünftigen technischen Artikels von DigiKey sein. Das Endergebnis ist ein Sensor, der ein beliebiges Objekt erfassen und seine Größe, den von ihm auf eine Oberfläche ausgeübten Druck, seine Tiefe (in 3D), seine Geschwindigkeit und seine Nähe bestimmen kann. Solche Sensoren können zur Objektverfolgung eingesetzt werden – eine interessante Anwendungsmöglichkeit.

Da es sich um eine optische Lösung handelt, bezog sich meine erste Frage auf blockierte optische Signale in staubigen Umgebungen und die Auswirkungen von Umgebungslicht. Laut Bengt Edlund, VP of Distribution and Partner Sales bei Neonode (Stockholm, Schweden), können Staub und andere Partikel sowie Umgebungslicht per Software kompensiert werden. Er fügte hinzu, dass elektrische Interferenzen und starke HF-Signale aufgrund der optischen Natur keine Probleme verursachen. Und zum Stromverbrauch: Eine Sensormessung über etwa 20 cm verbraucht 146 Milliwatt (mW) (Abbildung 3).

Abbildung 3: Eine zForce-AIR-Sensorleiste mit einem Messbereich von etwa 20 Zentimetern ist in einem Winkel in die Demonstrationsanordnung eingebettet, um Objekte in einem Bereich zu erkennen, der etwa 20 Zentimeter über dem Bildschirm liegt. Diese Sensorleiste verbraucht etwa 146 mW. (Bildquelle: TechWire International)

Diese Technologie stellt eine offensichtliche Alternative zu kapazitiven Touchscreens dar. Wie die Demonstration zeigte, sind mit den richtigen Partnern interessante Kombinationen möglich. So arbeitet Neonode beispielsweise eng mit Ultrahaptics zusammen, einem Anbieter von Lösungen für haptisches Feedback auf der Basis von Schallwellen, wobei der Zielmarkt die Automobilbranche ist. Wenn man die Berührung einer Steuertaste „fühlen“ kann, ist man im Allgemeinen bereits weit weniger irritiert. Ein Autofahrer muss sich jedoch absolut sicher sein können, dass er die richtige Taste berührt, ohne die Augen von der Straße nehmen zu müssen.

Für medizinische Anwendungen ist der Umstand, eine Oberfläche nicht berühren zu müssen, außerordentlich interessant, da hierdurch das Risiko der Übertragung von Krankheitserregern enorm verringert wird.

Fazit

Selbstverständlich ist die Aussage, dass es sich bei der Demonstration von Neonode um die beste der ganzen Sensors Expo 2019 gehandelt hat, rein subjektiv und es gab genügend andere Aussteller, die eine nähere Betrachtung Wert gewesen wären. Neonode war es jedoch als einzigem Aussteller gelungen, mich, einen übersättigten Messebesucher, dazu zu bringen, unvermittelt stehen zu bleiben und sich zu fragen: „Nanu, wie funktioniert denn das?“ Und ich war nicht der Einzige, dem es so erging. Obwohl die Technologie nicht neu ist, birgt sie enormes Potenzial für den Einsatz in Industrie, Verbraucherelektronik, Automobiltechnik und Medizin.