Grundlagen der Entfernungsmessung und Gestenerkennung mittels ToF-Sensoren

Von Steve Leibson

Zur Verfügung gestellt von Nordamerikanische Fachredakteure von Digi-Key

Viele Anwendungen erfordern das berührungslose Erfassen der Präsenz bzw. das Messen der Entfernung zu physischen Objekten. Dieser Bedarf an Näherungssensoren brachte viele miteinander konkurrierende Lösungen hervor, darunter die optischen ToF-Sensoren (ToF steht für „Time of Flight, auf Deutsch: Laufzeit). Diese Sensoren liefern präzise Werte, waren in der Vergangenheit allerdings auch teuer und komplex. Bei den neueren Lösungen ist die Technik aber viel einfacher zu implementieren.

Näherungssensoren kommen u. a. in Kamera-Autofokus-Systemen, Robotern und Drohnen, Badarmaturen und Automatiktüren zum Einsatz. Das sind nur einige Beispiele, aber es werden ständig mehr. Die miteinander konkurrierenden Näherungssensor-Technologien beginnen bei einfachen Infrarot- und Ultraschallsensoren und setzen sich fort bis zu komplexeren Sensorsystemen wie Stereo-Videokameras mit neuronalen Netzwerken.

Alle diese Technologien haben ihre Einschränkungen. Und während für die Erledigung komplexer Aufgaben wie die Objekterkennung und -verfolgung bei autonomen Fahrzeugen künstliche Intelligenz erforderlich sein kann, dürfen einfache Aufgaben wie die Steuerung von Papierhandtuch- und Seifenspendern nicht mit Technik überfrachtet werden. Angesichts schrumpfender Budgets und Entwicklungsfenster müssen Entwickler die Kosten, den Platzbedarf und die Entwicklungszeit minimieren.

Eine der in Frage kommenden Alternativen für die Näherungsmessung sind ToF-Sensoren. Sie messen die Entfernung zu einem Zielobjekt durch zeitliche Erfassung des Umlaufs von Photonen auf ihrem Weg vom Sensor zum Objekt und zurück. Noch bis vor Kurzem war es schwierig, ToF-Systeme schnell und kostengünstig zu implementieren. Dank neuer Generationen hochgradig integrierter und preiswerter ToF-Sensoren ist es mittlerweile jedoch möglich, die hochpräzise berührungslose Messung auch in kostengünstigeren Systemen einzusetzen.

In diesem Artikel wird die Entwicklung der Entfernungsmesstechnik einschließlich der ToF-Sensoren und ihr Einsatz in einer Vielzahl von Anwendungen für die Entfernungsmessung und Gestenerkennung beschrieben. Anschließend wird die Funktionsweise der ToF-Sensortechnologie beschrieben, und es werden einige der neuesten Lösungen vorgestellt und ein möglicher Einstieg mit ihnen erläutert.

Frühe Näherungssensoren

In der im Jahr 1972 vorgestellten Polaroid SX-70-Sofortbildfilmkamera kamen viele innovative Technologien zum Einsatz, darunter eine Drei-Spiegel-Optik, die sich flach zusammenklappen ließ, Fresnel-Linsen, eine in die Bildkassette integrierte 6-Volt-Flachbatterie sowie eine Blitzleiste mit zehn Einweg-Blitzleuchten. Eine der einflussreichsten Technologien, die Polaroid mit der SX-70 einführte, war jedoch das Sonar-Autofokussystem, das erstmalig in der 1978 vorgestellten Polaroid SONAR OneStep verbaut war (Abbildung 1). Das SONAR-Autofokussystem bediente sich eines innovativen Ultraschall-Messwandlers, der gleichzeitig als Sender der Ultraschallimpulse und Empfänger der reflektierten Ultraschallenergie diente.

Bild von der Polaroid-Kamera SONAR OneStep SX-70

Abbildung 1: Die Polaroid SONAR OneStep SX-70 enthielt einen Ultraschall-Messwandler (der große goldfarbene Kreis oben auf der Kamera) für die automatische Fokussierung. (Bildquelle: Wikipedia)

Der Ultraschallsensor der SONAR war so erfolgreich, dass Polaroid einen eigenen Geschäftszweig um den Sensor herum aufbaute, und der Nachhall des Polaroid-Autofokus-Ultraschallsensors ist noch heute zu spüren. So ist beispielsweise das kostengünstige Ultraschall-Messmodul SEN-13959 HRC-SR04 von SparkFun ein Abstandssensor mit separaten Messwandlern für Ausstrahlung und Empfang (Abbildung 2). Der Sensor ist auf die direkte Ansteuerung durch eine Arduino-Entwicklungskarte ausgelegt. Die Reichweite des Sensors erstreckt sich von 2 bis 400 Zentimeter (cm), und er ist so ausgelegt, dass er berührungslose Näherungsmessungen mit einer Mindestauflösung von 3 Millimetern (mm) durchführen kann.

Bild des Ultraschall-Messmoduls SEN-13959 von SparkFun

Abbildung 2: Das Ultraschall-Messmodul SEN-13959 von SparkFun misst die Entfernung mittels reflektierter 40-kHz-Impulse. (Bildquelle: SparkFun)

Zur Entfernungsmessung mit diesem Modul sendet die Arduino-Karte (oder ein anderer Controller) einen Impuls von 10 Mikrosekunden (µs) an den Trig-Pin der Platine. Dieser löst seinerseits eine Serie von acht kurzen Ultraschallimpulsen aus, die dann vom Ultraschallsender gesendet werden. Die Schallimpulse bewegen sich mit 343 Metern (m) pro Sekunde (in einer typischen Umgebung bei 20 °C), treffen auf das Ziel und werden von dort zurückgeworfen. Die Entfernung zum Ziel ist die Zeitdauer zwischen dem Senden und Empfangen der Ultraschallimpulse, multipliziert mit 343 Metern pro Sekunde und geteilt durch zwei (zur Berücksichtigung von Hin- und Rückweg).

Ultraschallimpulse werden von harten Oberflächen gut reflektiert, weniger gut hingegen von weichen Oberflächen wie Vorhängen, Teppichen, Kleidung und Haustieren. Die Messgenauigkeit hängt vom Timing-Verfahren für die Impulse ab. Beim SparkFun-Modul SEN-13959 gibt es keine Möglichkeit, das Timing zu steuern. Dazu benötigt sie die Host-CPU. Darüber hinaus variieren die Genauigkeit und Stabilität der Abstandsmessungen eines Ultraschallsensors mit der Lufttemperatur (weil sich mit ihr die Luftschallgeschwindigkeit ändert) und der Bewegung der Luft (die einen Großteil der reflektierten Ultraschallenergie absorbiert und das Rücklaufsignal dämpft).

Für die Näherungserkennung und Abstandsmessung werden auch Infrarot-LEDs (IR) verwendet. Die Entfernungsmessungs-Sensoreinheit GP2Y0A41SK0F von Sharp Microelectronics kann Objekte in Entfernungen von 4 bis 30 cm messen – je nach Intensität des von einer IR-LED ausgestrahlten und reflektierten Infrarotlichts (Abbildung 3). Zur Angabe der Entfernung zum Objekt gibt der Sensorausgang eine analoge Spannung aus, die von etwas über 3 Volt (entspricht einer Entfernung von 3 cm) bis rund 0,3 Volt (40 cm) reicht. Der Host-Controller wandelt diese analoge Spannung in eine digitale Darstellung um.

Bild von der IR-Abstandsmessungs-Sensoreinheit GP2Y0A41SK0F von Sharp

Abbildung 3: Die IR-Abstandsmessungs-Sensoreinheit GP2Y0A41SK0F von Sharp kann Objekte mit einer Entfernung von 3 bis 40 cm erkennen. (Bildquelle: Sharp Microelectronics)

Weil die Entfernung zum Objekt jedoch auf der Menge der reflektierten IR-Energie basiert, schwankt die Genauigkeit dieses IR-Sensortyps in Abhängigkeit von Variablen wie dem Reflexionsvermögen des Objekts und der Intensität des Umgebungslichts.

Eine weitere Möglichkeit für das Messen der Entfernung eines Objekts mit Infrarotlicht besteht darin, den Weg der Photonen vom Infrarotsender des Sensors zum Objekt und zurück zum Sensor nach der Reflexion zeitlich zu steuern. Bei Näherungsmessungssensoren dieser Ausführung werden die ToF-Eigenschaften des Ultraschallsensors mit der relativen Unbeeinflussbarkeit der Photonengeschwindigkeit kombiniert. Diese unterliegt nicht den Einflüssen von Luftbewegung, Umgebungslicht oder Reflexionsvermögen.

Bis vor Kurzem war es schwierig, den Flug von Photonen auf ihrem Weg über kleine Entfernungen zeitlich zu steuern, weil sich Licht mit 299.792.458 Metern pro Sekunde ausbreitet. Deshalb ist für ToF-Sensoren ein sehr genaues Timing im Sub-Nanosekunden-Bereich nötig, um Entfernungen von wenigen Zentimetern oder gar Millimetern zu erfassen.

Dank der Videospielbranche sind die Kosten für ToF-Sensortechnologie jedoch enorm gesunken. Das bislang bekannteste Beispiel für den Einsatz von ToF-Sensoren dürfte der Kinect-Controller von Microsoft® sein (Abbildung 4). Die erste Generation des Microsoft Kinect wurde Ende 2010 als Peripheriegerät für die Xbox 360 von Microsoft eingeführt. Dieser Controller erfreute sich bei Roboterbauern großer Beliebtheit, weil er mithilfe der ToF-Distanzmessung dreidimensionale Karten von der unmittelbaren Umgebung des Roboters erstellen konnte.

Bild vom Kinect-Controller für die Xbox 360 von Microsoft

Abbildung 4: Der Kinect-Controller für die Spielekonsole Xbox 360 von Microsoft nutzt die ToF-Entfernungsmessung, um eine dreidimensionale Karte von seiner Umgebung zu erstellen. (Bildquelle: Wikipedia)

Die Sensortechnologie des Kinect-Controllers wurde miniaturisiert und vereinfacht, um praxistaugliche Sensoren für die Abstandsmessung zu entwickeln, die sich für viele eingebettete Anwendungen eignen.

VCSELs und SPADs

STMicroelectronics hat beispielsweise eine mehrere Generationen umfassende Reihe mit ToF-Miniatursensoren für die Abstandsmessung. Diese Sensoren basieren auf äußerst hochentwickelten Grundlagentechnologien wie oberflächenemittierenden Lasern mit vertikaler Kavität (VCSEL: Vertical-Cavity Surface-Emitting Laser) und Arrays mit Einzelphotonen-Avalanche-Fotodioden (SPAD: Single Photon Avalanche Photodiode).

Drei der Sensoren in dieser ToF-Sensorreihe sind der VL53L0CX, der VL53L1CX und der VL6180X. Alle drei Sensoren messen zwar Abstände, haben aber dennoch unterschiedliche Fähigkeiten.

Der ToF-Sensor VL6180X der ersten Generation hat einen Bereichsmodus und misst Entfernungen von wenigen Millimetern bis zu 10 Zentimetern (Abbildung 5). Seine Abmessungen betragen 4,8 x 2,8 x 1,0 mm, und er hat ein Sichtfeld von 42 Grad. Zudem verfügt er über einen integrierten Umgebungslichtsensor, mit dem Änderungen der Umgebungsbeleuchtung kompensiert werden können.

Bild vom VL6180X-Sensor der ersten Generation von STMicroelectronics

Abbildung 5: Der VL6180X-Sensor der ersten Generation von STMicroelectronics hat einen maximalen Messbereich von 100 Millimetern. (Bildquelle: STMicroelectronics)

Der ToF-Sensor VL53L0CX der zweiten Generation hat einen Indoor-Bereich von 50 bis 1200 mm, wenn er gegen ein weißes Ziel arbeitet (Abbildung 6). Seine Abmessungen betragen 4,4 x 2,4 x 1,0 mm, und er hat ein Sichtfeld von 25 Grad. Bei Verwendung im Freien sinkt der maximale Bereich aufgrund des Umgebungslichts auf 600 bis 800 mm.

Bild vom VL53L0CX-Sensor der zweiten Generation von STMicroelectronics

Abbildung 6: Der VL53L0CX-Sensor der zweiten Generation von STMicroelectronics hat einen maximalen Messbereich von 1200 Millimetern. (Bildquelle: STMicroelectronics)

Der ToF-Sensor VL53L1CX der dritten Generation hat drei Abstandsmodi (Abbildung 7). Der Maximalabstand im Nah-, Mittel- und Langbereich beträgt bei einem Weißziel ohne Umgebungslicht 1360, 2900 bzw. 3600 mm. Bei starkem Umgebungslicht beträgt der Maximalabstand im Nah-, Mittel- und Kurzbereichsmodus 1350, 760 bzw. 730 mm. Entgegen der Logik hat der Kurzbereichsmodus bei starkem Umgebungslicht die längste Messreichweite.

Die Abmessungen des VL53L1CX betragen 4,9 x 2,5 x 1,56 mm, und er hat ein maximales Sichtfeld von 27 Grad. (Das Sichtfeld dieses Sensors ist programmierbar und kann, wie nachstehend erläutert, enger ausgelegt werden.)

Bild vom VL53L1CX-Sensor der dritten Generation von STMicroelectronics

Abbildung 7: Der VL53L1CX-Sensor der dritten Generation von STMicroelectronics hat einen maximalen Messbereich von knapp 4 Metern. (Bildquelle: STMicroelectronics)

Alle drei dieser ToF-Sensoren melden Entfernungsmessungen mit einer Auflösung von 1 mm über eine digitale I2C-Schnittstelle, die auch als Steueranschluss der Sensoren dient, an einen Host-Prozessor. Weil diese Sensoren alle eine I2C-Schnittstelle nutzen, lassen sie sich extrem einfach mit einem Host-Prozessor verbinden (Abbildung 8).

Diagramm vom VL53L1CX-Sensor der dritten Generation von STMicroelectronics

Abbildung 8: Wie frühere Sensoren der Baureihe stellt der VL53L1CX -Sensor der dritten Generation von STMicroelectronics unter Verwendung einer einfachen I2C-Schnittstelle eine Verbindung zum Host-Prozessor her. (Bildquelle: STMicroelectronics)

Beachten Sie die sehr spezifische Bypassing-Vorgabe für die AVDDVCSEL- und AVDD-Stromversorgungsleitungen. Die 100-Nanofarad- und 4,7-Mikrofarad-Bypass-Kondensatoren müssen so nahe wie möglich am Sensor platziert werden, um zu verhindern, dass Unsauberkeiten in der Spannungsversorgung bis zum Sensor vordringen und die Genauigkeit beeinträchtigen.

Diese ToF-Sensoren sind im Wesentlichen alle eindimensional. Sie melden die Nähe von Objekten in ihrem jeweiligen Sichtfeld. Befinden sich mehrere Objekte im Sichtfeld, melden diese Sensoren die Entfernung zum nächstgelegenen Objekt. Ein einzelner Sensor kann die Richtung einer Einhand-Geste nicht erkennen; die Erkennung von vier einfachen Gesten ist jedoch möglich:

  1. einfaches Tippen (Hand bewegt sich nach unten, um den Sensor „anzutippen“)
  2. doppeltes Tippen
  3. einfaches Wischen (Hand bewegt sich durch das Sichtfeld des Sensors)
  4. doppeltes Wischen

Es ist möglich, Gesten- und Bewegungsinformationen von einem dieser ToF-Sensoren zu erhalten. Dazu müssen ein, zwei oder mehr Sensoren verwendet werden, um Gesten und Bewegungen in mehreren Dimensionen zu erfassen. Mit gekoppelten ToF-Sensoren können auch Handbewegungen von links nach rechts und umgekehrt erkannt werden.

Darüber hinaus ist es möglich, vom Näherungssensor VL53L1CX der dritten Generation weitere Informationen zu erhalten, indem man sein Sichtfeld selektiv verengt. Dazu schaltet man mithilfe von Befehlen, die über die I2C-Schnittstelle an den Sensor geschickt werden, einzelne SPADs im Array des Sensors ab. Der SPAD-Array des Näherungssensors VL53L1CX besteht aus 256 Fotodioden in einem 16-x-16-Array. Jeder quadratische oder rechteckige Teil des Arrays kann durch Softwarebefehle aktiviert werden, die die beiden Ecken eines Kästchens angeben, das die zu aktivierenden SPADs im Array umgibt. Durch die Reduzierung der Anzahl aktiver Elemente wird das Sichtfeld des Sensors reduziert und damit der vom Sensor erfasste Bereich verengt. Die einzige Vorgabe lautet, dass mindestens 16 SPADs als Fotodioden-Array mit 4 x 4 Dioden aktiv sein müssen. Größere Arrays sind aber zulässig.

Entwickeln mit ToF-Sensoren

Für den schnellen Einstieg in ein Entwicklungsprojekt befindet sich im Lieferumfang des Näherungssensors VL53L1CX ein Evaluierungskit: das P-NUCLEO-53L1A1. Es umfasst die Evaluierungskarte STM32F401RE Nucleo, die auf dem Mikrocontroller STM32 von STMicroelectronics und der Erweiterungskarte X-NUCLEO-53L1A1 basiert. Diese befindet sich auf der Mikrocontrollerkarte und akzeptiert zwei Breakout-Karten des Typs VL53L1X (die auch im Kit inbegriffen sind) (Abbildung 9).

Bild des Evaluierungskits P-NUCLEO-53L1A1 von STMicroelectronics

Abbildung 9: Die im Lieferumfang des Evaluierungskits P-NUCLEO-53L1A1 von STMicroelectronics inbegriffene Breakout-Karte beinhaltet einen ToF-Näherungssensor des Typs V53L1X, der direkt auf der Karte angebracht ist. Die Karte akzeptiert zwei weitere V53L1X-Sensoren auf ansteckbaren Breakout-Karten. (Bildquelle: STMicroelectronics)

Zum schnellen Einstieg in das Entwickeln enthält das Evaluierungskit P-NUCLEO-53L1A1 auch Systemsoftware und Quellcodebeispiele. Für sein Softwareentwicklungspaket STM32Cube bietet STMicroelectronics außerdem TOF-Erweiterungsmodule für die Entfernungsmessung und Gestenerkennung an. Diese Module sind spezifisch für die einzelnen Sensoren und können bei STMicroelectronics kostenlos heruntergeladen werden.

Weil sie relativ klein sind, passen die ToF-Sensoren von STMicroelectronics in nahezu alles, was ein Entwickler so planen könnte. Hier einige Beispiele zur Anregung der Vorstellungskraft:

  • allgemeine Näherungssensoren für Roboter
  • berührungslose Papierhandtuch- und Seifenspender
  • berührungslose Spülungen für Toilettenbecken und Urinale
  • berührungslose Waschbeckenarmaturen
  • Sensoren für Saugroboter, damit diese der Wand folgen und Gegenständen ausweichen
  • kostengünstige Benutzerpräsenzmelder für Laptops und Monitore
  • einfache Präsenz- und Gestenerkennung für Verkaufskioske
  • physische Bestandsverwaltung bei Verkaufsautomaten
  • Münzzählung bei Verkaufsautomaten
  • intelligente Regale in kassiererlosen Geschäften, die den Warenbestand automatisch verwalten
  • Bodennäherungserkennung bei Drohnen
  • Deckennäherungserkennung bei Indoor-Drohnen

Anders als bei Näherungssensoren, die auf zweidimensionalen ToF-Sensoren oder Stereokameras und neuronalen Netzwerken basieren, sind die Kosten bei diesen integrierten ToF-Näherungssensoren von STMicroelectronics relativ gering. Dadurch können sie in eine Vielzahl von Endprodukten integriert werden, die sich über eine breite Preisspanne hinweg verkaufen lassen.

Fazit

Für die Näherungserfassung stehen viele Technologien wie Optik und Ultraschall zur Verfügung. Und es gibt viele gute Lösungen, die auf diesen Technologien basieren. Eine der neuesten dieser Technologien zur Näherungserfassung ist jedoch die Laufzeitmessung oder ToF-Technologie. ToF steht für „Time of Flight“, zu Deutsch „Laufzeit“. Bei diesem Verfahren wird die Entfernung zum Ziel mithilfe der Laufzeit eines Photons vom Sensor zum Ziel und dann zurück zum Sensor gemessen.

Mit dem Aufkommen integrierter Sensoren, die Infrarotsender und -empfänger sowie die erforderlichen Schaltkreise für das Subnanosekunden-Timing der Photonenlaufzeiten beinhalten, wurde der Einsatz dieser Technologie erschwinglich. Extra dafür ausgelegte Entwicklungskits ermöglichen das Experimentieren und eine schnellere Prototypenentwicklung.

Haftungsausschluss: Die Meinungen, Überzeugungen und Standpunkte der verschiedenen Autoren und/oder Forumsteilnehmer dieser Website spiegeln nicht notwendigerweise die Meinungen, Überzeugungen und Standpunkte der Digi-Key Electronics oder offiziellen Politik der Digi-Key Electronics wider.

Über den Autor

Steve Leibson

Steve Leibson war Systemingenieur für HP und Cadnetix, der Chefredakteur für EDN und Microprocessor Report, ein Tech-Blogger für Xilinx und Cadence (u.a.) und er diente als Technologieexperte für zwei Folgen von „The Next Wave with Leonard Nimoy“. Er hilft Entwicklern seit 33 Jahren, bessere, schnellere und zuverlässigere Systeme zu entwickeln.

Über den Verlag

Nordamerikanische Fachredakteure von Digi-Key