Schnelle Entwicklung optischer Anwendungen zur 3D-Entfernungsmessung per Laufzeitmessung

Die optische Laufzeitmessung (ToF) spielt eine grundlegende Rolle in verschiedenen Anwendungen, die von der industriellen Sensorik bis zu gestenbasierten Benutzeroberflächen reichen. Mit der Verfügbarkeit von präzisen Highspeed-Multipixel-ToF-Sensoren können Entwickler anspruchsvollere dreidimensionale (3D) Erfassungsalgorithmen implementieren, die in diesen Anwendungen benötigt werden. Die Entwicklungszeit wird jedoch durch die Komplexität des optischen Multipixel-Subsystems verlangsamt.

In diesem Artikel werden die Grundprinzipien der Laufzeitmessung erörtert. Anschließend wird ein optisches ToF-Evaluierungskit von Broadcom vorgestellt, das es Entwicklern ermöglicht, schnell Prototypen für präzise Anwendungen zur 1D- und 3D-Entfernungsmessung zu erstellen sowie kundenspezifische optische Lösungen zur Laufzeitmessung schnell zu implementieren.

Die Grundlagen der optischen Laufzeitmessung

Die optische Laufzeitmessung wird zur Ermittlung genauer Entfernungen in verschiedenen Anwendungen eingesetzt und ermöglicht Messungen auf der Grundlage der Zeit, die das Licht für den Weg durch die Luft benötigt. Die spezifischen Berechnungen, die zur Durchführung dieser Messungen verwendet werden, beruhen im Allgemeinen auf zwei verschiedenen Ansätzen - direkte und indirekte Laufzeitmessung. Bei der direkten Laufzeitmessung, die auch als Impulsentfernungsmessung bezeichnet wird, misst ein Gerät die Zeit zwischen dem Senden und dem Empfang eines bestimmten Lichtimpulses durch einen ToF-Sensor unter Verwendung von Gleichung 1:

 Gleichung 1

Dabei gilt:

c₀ = Lichtgeschwindigkeit im Vakuum

∆T = Verstrichene Zeit zwischen Senden und Empfangen

Trotz des einfachen Konzepts ist die Durchführung genauer Messungen mit diesem Ansatz mit einer Reihe von Herausforderungen verbunden, darunter die Notwendigkeit ausreichend leistungsfähiger Sender und Empfänger, die Verbesserung des Signal-Rausch-Verhältnisses und die präzise Erkennung von Impulsflanken.

Im Gegensatz dazu verwenden indirekte Methoden der Laufzeitmessung eine modulierte kontinuierliche Welle und messen die Phasendifferenz zwischen gesendeten und empfangenen Signalen gemäß Gleichung 2:

 Gleichung 2

Dabei gilt:

c₀ = Lichtgeschwindigkeit im Vakuum

f_mod = Modulationsfrequenz des Lasers

∆φ = ermittelte Phasendifferenz

Der indirekte Ansatz zur Laufzeitmessung reduziert nicht nur die Leistungsanforderungen an Sender und Empfänger, sondern auch die Anforderungen an die Impulsformung, was die Komplexität des Designs für die Durchführung von 3D-Entfernungsmessungen und Bewegungserkennung verringert.

Sowohl die direkte als auch die indirekte Methode erfordern ein sorgfältiges Design des optischen Frontends und eine präzise Steuerung der Sender- und Empfängersignale. Seit Jahren können Entwickler die Vorteile integrierter optischer ToF-Sensoren nutzen, die Sende- und Empfangssensoren in einem einzigen Gehäuse vereinen. Bei früheren Generationen dieser Geräte mussten die Entwickler in der Regel eine Kombination von Leistungs- oder Betriebseigenschaften wie Stromverbrauch, Reichweite, Genauigkeit und Geschwindigkeit in Kauf nehmen. Solche Kompromisse haben sich als Haupthindernis für eine wachsende Zahl von industriellen Sensoranwendungen erwiesen, die über mittlere Entfernungen von bis zu 10 Metern (m) arbeiten müssen.

Fortschrittlichere indirekte ToF-Sensormodule wie das AFBR-S50MV85G von Broadcom wurden speziell entwickelt, um dem wachsenden Bedarf an schnellen und genauen Ergebnissen bei mittleren Entfernungen gerecht zu werden und gleichzeitig eine minimale Baugröße und Leistungsaufnahme zu gewährleisten. Basierend auf diesem Sensor bieten das Evaluierungskit AFBR-S50MV85G-EK von Broadcom und das dazugehörige Software Development Kit (SDK) eine Multipixel-ToF-Sensor-Entwicklungsplattform, die es Entwicklern ermöglicht, schnell 3D-ToF-Sensoranwendungen zu implementieren.

Wie ein integriertes Modul die Entfernungsmessung durch Laufzeitmessung vereinfacht

Das Modul AFBR-S50MV85G wurde für industrielle Sensoranwendungen entwickelt und bietet eine komplette optische ToF-Sensorlösung in einem einzigen Gehäuse. Zu den integrierten Komponenten gehören ein oberflächenemittierender Laser (VCSEL) für die Infrarotbeleuchtung mit 850 Nanometer (nm) Wellenlänge, eine hexagonale 32-Pixel-Sensormatrix, integrierte Linsen für die VCSEL- und Sensoroptik sowie ein anwendungsspezifischer integrierter Schaltkreis (ASIC).

Der Sender, der in einer festen Ausrichtung zur Erfassungsmatrix positioniert ist, beleuchtet ein Zielobjekt und veranlasst eine bestimmte Anzahl von Pixeln in der Erfassungsmatrix das reflektierte IR-Signal zu erfassen. Im Grundbetrieb ermöglicht das Modul dank der eingebauten Fremdlichtunterdrückung eine genaue Entfernungsmessung von weißen, schwarzen, farbigen, metallischen oder retroreflektierenden Oberflächen - sogar bei direktem Sonnenlicht.

Wenn der Abstand zu einem Objekt abnimmt, ermöglicht der automatische Ausgleich von Parallaxenfehlern Messungen mit praktisch keiner unteren Entfernungsgrenze. Gleichzeitig ermöglicht die Kombination aus IR-Beleuchtung und Sensormatrix die Verfügbarkeit zusätzlicher Informationen über das Objekt, einschließlich seiner Bewegung, Geschwindigkeit, Neigungswinkel oder seitlichen Ausrichtung. So kann das Modul Daten liefern, die zur Bestimmung von Richtung und Geschwindigkeit eines vorbeifahrenden oder sich nähernden Zielobjekts erforderlich sind (Abbildung 1).

Abbildung 1: Mit den Daten, die von der 8x4-Pixel-Sensormatrix des Moduls AFBR-S50MV85G erfasst werden, können Entwickler 3D-Anwendungen implementieren, die die Bewegungseigenschaften von Objekten messen können. (Bildquelle: Broadcom)

Der integrierte ASIC des Moduls steuert den präzisen Betrieb des VCSEL und der Sensormatrix und stellt alle Schaltungen bereit, die für die Ansteuerung des VCSEL, die Erfassung analoger Signale von der Sensormatrix und die digitale Signalaufbereitung erforderlich sind (Abbildung 2).

Abbildung 2: Ein in das Modul AFBR-S50MV85G integrierter ASIC enthält alle Schaltungen, die zur Ansteuerung der VCSEL-Lichtquelle des Moduls, zur Erfassung der von der Sensormatrix empfangenen Signale und zur Erzeugung digitaler Daten für die Übertragung über einen SPI-Bus erforderlich sind. (Bildquelle: Broadcom)

Die integrierte Versorgungsschaltung des ASICs ermöglicht den Betrieb des Moduls mit einer einzigen 5-Volt-Versorgung, während der integrierte, werkseitig kalibrierte und temperaturkompensierte RC-Oszillator und die digitale Phasenregelschleife (PLL) alle erforderlichen Taktsignale liefern. Dank dieser Integration können Entwickler das Modul mit einer Mikrocontroller-Einheit (MCU) und einigen zusätzlichen externen Komponenten einfach in ihre Designs integrieren. Die Schnittstelle zur MCU erfordert nur einen GPIO-Pin (General Purpose Input/Output) für ein Datenbereitschaftssignal vom Modul sowie eine Verbindung über die digitale SPI-Schnittstelle (Serial Peripheral Interface) des Moduls (Abbildung 3).

Abbildung 3: Das Modul AFBR-S50MV85G von Broadcom benötigt nur eine MCU und einige zusätzliche Komponenten für die Implementierung eines kompletten ToF-Sensorsystems. (Bildquelle: Broadcom)

Ergänzend zu diesem einfachen Hardware-Design wird die zugehörige Software-Funktionalität, die zur Implementierung der Entfernungsmessung benötigt wird, in der ToF-Treiber-Software von Broadcom bereitgestellt. Während das Modul die optische Datenerfassung für Entfernungsmessungsanwendungen übernimmt, führt die ToF-Treibersoftware von Broadcom, die im vom Unternehmen bereitgestellten AFBR-S50 SDK enthalten ist, alle Schritte der Hardwarekonfiguration, Kalibrierung und Messung durch. Während der Messung extrahiert die Treibersoftware sowohl die Abstands- als auch die Amplitudenwerte der Pixel.

Schnelle Entwicklung einer Anwendung zur Entfernungsmessung

In Kombination mit dem AFBR-S50 SDK bietet das Evaluierungskit AFBR-S50MV85G-EK von Broadcom eine umfassende Plattform für das schnelle Prototyping und die Entwicklung von Entfernungsmessanwendungen. Das Kit enthält eine Adapterplatine mit dem Modul AFBR-S50MV85G, das Evaluierungsboard FRDM-KL46Z von NXP, die auf einer Arm-Cortex-M0+-MCU basiert, und ein Mini-USB-Kabel zum Anschluss des Evaluierungsboards an einen Laptop oder ein anderes Embedded-System (Abbildung 4).

Abbildung 4: Das Evaluierungskit AFBR-S50MV85G-EK von Broadcom und die zugehörige Software bieten eine vollständige Plattform für die Evaluierung und das Prototyping von Anwendungen zur Entfernungsmessung per Laufzeitmessung (ToF). (Bildquelle: Broadcom)

Die Durchführung von ToF-Entfernungsmessungen mit dem Evaluierungskit erfordert für den Start nur wenige Schritte. Nach dem Herunterladen des AFBR-S50 SDK führt ein Setup-Assistent den Entwickler durch eine schnelle Installationsprozedur. Nachdem der Entwickler die im SDK-Paket enthaltene Softwareanwendung AFBR-S50 Explorer von Broadcom gestartet hat, stellt die Software über die USB-Schnittstelle eine Verbindung zum Evaluierungsboard AFBR-S50 her, empfängt die Messdaten über die auf der MCU des NXP-Boards laufende Treibersoftware und ermöglicht dem Benutzer die Anzeige der Ergebnisse in einem 1D- oder 3D-Diagramm (Abbildung 5).

Abbildung 5: Die AFBR-S50 Explorer Software vereinfacht die Auswertung von Laufzeitmessungen durch 3D-Diagramme, die die empfangene Beleuchtungsamplitude für jedes Pixel in der ToF-Sensormatrix anzeigen. (Bildquelle: Broadcom)

Wie in Abbildung 5 dargestellt, werden in der 3D-Darstellung die Messwerte aller Pixel angezeigt. Die Software bietet jedoch eine alternative Ansicht, in der nur die Pixel angezeigt werden, die für eine Messung in Frage kommen. In dieser alternativen Ansicht werden Pixel, die die definierten Kriterien nicht erfüllen, aus dem Diagramm entfernt (Abbildung 6).

Abbildung 6: Mit der AFBR-S50 Explorer Software von Broadcom können Entwickler optimierte 3D-Messplots anzeigen, die Pixel ausschließen, die nicht den vordefinierten Kriterien entsprechen. (Bildquelle: Broadcom)

Um die Messgenauigkeit und -leistung in verschiedenen Anwendungsszenarien wie Beleuchtung, Reflektivität und Oberflächentyp zu untersuchen, können Entwickler die Auswirkungen verschiedener Sensorkonfigurationen betrachten, z. B. die Verwendung von mehr Pixeln für erweiterte 3D-Anwendungen oder weniger Pixeln für 1D-Anwendungen, die eine präzisere Messung erfordern. Nachdem sie die Messmethoden in ihren Prototypen evaluiert haben, können Entwickler auf der Beispielsoftware aufbauen, die im AFBR-S50 SDK von Broadcom enthalten ist, um schnell kundenspezifische ToF-Sensoranwendungen zu implementieren.

Erstellung kundenspezifischer Softwareanwendungen mit ToF-Sensorik

Broadcom unterstützt ToF-Sensoranwendungen mit einer effizienten Architektur, die auf der AFBR-S50-Kernbibliothek basiert und sensorhardwarespezifischen Code, eine Anwendungsprogrammierschnittstelle (API) und Hardwareabstraktionsschichten (HAL) umfasst (Abbildung 7).

Abbildung 7: Innerhalb der ToF-Betriebsumgebung von Broadcom bietet die ToF-Treiber-API dem Benutzeranwendungscode Zugriff auf Kalibrierungs-, Mess- und Bewertungsfunktionen in der vorkompilierten ToF-Treiber-Kernbibliothek. (Bildquelle: Broadcom)

Als Teil des AFBR-S50-SDK-Pakets stellt Broadcom die Kernbibliothek als vorkompilierte ANSI-C-Bibliotheksdatei zur Verfügung, die alle für den Betrieb der AFBR-S50MV85G-Hardware erforderlichen Daten und Algorithmen enthält. Die Kernbibliothek läuft auf der MCU des Entfernungsmesssystems und bietet Funktionen wie Kalibrierung, Messung und Auswertung zur Durchführung von Entfernungsmessungen mit minimaler Verarbeitungslast oder Stromverbrauch. Da die Kernfunktionen der Bibliothek alle zugrundeliegenden Details behandeln, ist der grundlegende Messzyklus für den Entwickler einfach (Abbildung 8).

Abbildung 8: Die ToF-Software AFBR-S50 SDK minimiert die Arbeitslast des Prozessors durch Interrupts und Callbacks. (Bildquelle: Broadcom)

Zu Beginn eines jeden Messzyklus (ausgelöst durch einen periodischen Timer-Interrupt oder IRQ) leitet die MCU die Messung ein und kehrt sofort in den Ruhezustand zurück (oder setzt die Verarbeitung eines Anwendungscodes fort). Nach Abschluss der Messung verwendet das Modul AFBR-S50MV85G die angeschlossene GPIO-Leitung, um einen Interrupt zu signalisieren, der die MCU aufweckt, um ein Datenauslesen auf dem SPI-Bus zu initiieren, bevor es in seinen vorherigen Zustand zurückkehrt. Nachdem das Auslesen der Daten abgeschlossen ist (signalisiert durch einen „SPI-Done“-IRQ), führt die MCU einen Code zur Auswertung der erfassten ToF-Sensordaten aus.

Um zu verhindern, dass Messdaten verloren gehen, verhindert die Kernbibliothek den Beginn eines neuen Messzyklus, indem sie den Datenpuffer blockiert, bis die Auswerteroutine aufgerufen wird. Daher werden die Entwickler in der Regel einen doppelten Puffer für Rohdaten vorsehen, um eine zeitlich versetzte Ausführung von Mess- und Auswertungsaufgaben zu ermöglichen.

Für die Entwickler von Anwendungssoftware schirmen die Routinen der Kernbibliothek die Details der Kalibrierung, Messung und Auswertung ab. Entwickler können das Evaluierungskit und die AFBR-S50-Explorer-Anwendung als vollständige Prototyping-Plattform verwenden, um Messdaten an High-Level-Software-Anwendungscode zu liefern.

Für Entwickler, die eigene Anwendungssoftware implementieren müssen, kombiniert das AFBR-S50-SDK-Paket die vorkompilierten Kernbibliotheksmodule mit mehreren Softwarebeispielen. Entwickler können daher schnell ihre eigenen ToF-Sensoranwendungen erstellen, indem sie auf den im SDK enthaltenen Beispielanwendungen aufbauen. Entwickler können in ihrem anwendungsspezifischen Softwarecode auf die AFBR-S50MV85G-Hardware und die Funktionen der AFBR-S50-Kernbibliothek zugreifen, indem sie Funktionen in der AFBR-S50-SDK-API aufrufen und ihre eigenen Funktionen für die verschiedenen von der Kernbibliothek unterstützten Rückrufe angeben (siehe Abbildung 7).

Broadcom stellt eine umfangreiche Dokumentation zur API und Beispielsoftware zur Verfügung, die es Entwicklern ermöglicht, die Softwarebeispiele schnell an ihre Bedürfnisse anzupassen oder von Grund auf neu zu beginnen. Der grundlegende Mess- und Auswertungszyklus ist in der Tat sehr einfach, da die benutzerdefinierten Funktionen und API-Aufrufe einfach an den Messzyklus angepasst werden (siehe Abbildung 8). So umfasst ein Messzyklus, wie bereits erwähnt, drei Phasen: Integration des ToF-Geräts, Auslesen der Daten und Auswertung. Die wichtigsten API-Aufrufe der Bibliothek, die für die Einleitung dieser drei Phasen erforderlich sind, umfassen:

• Argus_TriggerMeasurement() - löst asynchron eine einzelne Messung aus
• Argus_GetStatus() - gibt bei erfolgreichem Abschluss der Messung STATUS_OK zurück
• Argus_EvaluateData() - wertet nützliche Informationen aus den Rohmessdaten aus

Broadcom demonstriert diese grundlegende Messschleife in einer Beispielanwendung, die in der SDK-Distribution enthalten ist, wie in Listing 1 gezeigt.

Kopieren
int main(void)
{
   status_t status = STATUS_OK;
   
   /* Initialize the platform hardware including the required peripherals
   * for the API. */
   hardware_init();
   
   /* The API module handle that contains all data definitions that is
   * required within the API module for the corresponding hardware device.
   * Every call to an API function requires the passing of a pointer to this
   * data structure. */
   argus_hnd_t * hnd = Argus_CreateHandle();
   handle_error(hnd ? STATUS_OK : ERROR_FAIL, "Argus_CreateHandle failed!");
   
   /* Initialize the API with default values.
   * This implicitly calls the initialization functions
   * of the underlying API modules.
   *
   * The second parameter is stored and passed to all function calls
   * to the S2PI module. This piece of information can be utilized in
   * order to determine the addressed SPI slave and enabled the usage
   * of multiple devices on a single SPI peripheral. */
   
   status = Argus_Init(hnd, SPI_SLAVE);
   handle_error(status, "Argus_Init failed!");
   
   /* Print some information about current API and connected device. */
   uint32_t value = Argus_GetAPIVersion();
   uint8_t a = (value >> 24) & 0xFFU;
   uint8_t b = (value >> 16) & 0xFFU;
   uint8_t c = value & 0xFFFFU;
   uint32_t id = Argus_GetChipID(hnd);
   argus_module_version_t mv = Argus_GetModuleVersion(hnd);
   print("\n##### AFBR-S50 API - Simple Example ##############\n"
   " API Version: v%d.%d.%d\n"
   " Chip ID: %d\n"
   " Module: %s\n"
   "##################################################\n",
   a, b, c, id,
   mv == AFBR_S50MV85G_V1 ? "AFBR-S50MV85G (v1)" :
   mv == AFBR_S50MV85G_V2 ? "AFBR-S50MV85G (v2)" :
   mv == AFBR_S50MV85G_V3 ? "AFBR-S50MV85G (v3)" :
   mv == AFBR_S50LV85D_V1 ? "AFBR-S50LV85D (v1)" :
   mv == AFBR_S50MV68B_V1 ? "AFBR-S50MV68B (v1)" :
   mv == AFBR_S50MV85I_V1 ? "AFBR-S50MV85I (v1)" :
   mv == AFBR_S50SV85K_V1 ? "AFBR-S50SV85K (v1)" :
   "unknown");
      
/* Adjust some configuration parameters by invoking the dedicated API methods. */
   status = Argus_SetConfigurationFrameTime( hnd, 100000 ); // 0.1 second = 10 Hz
   handle_error(status, "Argus_SetConfigurationFrameTime failed!");
   
   /* The program loop ... */
   for (;;)
   {
      myData = 0;
      /* Triggers a single measurement.
      * Note that due to the laser safety algorithms, the method might refuse
      * to restart a measurement when the appropriate time has not been elapsed
      * right now. The function returns with status #STATUS_ARGUS_POWERLIMIT and
      * the function must be called again later. Use the frame time configuration
      * in order to adjust the timing between two measurement frames. */
      Argus_TriggerMeasurement(hnd, measurement_ready_callback);
      handle_error(status, "Argus_StartMeasurementTimer failed!");
      STATUS_ARGUS_POWERLIMIT)
      {
         /* Not ready (due to laser safety) to restart the measurement yet.
         * Come back later. */
         continue;
      }
      else
      {
         /* Wait until measurement data is ready. */
      do
         {
            status = Argus_GetStatus(hnd);
         }
         while (status == STATUS_BUSY);
         handle_error(status, "Waiting for measurement data ready (Argus_GetStatus) failed!");
         /* The measurement data structure. */
         argus_results_t res;
         
         /* Evaluate the raw measurement results. */
         status = Argus_EvaluateData(hnd, &res, (void*) myData);
         handle_error(status, "Argus_EvaluateData failed!");
         
         /* Use the obtain results, e.g. print via UART. */
         print_results(&res);
         }
      }
}

Listing 1: Beispielcode in der AFBR-S50-SDK-Distribution von Broadcom demonstriert das grundlegende Designmuster für die Erfassung und Auswertung von ToF-Daten vom AFBR-S50MV85G-Modul. (Code-Quelle: Broadcom)

Wie im Listing dargestellt, bilden die drei bereits erwähnten API-Funktionsaufrufe das Rückgrat der Ausführung eines Messzyklus. Durch das Studium der API-Dokumentation und anderer Beispielanwendungen im SDK können Entwickler schnell komplexe 3D-Anwendungen implementieren, indem sie die Fähigkeit des Moduls nutzen, die erforderlichen Daten zur Bestimmung erweiterter Merkmale wie Geschwindigkeit, Richtung und Neigungswinkel eines Zielobjekts bereitzustellen.

Fazit

Optische ToF-Sensoren haben Anwendungen in verschiedenen Segmenten ermöglicht, die eine präzise Entfernungsmessung erfordern, aber Einschränkungen in Bezug auf Messbereich, Genauigkeit oder Zuverlässigkeit haben die Ausweitung auf Anwendungen wie industrielle Sensorsysteme verhindert, die Geräte mit geringem Stromverbrauch benötigen, die genaue Ergebnisse bei größeren Entfernungen liefern können. Ein integriertes optisches ToF-Subsystem von Broadcom erfüllt diese neuen Anforderungen für Sensoranwendungen der nächsten Generation. Mit einem auf dieser Komponente basierenden Evaluierungskit können Entwickler schnell Systeme für Präzisionsmessungen in 1D-Entfernungsanwendungen und für komplexe Objektbewegungsverfolgung in 3D-Anwendungen implementieren.