Schnelle Implementierung von Biometrie, Biofeedback und Situationswahrnehmung für immersive Umgebungen

Die Schaffung immersiver Umgebungen in der virtuellen Realität (VR), der gemischten Realität (MR), der ergänzten Realität (AR) und der erweiterten Realität (XR) für das Metaversum ist eine komplexe Aufgabe. Bei der Erzeugung dieser Umgebungen können Entwickler von der Verwendung biometrischer Daten profitieren, um die Reaktionen und den körperlichen Zustand der Benutzer zu verstehen, von Biofeedback, um mit dem Benutzer in Kontakt zu treten, und von Situationsanalysen, um die Umgebung zu verstehen. Die Biometrie kann mit einem hochsensiblen Pulsoximeter und einem Herzfrequenzsensor realisiert werden. Biofeedback kann über Audioinhalte oder über Haptik für berührungsbasierte Interaktionen vermittelt werden. Und schließlich können dreidimensionale (3D) VCSEL-Sensoren (Vertical Cavity Side-Emitting Laser) mit einer Bildrate von 30 Bildern pro Sekunde (fps) die Umgebung kontinuierlich kartieren und die Situationswahrnehmung unterstützen.

Das Metaversum ist eine sich rasch entwickelnde Technologie. Entwickler können unter Druck gesetzt werden, die benötigte Reihe von stromsparenden Sensor- und Rückkopplungstechnologien auf der Basis von diskreten Lösungen schnell zu entwickeln und zu integrieren und gleichzeitig die Zeit- und Kostenvorgaben für die Entwicklung einzuhalten. Darüber hinaus sind viele Metaverse-Komponenten batteriebetrieben, so dass Lösungen mit geringem Stromverbrauch eine Notwendigkeit sind.

Um diese Herausforderungen zu meistern, können Entwickler integrierte Lösungen nutzen, die hochempfindliche Pulsoximeter und Herzfrequenzsensoren unterstützen, hocheffizientes Audio- und haptisches Feedback der Klasse D bieten und eine VCSEL-basierte 3D-ToF-Sensorlösung (ToF: Time of Flight, Laufzeitmessung) verwenden, die Objektpositionen und -größen mit hoher Granularität erkennen kann - selbst unter starken Umgebungslichtbedingungen.

Dieser Artikel gibt einen Überblick über die Funktionsweise von Pulsoximetern und Herzfrequenzsensoren, zeigt auf, wie Class-D-Verstärker ein hochwertiges Audio-Feedback mit sehr geringem Stromverbrauch liefern können, und stellt eine Reihe von stromsparenden ICs von Analog Devices für Biometrie, Biofeedback und Situationswahrnehmung sowie die dazugehörigen Evaluierungsboards vor.

Erfassung biometrischer Zustände

Ein Photoplethysmogramm (PPG) misst die Veränderungen des Blutvolumens auf mikrovaskulärer Ebene und wird häufig zur Implementierung eines Pulsoximeters und eines Herzfrequenzmessers verwendet. Ein PPG verwendet Laser, um die Haut zu beleuchten und die Veränderungen der Lichtabsorption (oder -reflexion) bei bestimmten Wellenlängen zu messen. Das resultierende PPG-Signal enthält Gleichstrom- (DC) und Wechselstromkomponenten (AC). Die konstante Reflektivität von Haut, Muskeln, Knochen und venösem Blut ergibt das Gleichstromsignal. Die Herzfrequenzpulsation des arteriellen Blutes ist die primäre Quelle des AC-Signals. In der systolischen (Pump-) Phase wird mehr Licht reflektiert als in der diastolischen (Entspannungs-) Phase (Abbildung 1).

Abbildung 1: Das PPG-Signal in der Pulsoximetrie enthält sowohl Gleich- als auch Wechselstromkomponenten, die mit Elementen wie der Gewebestruktur bzw. dem arteriellen Blutfluss zusammenhängen. (Bildquelle: Analog Devices)

Das Verhältnis zwischen dem pulsierenden (AC-Signal) und dem nicht pulsierenden (DC-Signal) Blutfluss in einem PPG-Signal ist der Perfusionsindex (PI). Durch die Verwendung von PIs bei verschiedenen Wellenlängen ist es möglich, den Grad der Sauerstoffsättigung des Blutes (S_pO₂) zu schätzen. Die Gestaltung des PPG-Systems zur Maximierung der PI-Verhältnisse erhöht die Genauigkeit der S_pO₂-Schätzungen. Die PI-Verhältnisse können durch ein verbessertes mechanisches Design und präzisere Sensorimplementierungen erhöht werden.

Für PPG-Systeme können transmissive und reflektierende Architekturen verwendet werden (Abbildung 2). Ein transmissives System wird an Körperstellen verwendet, die das Licht leicht durchdringen kann, wie Ohrläppchen und Fingerspitzen. Diese Konfigurationen können eine Erhöhung des PI um 40 bis 60 Dezibel (dB) bewirken. Bei einem reflektierenden PPG sind der Photodetektor und die LED nebeneinander angeordnet. Reflektierende PPGs können am Handgelenk, auf der Brust oder an anderen Stellen angebracht werden. Die Verwendung eines Reflexionsdesigns reduziert die PI-Verhältnisse und erfordert den Einsatz eines leistungsfähigeren analogen Frontends (AFE) am Sensor. Der Abstand ist auch wichtig, um eine Sättigung des AFE zu vermeiden. Neben den Überlegungen zur mechanischen und elektrischen Konstruktion kann auch die Entwicklung von Software zur korrekten Interpretation der PI-Signale eine große Herausforderung darstellen.

Abbildung 2: Eine einzelne IR-LED kann in einem einfachen Pulsoximeter und Herzfrequenzsensor verwendet werden, aber die Verwendung mehrerer LEDs kann ein hochwertigeres Ausgangssignal erzeugen. (Bildquelle: Analog Devices)

Eine zusätzliche Herausforderung bei der Entwicklung von PPG-Systemen ist die Notwendigkeit, die Bewegungen des Benutzers während der Messung zu berücksichtigen. Bewegung kann Druck verursachen, der die Weite der Arterien und Venen verändert, was ihre Interaktion mit dem Licht beeinträchtigt, was wiederum die PI-Signale verändert. Da sowohl die PPG-Signale als auch typische Bewegungsartefakte in ähnlichen Frequenzbereichen liegen, ist es nicht möglich, die Auswirkungen der Bewegung einfach herauszufiltern. Stattdessen kann ein Beschleunigungsmesser zur Messung von Bewegungen verwendet werden, um diese herauszufiltern.

Überwachung von S_pO₂ und Herzfrequenz

Für Entwickler, die eine S_PO₂- und Herzfrequenzüberwachung implementieren müssen, bietet Analog Devices das Referenzdesign MAXREFDES220# an, das einen Großteil der für eine schnelle Prototypisierung einer Lösung erforderlichen Komponenten enthält:

• Das MAX30101 ist ein integriertes Modul zur Pulsoximetrie und Herzfrequenzüberwachung. Dieses Modul umfasst interne LEDs, Fotodetektoren, optische Elemente, ein Hochleistungs-AFE und andere rauscharme Elektronik sowie Fremdlichtunterdrückung.
• Der biometrische Sensor-Hub MAX32664 ist für die Verwendung mit dem MAX30101 konzipiert. Er enthält Algorithmen zur Überwachung von S_PO₂ und Herzfrequenz und verfügt über eine I²C-Schnittstelle für die Kommunikation mit einer Host-Mikrocontrollereinheit (MCU). Die Algorithmen unterstützen auch die Integration eines Beschleunigungsmessers zur Bewegungskorrektur.
• Der dreiachsige Beschleunigungssensor ADXL362 verbraucht weniger als 2 Mikroampere (µA) bei einer Ausgangsdatenrate von 100 Hertz (Hz) und 270 Nanoampere (nA) im bewegungsgesteuerten Wake-up-Modus.

Klasse D für Audio-Feedback

Audio-Feedback kann eine Möglichkeit für wirkungsvolle Interaktionen mit den Nutzern bieten. Oder es kann die Qualität des Erlebnisses schmälern, wenn die Tonqualität schlecht ist. Die Mikrolautsprecher, die in typischen Wearable- und VR/MR/AR/XR-Umgebungen verwendet werden, können eine Herausforderung für eine effektive und effiziente Nutzung darstellen. Eine Möglichkeit, dieses Problem zu lösen, ist die Verwendung eines hocheffizienten, verstärkten intelligenten Verstärkers der Klasse D mit integriertem Aufwärtswandler und Spannungsskalierung für einen höheren Wirkungsgrad bei niedriger Ausgangsleistung. Die integrierte intelligente Verstärkungsfunktion kann sowohl den Schalldruckpegel (SPL) als auch die Basswiedergabe erhöhen, um einen satteren und realistischeren Klang zu erzielen.

Die Entwicklung einer intelligenten Verstärkung ist ein komplexer Prozess, aber es gibt Verstärker mit integrierten digitalen Signalprozessoren (DSPs), die automatisch eine intelligente Verstärkung implementieren und eine verbesserte Lautsprecherleistung bieten, einschließlich einer Strom-Spannungs-Erfassung (IV) zur Steuerung der Ausgangsleistung und zur Vermeidung von Lautsprecherschäden. Mit intelligenter Verstärkung können Mikrolautsprecher sicher höhere Schalldruckpegel und eine bessere Basswiedergabe liefern. Es gibt integrierte Lösungen, die den Schalldruck um 6 bis 8 dB erhöhen und die Basswiedergabe bis auf ein Viertel der Resonanzfrequenz erweitern (Abbildung 3).

Abbildung 3: Intelligente Verstärkung mit einem Design der Klasse DG kann sicher und effizient höhere Schalldruckpegel und eine erweiterte Basswiedergabe in Mikrolautsprechern unterstützen. (Bildquelle: Analog Devices)

Verstärker der Klasse D für Audio-Feedback

Der MAX98390CEWX+T ist ein hocheffizienter intelligenter Verstärker der Klasse D mit integriertem Aufwärtswandler und Dynamic Speaker Management (DSM) von Analog Devices für einen hervorragenden Klang, der hochwertiges und effizientes Audio-Feedback unterstützt. Dieser Verstärker verfügt über eine Spannungsskalierung für einen hohen Wirkungsgrad bei niedriger Ausgangsleistung. Darüber hinaus arbeitet der Aufwärtswandler mit Batteriespannungen von bis zu 2,65 Volt und hat einen Ausgang, der von 6,5 bis 10 Volt in 0,125-Volt-Schritten programmierbar ist. Der Aufwärtswandler verfügt über ein Hüllkurven-Tracking zur Anpassung der Ausgangsspannung für einen maximalen Wirkungsgrad sowie über einen Bypass-Modus für einen niedrigen Ruhestrombetrieb.

Dieser Verstärker kann bis zu 6,2 Watt an einen 4-Ohm-Lautsprecher mit nur 10 % Gesamtverzerrung plus Rauschen (THD+N) liefern. Er verfügt über einen integrierten IV-Sense zum Schutz des Lautsprechers vor Beschädigungen und unterstützt höhere Schalldruckpegel und eine tiefere Basswiedergabe.

Um die Entwicklung mit dem MAX98390C zu beschleunigen, bietet Analog Devices das Evaluierungskit MAX98390CEVSYS# an. Das Kit enthält das Entwicklungsboard MAX98390C, ein Audio-Interface-Board, ein 5-Volt-Netzteil, einen Mikrolautsprecher, ein USB-Kabel, die Software DSM Sound Studio und die Evaluierungssoftware für den MAX98390 (Abbildung 4). Die Software DSM Sound Studio verfügt über eine grafische Benutzeroberfläche (GUI), die DSM in einem einfachen dreistufigen Prozess implementiert. Sie enthält auch eine siebenminütige Demonstration der Auswirkungen der DSM-Software bei Verwendung des Mikrolautsprecher.

Abbildung 4: Das Kit MAX98390CEVSYS# enthält die gesamte Hardware und Software, die für die Entwicklung von Audio-Feedback-Systemen der Klasse D erforderlich ist. (Bildquelle: Analog Devices)

Haptik für taktile Rückmeldung

Entwickler von Systemen, die auf taktile Rückmeldung angewiesen sind, um den Benutzer anzusprechen, können den hocheffizienten Controller-Treiber MAX77501EWV+ für piezoelektrische Aktoren wenden. Er ist für die Ansteuerung von Piezoelementen mit bis zu 2 Mikrofarad (µF) optimiert und erzeugt eine einseitige haptische Wellenform von bis zu 110 Volt Spitze-Spitze (Vpk-pk) aus einer Versorgungsspannung von 2,8 bis 5,5 Volt. Er kann im Speicherwiedergabemodus mit voraufgezeichneten Wellenformen arbeiten oder von einer MCU gestreamte Echtzeitwellenformen verwenden. Mehrere Wellenformen können dynamisch dem On-Board-Speicher zugewiesen werden, der als FIFO-Puffer (First-in-First-out) für Echtzeit-Streaming dienen kann. Die integrierte serielle Peripherieschnittstelle (SPI) unterstützt den vollständigen Systemzugriff und die Systemsteuerung, einschließlich Fehlerberichte und Überwachung. Sie ermöglicht auch die Wiedergabe nach einer Startzeit von 600 Mikrosekunden (µs) nach dem Herunterfahren. Um eine hohe Effizienz und eine maximale Batterielebensdauer zu gewährleisten, verfügt dieser Controller-Treiber über eine Boost-Architektur mit ultraniedriger Leistungsaufnahme und einem Standby-Strom von 75 μA und einem Abschaltstrom von 1 μA.

Um die Möglichkeiten des Piezotreibers MAX77501 zu erforschen, können Entwickler das Evaluierungskit MAX77501EVKIT# verwenden, das vollständig bestückt und getestet ist. Das Kit ermöglicht eine einfache Evaluierung des MAX77501 und seiner Fähigkeit, ein großes haptisches Signal über einen keramischen Piezoaktor zu steuern. Das Kit enthält eine Windows-basierte GUI-Software, mit der alle Funktionen des MAX77501 erkundet werden können.

Laufzeitmessung (ToF) für die Situationswahrnehmung

Situationswahrnehmung kann ein wichtiger Aspekt von VR/MR/AR/XR-Umgebungen sein. Die Evaluierungsplattform AD-96TOF1-EBZ unterstützt diesen Aspekt, indem sie eine VCSEL-Lasersenderplatine und eine AFE-Empfängerplatine zur Entwicklung von ToF-Tiefenwahrnehmungsfunktionen enthält (Abbildung 5). Durch die Kombination dieser Evaluierungsplattform mit einem Prozessorboard aus dem 96Boards-Ökosystem oder der Raspberry-Pi-Familie erhalten Entwickler ein Basisdesign, das für die Entwicklung der Software und Algorithmen für anwendungsspezifische ToF-Implementierungen mit hoher 3D-Granularität verwendet werden kann. Das System kann Objekte auch bei starkem Umgebungslicht erkennen und vermessen und verfügt über mehrere Entfernungserkennungsmodi zur Optimierung der Leistung. Das mitgelieferte Software Development Kit (SDK) bietet OpenCV-, Python-, MATLAB-, Open3D- und RoS-Wrapper für mehr Flexibilität.

Abbildung 5: Mit der Testplattform AD-96TOF1-EBZ können leistungsstarke ToF-Systeme zur Situationserkennung entwickelt werden. (Bildquelle: Analog Devices)

Fazit

Die Schaffung immersiver und interaktiver Umgebungen für das Metaversum ist eine komplexe und zeitaufwändige Aufgabe. Um den Prozess zu beschleunigen, können Entwickler auf ein komplettes Sortiment kompakter und energieeffizienter Lösungen von Analog Devices zurückgreifen, darunter Entwicklungs- und Evaluierungsplattformen für biometrische Sensoren, Biofeedback- und Situationserkennungssysteme.

Empfohlene Lektüre

1. Verwendung hochpräziser digitaler Temperatursensoren in Wearables zur Gesundheitsüberwachung
2. Verwendung eines Biosensormoduls zur Entwicklung von Gesundheits- und Fitness-Wearables
3. SWaP-Optimierung in leistungsstarken HF-Signalketten