KI-Mikroprozessoren mittlerer Leistung für die Bildverarbeitung am Netzwerkrand

KI-Anwendungen am Netzwerkrand (Edge) nutzen Algorithmen der computerbasierten Bildverarbeitung, um Personen, Objekte oder Anomalien wie Defekte in Echtzeit zu erkennen. Die Verarbeitung von Bildern und Videos am Netzwerkrand erfordert in der Regel einen speziellen KI-Mikroprozessor (MPU) für die Bildverarbeitung (Vision), der mit Kameras kommunizieren und KI-Modelle ausführen kann und häufig über einen dedizierten KI-Beschleuniger verfügt.

Die Integration von KI-Funktionen zur Bildverarbeitung in ein einziges Gerät reduziert die Kosten und den Platzbedarf für separate Komponenten, wodurch hochmoderne Vision-KI-MPUs sich ideal für kompakte Embedded-Anwendungen eignen.

Die MPU RZ/V2N (Abbildung 1) von Renesas Electronics Corporation ist eine Vision-KI-MPU, die sich durch geringen Stromverbrauch, hohe KI-Inferenzleistung, vier Arm®-Cortex-®-A55-CPU-Kerne (1,8 GHz), einen Arm-Cortex-M33 (200 MHz) und zwei Kameraeingänge über MIPI-Verbindung auszeichnet.

Abbildung 1: Die MPU RZ/V2N von Renesas bietet Entwicklern neue Optionen für die Integration von Vision-KI in Edge-Anwendungen. (Bildquelle: Renesas Electronics Corporation)

Diese MPU von Renesas ist eine kostengünstige Lösung für Edge-Anwendungen, die moderate bis hohe KI-Fähigkeiten zu einem erschwinglichen Preis erfordern. Es ist Teil der RZ/V-Serie des Unternehmens, die eine breite Skalierbarkeit von intelligenten Büros bis hin zu Drohnen bieten soll (Abbildung 2).

Abbildung 2: Als Mittelklasseprodukt der RZ/V-Reihe eignet sich der RZ/V2N für Anwendungen wie mobile Roboter für den Heimgebrauch und Fahrerüberwachungssysteme. (Bildquelle: Renesas Electronics Corporation)

Anforderungen an einen KI-Mikroprozessor zur Bildverarbeitung

Edge-KI-Anwendungen laufen häufig auf eingebetteten Geräten, die batteriebetrieben sind oder mit geringen Energiereserven arbeiten. Daher müssen Vision-MPUs hohe Inferenzfähigkeiten bieten und gleichzeitig weniger Strom verbrauchen als herkömmliche Hochleistungsrechner.

Die ideale Vision-KI-MPU bietet ein ausgewogenes Verhältnis zwischen Performance, Energieeffizienz, Integration, einfacher Entwicklung und Sicherheit. Einige der wichtigsten Merkmale bei der Auswahl einer MPU sind:

• Inferenzleistung: Der RZ/V2N liefert mit seinem integrierten DRP-AI3-Beschleuniger bis zu 15 TOPS und eignet sich damit für Anwendungen im mittleren Leistungsbereich wie Smart-Kameras, industrielle Inspektion und Edge-Robotik. Während einige Hochleistungssysteme wie kollaborative Roboter und autonome Drohnen 80 bis 100 TOPS benötigen, funktionieren viele Edge-KI-Anwendungen je nach Komplexität mit 1 bis 15 TOPS einwandfrei. TOPS pro Watt (TOPS/W) definiert die Effizienz des Produkts, die angibt, wie viele Operationen pro Sekunde pro Watt ausgeführt werden können.

Obwohl TOPS einen grundlegenden Hinweis auf die Performance gibt, kann die tatsächliche Inferenzgeschwindigkeit durch den Einsatz eines dedizierten KI-Beschleunigers erheblich verbessert werden, der die Bildverarbeitungs-KI-Workloads, die auf intensiven Matrix- und Tensorberechnungen basieren, auslagert. Dadurch können Systeme schneller und effizienter arbeiten, mit weniger Taktzyklen und geringerem Stromverbrauch.

• Energiesparender Betrieb: Viele Edge-Geräte werden mit Batterien betrieben oder unterliegen strengen thermischen Beschränkungen. Für Edge-KI entwickelte Vision-MPUs verfügen häufig über eine dynamische Spannungs- und Frequenzskalierung (DVFS), die den Stromverbrauch entsprechend der Arbeitslast anpasst. In Kombination mit Techniken wie der Bereinigung neuronaler Netze, die die Modellgröße komprimiert und unnötige Berechnungen reduziert, trägt DVFS zu einem höheren TOPS/W-Verhältnis bei und verbessert so sowohl die Laufzeit als auch die Akkulaufzeit. Der DRP-AI3-Beschleuniger macht stromhungrige GPUs überflüssig und trägt so zu einer höheren TOPS/W-Leistung am Netzwerkrand bei.
• Bildverarbeitung auf dem Chip: Bildverarbeitende Mikroprozessoren mit optional integrierten Bildsignalprozessoren (ISPs) können routinemäßige Bildbereinigungsaufgaben wie Schwarzpegelkorrektur, Farbkorrektur, Zuschneiden und Schattierungskorrektur durchführen. In Sicherheits- oder Überwachungsanwendungen kann der ISP auch Frames vorfiltern. Beispielsweise kann das System in einem kontinuierlichen Videostream statische Bilder verwerfen und nur Bilder mit Bewegung oder Aktivität (z. B. Erkennung von Eindringlingen) an den KI-Prozessor senden, wodurch unnötige Schlussfolgerungen reduziert und Strom gespart werden.
• On-Chip-Speicher: Speicher ist ebenfalls ein wichtiger Faktor für Leistung und Effizienz. Durch die lokale Speicherung von Daten werden Latenzzeiten und Stromkosten für den Zugriff auf externen Speicher vermieden, die bei Echtzeit-KI-Inferenzen erheblich sein können. Mit 1,5 MB On-Chip-SRAM und Unterstützung für LPDDR4X-Speicher bietet der RZ/V2N ein ausgewogenes Verhältnis zwischen interner Verarbeitungsgeschwindigkeit und erweiterbaren Speicheroptionen.
• Beschleunigung der KI-Bereitstellung: KI-Toolkits und Evaluierungsboards mit vorprogrammierten Anwendungen und Schnittstellen können Entwicklern dabei helfen, schnell Prototypen zu erstellen und Vision-KI-Anwendungen bereitzustellen. Darüber hinaus sollte die MPU in der Lage sein, gängige KI-Modellformate zu unterstützen. Der RZ/V2N ist mit Standardmodellformaten wie ONNX und TensorFlow Lite kompatibel.
• Sicherheit: In Edge-Umgebungen kann jeder Sensor oder Endpunkt einen potenziellen Angriffsvektor darstellen. Daher ist es wichtig, dass Vision-MPUs integrierte Sicherheitsfunktionen wie sicheres Booten und verschlüsselte Datenpfade unterstützen. Der RZ/V2N verfügt über sichere Start- und Verschlüsselungsfunktionen auf Hardwareebene und nutzt Arm TrustZone zur Isolierung sicherer Vorgänge, wodurch sowohl die Modellintegrität als auch sensible Eingabedaten geschützt werden.

KI-designfreundliche Funktionen der MPU RZ/V2N

Der proprietäre KI-Beschleuniger von Renesas, der DRP-AI3 (Dynamically Reconfigurable Processor), ist mit 10 TOPS/W bewertet, kann jedoch durch fortschrittliche Bereinigung (Pruning), die die Größe der vom System zu verarbeitenden Modelle komprimiert, auf bis zu 15 TOPS/W gesteigert werden. Dadurch kann eine separate Grafikprozessoreinheit (GPU) oder ein feldprogrammierbares Gate-Array (FPGA) überflüssig werden.

Der RZ/V2N misst nur 15 mm² und ist damit eine gute Wahl für kompakte Geräte. Die Kombination aus einer Quad-Core-CPU, einem dedizierten KI-Beschleuniger und der Unterstützung für zwei Kameraeingänge in einem einzigen Gerät eröffnet Designern neue Möglichkeiten zur Integration von Bildverarbeitungs-KI in Anwendungen wie Smart-Kameras, Sicherheitsgeräte, Roboter und sogar Verbrauchergeräte.

Die MPU arbeitet mit geringem Stromverbrauch, wodurch die Wärmeentwicklung reduziert wird. Dadurch sind keine zusätzlichen Kühlsysteme und Lüfter erforderlich, was wiederum die Größe und Kosten der eingebetteten Systeme verringert. Mit der Möglichkeit, zwei Kameras aufzunehmen, ermöglicht es Anwendungen, Bilder aus zwei Blickwinkeln aufzunehmen und die räumliche Erkennung zu verbessern. Ein System kann mehrere Aufgaben gleichzeitig ausführen, beispielsweise die Zählung von Fahrzeugen auf einem Parkplatz und die Erkennung von Kennzeichen.

Die Architektur der RZ/V2N-MPU

Die MPU RZ/V2N bietet eine umfassende Palette an Merkmalen und Funktionen für die Entwicklung von Anwendungen für den mittleren KI-Markt, die eine hohe KI-Leistung zu einem erschwinglichen Preis erfordern (Abbildung 3).

Abbildung 3: Diagramm der RZ/V2N-Architektur. (Quelle: Renesas Electronics Corp.)

Einige der wichtigsten Merkmale sind:

• Zentraleinheit (CPU): Die Hybridarchitektur verfügt über den Quad-Cortex-A55 für 1,8 GHz, eine leistungsstarke CPU, und den Cortex-M33 für 200 MHz, einen stromsparenden Kern, der für Echtzeitsteuerung und sicherheitsrelevante Aufgaben entwickelt wurde.
• Interner gemeinsamer Speicher: 1,5 MB RAM für On-Chip-Speicher mit Fehlerkorrekturcode (ECC), der die Datenintegrität gewährleistet. ECC-Algorithmen erkennen und korrigieren Fehler in Daten, sowohl bei der Speicherung als auch bei der Übertragung. Der 1,5 MB große On-Chip-Speicher ermöglicht eine schnelle Ausführung von KI-Algorithmen, und der RZ/V2N verfügt außerdem über eine Schnittstelle für externen DDR-Speicher, der bei Bedarf hinzugefügt werden kann.
• KI-Beschleuniger: Die dedizierte KI-Engine DRP-A13 von Renesas ermöglicht eine schnelle KI-Inferenzverarbeitung, die den geringen Stromverbrauch und die Flexibilität bieten, die Endgeräte erfordern.
• Video und Grafik: Optionale Grafikprozessoreinheit (GPU) und ISP, die dabei helfen, Bilder zu verarbeiten und Grafiken effizienter zu rendern.
• Timer: Timer unterstützen Echtzeitoperationen, die für die Motorsteuerung und andere Automatisierungsanwendungen unerlässlich sind.
• Audio-Block: Ideal für Mehrkanal-Audioanwendungen wie intelligente Lautsprecher und Infotainmentsysteme.
• Schnittstellen: Zu den zahlreichen Schnittstellen, die an das Bildverarbeitungsmodul angeschlossen werden können, gehören Highspeed-Speicherschnittstellen und Peripheriekomponenten mit hoher Bandbreite.
• Analogblock: Ein 12-Bit-Analog/Digital-Wandler (ADC) macht separate ADCs in Steuerungssystemen oder Überwachungsanwendungen überflüssig.

Renesas bietet außerdem das Evaluierungsboard-Kit RTK0EF0186C03000BJ für den RZ/V2N an, mit dem Entwickler Prototypen von Vision-KI-Anwendungen erstellen und evaluieren können (Abbildung 4). Designer können außerdem auf KI-Anwendungen zugreifen, die mehr als 50 Anwendungsfälle in den KI-Anwendungen und dem KI-SDK des Unternehmens auf GitHub abdecken.

Abbildung 4: Das Evaluierungsboard-Kit für den RZ/V2N umfasst eine CPU-Platine, eine Erweiterungsplatine und zwei Subplatinen sowie ein KI-SDK. (Bildquelle: Renesas Electronics Corp.)

Fazit

Der RZ/V2N von Renesas eignet sich gut für Edge-KI-Anwendungen im mittleren Leistungsbereich, die datengesteuerte Informationen mit reduzierter Latenz bei hohen Geschwindigkeiten liefern müssen. Dank seiner kompakten Größe und seiner Fähigkeit, Inferenzanforderungen bei geringem Stromverbrauch zu erfüllen, eignet er sich für eine Vielzahl von eingebetteten Geräten.