Server AIR-520 für dezentrale KI der nächsten Generation

Der Aufstieg der generativen KI verändert die Industrie und der Server AIR-520 von Advantech für dezentrale KI soll diesen Anforderungen gerecht werden. Mit der patentierten aiDAPTIV+-Technologie von Phison und einem Prozessor EPYC 7003 von AMD vereint der AIR-520 nahtlos SQ-ai100-AI-SSD, RTX-GPU-Karten von NVIDIA, Edge AI SDK und NVIDIA AI Enterprise. Diese einsatzbereite Komplettlösung befähigt Unternehmen zur Feinabstimmung großer Sprachmodelle (large language models, LLMs) mit bis zu vier GPU-Karten, um sensible Daten zu schützen und gleichzeitig die Infrastrukturkosten zu minimieren.

Das Edge AI SDK Advantech umfasst GenAI Training Studio, das mit Llama-2-Modellen (13B/33B/70B) für Anwendungen in Bereichen von Chatbots bis hin zur Datenanalyse vorinstalliert ist und das Training und die Inferenz von maßgefertigten LLM-Modellen vereinfacht. Der AIR-520 bietet vier maßgeschneiderte Konfigurationen: AIR-520-L13B, L33B, L70B und L70B-Plus, die eine Skalierbarkeit für die unterschiedlichen Anforderungen von KI-Anwendungen gewährleisten.

Merkmale/Funktionen

• 4-HE-Edge-KI-Server mit Prozessor EPYC 7003 von AMD: bis zu 64 Kerne und 768 GB DRAM für robuste Performance auf Server-Niveau für KI-Workloads
• Leistungsfähige Erweiterungs- und Grafikunterstützung: vier PCIe-x16-Erweiterungssteckplätze und 1.200-W-Netzteil für thermische Verlustleistung von bis zu 700 W der Grafikkarte, das leistungsfähige RTX-GPU von NVIDIA unterstützt
• Hochentwickelte generative KI-Fähigkeiten: Feinabstimmung und Inferenz für LLM mit Modellen wie Llama-2 (13B, 33B, 70B) in sicherer, Edge-basierter Umgebung
• Flexible Optionen für Modelltraining: GenAI Training Studio und Edge AI SDK bieten nahtloses Training und Evaluierung angepasster LLMs
• Konfigurierbare Konfigurationen sind in vier Varianten erhältlich: AIR-520-L13B, L33B, L70B und L70B-Plus, die verschiedenen Unternehmensanforderungen gerecht werden