NVIDIA HGX-Plattform

Beschleunigung fortschrittlicher KI in jedem Rechenzentrum.

Speziell für KI und High-Performance-Computing entwickelt

KI, komplexe Simulationen und riesige Datenmengen erfordern mehrere GPUs mit extrem schnellen Verbindungen und einem vollständig beschleunigten Softwarestack. Die NVIDIA HGX™-Plattform vereint die volle Leistung von NVIDIA GPUs, NVIDIA NVLink™, NVIDIA Netzwerktechnik und vollständig optimierten KI- und HPC-Softwarestacks (High-Performance-Computing), um die höchstmögliche Anwendungsleistung und schnellste Zeit zur Erkenntnisgewinnung für jedes Rechenzentrum bereitzustellen.

Unerreichte End-to-End-Plattform für beschleunigtes Computing

NVIDIA HGX B300 NVL16 integriert NVIDIA Blackwell Ultra GPUs mit Hochgeschwindigkeitsverbindungen, um Rechenzentren mit noch nie dagewesener Rechenleistung und generativer KI zu versorgen. Auf Blackwell basierende HGX-Systeme sind als führende beschleunigte Skalierungsplattformen mit bis zu 11-mal mehr Inferenzleistung als bei der vorherigen Generation für enorm anspruchsvolle generative KI-, Datenanalyse- und HPC-Workloads konzipiert.

NVIDIA HGX umfasst fortschrittliche Netzwerkoptionen mit Geschwindigkeiten von bis zu 800 Gigabit pro Sekunde (Gbit/s) und NVIDIA Quantum-X800 InfiniBand und Spectrum™-X Ethernet für erstklassige KI-Leistung. HGX enthält außerdem NVIDIA BlueField®-3 DPUs (Data Processing Units), um Cloud-Netzwerke, zusammensetzbaren Datenspeicher, Zero-Trust-Sicherheit und GPU-Computing-Elastizität in Hyperscale-KI-Clouds zu ermöglichen.

KI-Reasoning-Inferenz: Leistung und Vielseitigkeit

Die voraussichtliche Leistung kann Änderungen unterliegen. Token-zu-Token-Latenz (TTL) = 20 ms Echtzeit, Latenz des ersten Tokens (FTL) = 5 s, Länge der Eingabesequenz = 32.768, Länge der Ausgabesequenz = 1.028, 8 x luftgekühlte Acht-Wege-HGX H100 GPUs im Vergleich zu 1 x luftgekühlte HGX B300 NVL16, Leistungsvergleich pro GPU; Bereitstellung mittels verteilter Inferenz.

Inferenz für große Sprachmodelle in Echtzeit

HGX B300 NVL16 erreicht eine bis zu 11-mal höhere Inferenzleistung im Vergleich zur vorherigen NVIDIA Hopper™ Generation für Modelle wie Llama 3.1 405B. Die Transformer-Engine der zweiten Generation nutzt benutzerdefinierte Blackwell-Tensor-Core-Technik in Kombination mit TensorRT™-LLM-Innovationen, um die Inferenz für große Sprachmodelle (LLMs) zu beschleunigen.

KI-Training: Leistung und Skalierbarkeit

Prognostizierte Leistung kann sich ändern. Leistungsvergleich pro Grafikprozessor: 8x Eight-Way HGX H100 vs. 1x HGX B300 NVL16.

Trainingsleistung auf höchstem Niveau

Die zweite Generation der Transformer-Engine mit 8-Bit-Gleitkomma-Technologie (FP8) und neuen Präzisionen ermöglicht ein bemerkenswertes 4-mal schnelleres Training für große Sprachmodelle wie Llama 3.1 405B. Ergänzt wird dieser Durchbruch durch NVLink der fünften Generation mit 1,8 TB/s GPU-zu-GPU-Verbindung, InfiniBand-Netzwerken und NVIDIA Magnum IO™-Software. n Kombination sorgen sie für effiziente Skalierbarkeit für Unternehmen und umfangreiche GPU-Computing-Cluster.

Beschleunigung von HGX mit NVIDIA Networking

Das Rechenzentrum ist die Recheneinheit der Zukunft und Netzwerke spielen eine wesentliche Rolle bei der Skalierung der Anwendungsleistung im gesamten Rechenzentrum. In Verbindung mit NVIDIA Quantum InfiniBand bietet HGX erstklassige Leistung und Effizienz, um die Rechenressourcen voll auszulasten.

In KI-Cloud-Rechenzentren mit Ethernet sollte HGX am besten mit der NVIDIA Spectrum-X™-Netzwerkplattform kombiniert werden, die in Verbindung mit Ethernet die bestmögliche KI-Leistung bietet. Sie verfügt über Spectrum-X-Switches und NVIDIA SuperNIC™ für eine optimale Ressourcennutzung und Leistungsisolierung. Zudem sorgt sie für konsistente, vorhersehbare Ergebnisse für Tausende von gleichzeitigen KI-Jobs jeder Größenordnung. Spectrum-X ermöglicht fortschrittliche Cloud-Mehrmandantenfähigkeit und Zero-Trust-Sicherheit. NVIDIA hat als Referenzdesign Israel-1 entwickelt, einen auf generativer KI basierenden Hyperscale-Supercomputer entwickelt, der mit Dell PowerEdge XE9680-Servern ausgestattet ist, die wiederum auf der NVIDIA HGX 8-GPU-Plattform, BlueField-3 SuperNICs und Spectrum-4-Switches basieren.

Technische Daten zu NVIDIA HGX

NVIDIA HGX ist in einzelnen Hauptplatinen mit vier oder acht Hopper-GPUs, acht NVIDIA Blackwell-GPUs oder sechzehn Blackwell Ultra-GPUs erhältlich. Diese leistungsstarken Kombinationen aus Hard- und Software bilden den Grundstein für eine beispiellose KI-Supercomputing-Leistung.

Blackwell
Hopper

	HGX B300 NVL16	HGX B200
Formfaktor	16 x NVIDIA Blackwell Ultra GPU	8 x NVIDIA Blackwell-GPU
FP4 Tensor-Core**	144 PFLOPS \| 105 PFLOPS	144 PFLOPS \| 72 PFLOPS
FP8/FP6 Tensor Core*	72 PFLOPS	72 PFLOPS
INT8 Tensor Core*	2 POPS	72 POPS
FP16/BF16 Tensor Core*	36 PFLOPS	36 PFLOPS
TF32 Tensor Core*	18 PFLOPS	18 PFLOPS
FP32	600 TFLOPS	600 TFLOPS
FP64/FP64 Tensor Core	10 TFLOPS	296 TFLOPS
Gesamtspeicher	Bis zu 2,3 TB	1,4 TB
NVLink	Fünfte Generation	Fünfte Generation
NVIDIA NVSwitch™	NVLink 5 Switch	NVLink 5 Switch
NVSwitch-Bandbreite für Verbindungen zwischen GPUs	1,8 TB/s	1,8 TB/s
Gesamte NVLink-Bandbreite	14,4 TB/s	14,4 TB/s
Networking Bandwidth	1,6 TB/s	0,8 TB/s
Attention Performance	2X	1X

* Mit geringer Dichte

** Mit geringer Dichte | ohne geringe Dichte

Lesen Sie das Datenblatt zu NVIDIA Blackwell

	HGX H200
	4-GPU	8-GPU
Formfaktor	4 x NVIDIA H200 SXM	8 x NVIDIA H200 SXM
FP8 Tensor Core*	16 PFLOPS	32 PFLOPS
INT8 Tensor Core*	16 POPS	32 POPS
FP16/BF16 Tensor Core*	8 PFLOPS	16 PFLOPS
TF32 Tensor Core*	4 PFLOPS	8 PFLOPS
FP32	270 TFLOPS	540 TFLOPS
FP64	140 TFLOPS	270 TFLOPS
FP64 Tensor-Core	270 TFLOPS	540 TFLOPS
Gesamtspeicher	564 GB HBM3	1,1 TB HBM3
Aggregierte GPU-Bandbreite	19 GB/s	38 GB/s
NVLink	Vierte Generation	Vierte Generation
NVSwitch	N/A	NVLink 4 Switch
NVSwitch-Bandbreite für Verbindungen zwischen GPUs	N/A	900 GB/s
Gesamte aggregierte Bandbreite	3,6 TB/s	7,2 TB/s
Networking Bandwidth	0,4TB/s	0,8TB/s

	HGX H100
	4-GPU	8-GPU
Formfaktor	4x NVIDIA H100 SXM	8x NVIDIA H100 SXM
FP8 Tensor Core*	16 PFLOPS	32 PFLOPS
INT8 Tensor Core*	16 POPS	32 POPS
FP16/BF16 Tensor Core*	8 PFLOPS	16 PFLOPS
TF32 Tensor Core*	4 PFLOPS	8 PFLOPS
FP32	270 TFLOPS	540 TFLOPS
FP64	140 TFLOPS	270 TFLOPS
FP64 Tensor-Core	270 TFLOPS	540 TFLOPS
Gesamtspeicher	320 GB HBM3	640 GB HBM3
Aggregierte GPU-Bandbreite	13 GB/s	27 GB/s
NVLink	Vierte Generation	Vierte Generation
NVSwitch	N/A	NVLink 4 Switch
NVSwitch-Bandbreite für Verbindungen zwischen GPUs	N/A	900 GB/s
Gesamte aggregierte Bandbreite	3,6 TB/s	7,2 TB/s
Networking Bandwidth	0,4TB/s	0,8TB/s

* Mit geringer Dichte

Lesen Sie das Datenblatt zu NVIDIA HGX H100 und HGX H200

Erfahren Sie mehr über die NVIDIA Blackwell-Architektur.

MEHR ERFAHREN

Note: This service is not intended for secure transactions such as banking, social media, email, or purchasing. Use at your own risk. We assume no liability whatsoever for broken pages.