NVIDIA annonserte en ny klasse superdatamaskiner med stor mengde minne – superdatamaskinen NVIDIA DGX basert på superchips NVIDIA GH200 Grace Hopper og brytersystemer NVIDIA NVLink. Den er designet for å utvikle neste generasjons modeller for generative applikasjoner AI, anbefalingssystemer og arbeidsbelastninger for dataanalyse.
Massiv minneplass NVIDIA DGX GH200 bruker NVLink-tilkoblingsteknologi med NVLink Switch System for å kombinere 256 GH200 superchips, som som et resultat fungerer som en enkelt GPU. Dette gir 1 eksaflop ytelse og 144 TB delt minne, nesten 500 ganger mer enn forrige generasjon NVIDIA DGX A100, som ble introdusert i 2020.
"Generativ AI, store språkmodeller og anbefalingssystemer er de digitale motorene i den moderne økonomien, sa grunnleggeren og administrerende direktøren NVIDIA Jensen Huang. – DGX GH200 AI superdatamaskiner integrerer toppmoderne akselerert databehandling og nettverksteknologi NVIDIAå utvide grensene for AI".
Som rapportert i en pressemelding på selskapets nettside, eliminerer GH200 superchips behovet for en tradisjonell CPU-GPU PCIe-tilkobling. De kombinerer prosessoren NVIDIA Armbasert Grace og GPU NVIDIA H100 Tensor Core i ett etui. Dette øker båndbredden mellom GPU og CPU med 7 ganger, reduserer strømforbruket betydelig og gir 600 GB GPU Hopper-arkitektur for nye superdatamaskiner. DGX GH200-arkitekturen gir 48 ganger mer NVLink-båndbredde enn forrige generasjon.
Google Cloud forventes å gjøre det Meta og Microsoft vil være blant de første som får tilgang til DGX GH200 og utforsker dens evner til å generere AI-arbeidsbelastninger. Produsenten har også til hensikt å gi DGX GH200-designet som et eksempel til skytjenesteleverandører, slik at de kan tilpasse den til deres infrastruktur.
"Å lage avanserte generative modeller krever innovative tilnærminger til infrastruktur for kunstig intelligens," sa visepresidenten for databehandling ved Google Cloud Mark Lohmeyer. "NVLinks nye skala og Grace Hopper superchip-minne adresserer viktige flaskehalser i storskala AI, og vi ser frem til å utforske potensialet for Google Cloud og våre generative AI-initiativer."
Konserndirektør for Azure Infrastructure i Microsoft Girish Bablani bemerket DGX GH200s potensial for å jobbe med terabyte-datasett, som vil tillate utviklere å utføre forskning i større skalaer og med akselerert hastighet.
Selskapet lager også en superdatamaskin NVIDIA DGX GH200-baserte Helios for sine forskere og utviklingsteam. Den vil være utstyrt med fire DGX GH200-systemer, og hver vil være sammenkoblet av et Quantum-2 InfiniBand-nettverk for å øke datagjennomstrømningen for å trene store AI-modeller. Helios vil inkludere 1024 Grace Hopper-superchips og forventes å være i drift innen slutten av året.
Programvare NVIDIA Base Command gir AI-arbeidsflytadministrasjon, bedriftsklasse-klyngeadministrasjon, biblioteker som akselererer databehandling, lagring og nettverksinfrastruktur, og systemprogramvare optimalisert for AI-arbeidsbelastninger. Også inkludert er AI Enterprise-programvare, som gir over 100 rammeverk, forhåndsopplærte modeller og utviklingsverktøy for å forenkle utvikling og distribusjon av produksjons-AI, inkludert generativ AI AI, datasyn, tale-AI og mye mer.
Superdatamaskiner NVIDIA DGX GH200 vil være tilgjengelig innen slutten av året.
Les også: