HGX H200 de la Nvidia: Noul gigant în tehnologia inteligenției artificiale

Nvidia a anunțat lansarea unui nou cip de ultimă generație, HGX H200, special conceput pentru a gestiona sarcini complexe de inteligență artificială. Conform ultimelor rapoarte, produsul urmează să fie disponibil pe piață în al doilea trimestru al anului 2024.

HGX H200, noul produs din gama Nvidia, se distinge prin integrarea GPU-ului Nvidia H200 Tensor Core, care oferă o capacitate memorie îmbunătățită pentru gestionarea sarcinilor grele de inteligență artificială generativă. Acest cip introduce HBM3e, o memorie avansată, care accelerează viteza pentru inteligență artificială generativă, modele de limbaj de mari dimensiuni (LLM) și calcul științific pentru sarcini HPC.

Cu HBM3e, H200 oferă o capacitate impresionantă de memorie de 141GB la 4.8 terabytes pe secundă, aproape dublând capacitatea și oferind de 2.4 ori mai multă lățime de bandă comparativ cu predecesorul său, Nvidia H100.

Ce performanță promite HGX H200

H200 promite o creștere semnificativă a performanței, aproape dublând viteza de inferență pe Llama 2, un model de limbaj de 70 de miliarde de parametri, comparativ cu H100.

Interesant este faptul că Nvidia H200 nu vine doar ca un produs independent, ci este inclus în plăci de server disponibile în configurații de patru și opt căi pentru Nvidia HGX H200. Aceste configurații sunt compatibile atât cu hardware-ul, cât și cu software-ul sistemelor HGX H100. De asemenea, poate fi găsit în chipul super Nvidia GH200 Grace Hopper cu HBM3e, care urmează să fie lansat în august. Cu aceste opțiuni, H200 poate fi integrat în diverse configurații de centre de date – on-premises, cloud, hibrid-cloud și edge. Nvidia colaborează cu un grup de producători globali de servere, printre care se numără ASUS, Dell Technologies, Lenovo, oferind astfel posibilitatea acestora de a-și îmbunătăți sistemele existente cu H200.

În ceea ce privește puterea de calcul, un sistem HGX H200 cu opt căi poate furniza peste 32 petaflops de calcul FP8 pentru învățare profundă și o memorie agregată de mare lățime de bandă de 1.1TB. Combinând H200 cu procesoarele Nvidia Grace și interconectarea ultra-rapidă NVLink-C2C, Nvidia introduce GH200 Grace Hopper Superchip cu HBM3e, construit pentru a gestiona aplicații de HPC și AI la scară largă.