Az Nvidia idén jelentette be az előd A100-nál gyakorlásnál 2,3-szor, következtetésnél 3,5-ször gyorsabb H100 grafikus feldolgozó egységet (GPU).

A fejlesztőknek a legjobb chipekre van szükségük nagyteljesítményű mesterségesintelligencia-modelljeik trenírozásához, csúcskategóriás termékekbe integrálásukhoz. A generatív MI a jelenlegi infokom „legforróbb” technológiája, és az innováció bánja, ha akadozik a chipellátás.

Pont ez történik most: az Nvidia legjobb chipjei iránti kereslet nagyobb, mint a kínálat. Nincs elég H100.

Felhőszolgáltatók az év elején problémákkal küszködtek GPU-k beszerzésében, de a hiányt most már a kisebb és a nagyobb MI-cégek is érzik, ráadásul a chipeket 2024-re is eladták már.

Az Nvidia designjain dolgozó TSMC, a chiptervezők körében, például a rivális AMD-nél is népszerű csomagolási technológiája korlátai miatt a mostaninál nem tud több H100 gyártásához hozzájárulni. A tervek szerint 2024 végéig megduplázzák termelési kapacitásukat.

Az Nvidia szerint a felhőszolgáltatók előzetesen értékesítették H100 kapacitásaik zömét. Következményként a hirtelen megnövekedett számú felhasználókat kiszolgáló nagy nyelvmodellek gyakoroltatásához szükséges többezer H100-hoz való hozzáférés csökkenésével, több startup bajba került.

Egy H100, memóriával és nagysebességű interfésszel eredetileg 33 ezer dollárba kerül, az eBay-en azonban már 40 és 51 ezer közötti árakon kínálják.

A keresletet nehéz számszerűsíteni. Nagy MI-vállalatoknak és felhőszolgáltatóknak többtízezer-többszázezer, kisebb startupoknak többszáz-többezer H100-ra lehet szükségük. Egyes becslések szerint jelenleg kb. 430 ezret vennének meg azonnal, összesített áruk 15 milliárd dollár körül mozog, és a kínaiakkal nem is számoltak.

A legnagyobb kínai vállalatok (Alibaba, Baidu, ByteDance, Tencent) ötmilliárdért rendeltek nem pontosított Nvidia-chipeket, zömüket jövőre fogják leszállítani.

Az Nvidiával közeli kapcsolatban álló (a chipgyártó invesztált is beléjük) CoreWeave felhőszolgáltató startup 35-40 ezer H100-at rendelt.