Nykyiset AI -tietokeskukset kohtaavat kaksi ydinpullonkaulaa skaalaamisessa, ja perinteinen asteikko - ylös ja mittakaavassa - mallit pyrkivät täyttämään giga - asteikon AI -vaatimukset:
Asteikko - ylös rajoitukset: Saavutettu päivittämällä yksittäisiä järjestelmiä tai telineitä (esim. GPU: n määrän lisääminen tai yksittäisten -}}}}}}} -laitteiden suorituskyvyn parantaminen, mutta rajoittaa infrastruktuurin, kuten vesijäähdytyksen, virrankatot. Nykyisissä tietokeskuksissa on fyysisiä kynnysarvoja tehon syöttämiseksi ja lämmön hajoamiselle, mikä estää loputtoman nousun laskentatiheydessä telineen tai datakeskuksen kohdalla.
Asteikko - pois rajoitukset: Laajennettu lisäämällä telineitä ja palvelimia skaalaklustereihin, mutta fyysinen tila rajoittaa yhdessä tapahtumapaikassa asettaen kovat korkit laitteiden kapasiteettiin.
Tämän dilemman voittamiseksi Nvidia ehdottaa "asteikon - uutta ulottuvuutta", verkkoviestinnän optimoimiseksi maantieteellisesti hajaantuneiden tietokeskusten välillä hajautettujen AI -klustereiden tekemiseksi yhteistyöstä yhtenä. NVIDIA: n perustaja ja toimitusjohtaja Jensen Huang kuvaa tätä risti - alueellista AI -supertehdasta avaininfrastruktuurina AI Industrial Revolutionille, spektrin - XGS: n ydinteknologian mahdollistajana.
Spektrin ydinteknologiat - xgs
Spectrum - XGS ei ole täysin uusi laitteistoalusta, vaan NVIDIA: n olemassa olevan spektrin - x Ethernet -ekosysteemin kehitys. Vuoden 2024 lanseerauksen jälkeen Spectrum - x on toimittanut 1,6x korkeamman generatiivisen AI -verkon suorituskyvyn kuin perinteinen Ethernet -spektrin - 4 arkkitehtuurin SN5600 -kytkimien ja bluefield - 3 dpus, josta tulee valtavirran valinta AI -tietokeskuksille, jotka käyttävät NVidia GPUS: ta. Spektr-XG: n läpimurto on kolmessa algoritmisessa innovaatiossa ja laitteisto-synergiassa, jotka käsittelevät viestinnän viivettä, ruuhkia ja synkronointia haasteita alueellisten GPU-klustereissa.
1.Core -algoritmit: dynaaminen sopeutuminen pitkiin - etäisyysverkon ominaisuuksiin
Spectrum - XGS: n ydin on joukko "etäisyys - tietoinen verkon optimointialgoritmit", jotka analysoivat ristin avainparametreja - - keskiviestintä todellisessa - -ajalla (etäisyys, liikennekuviot, konfestitasot, suorituskyvyn metrics)
Etäisyys - mukautuva ruuhkaohjaus:Toisin kuin perinteisen Ethernet -yhtenäinen käsittely kaikista yhteyksistä, spektri - XGS -algoritmit säätävät ruuhkien kynnysarvoja automaattisesti tietokeskusten välisten etäisyyksien perusteella (tällä hetkellä tukevat satoja kilometriä), välttäen pakettien menetystä tai muodostumista pitkään - etäisyyslähetyksiin.
Tarkka latenssinhallinta:Kautta per - paketti hieno - rakeinen adaptiivinen reititys, se eliminoi latenssipisteen pakettien uudelleenlähetyksistä perinteisissä verkoissa. Jitter on kriittinen vaara AI -klustereissa: Jos viivästymisen vuoksi yksi GPU -viive on, kaikkien yhteistyössä olevien GPU: ien on odotettava, mikä vaikuttaa suoraan yleiseen suorituskykyyn.
Lopeta - to - loppu telemetria: Oikea - Täysin - linkkien suorituskykytiedot GPU: sta kytkimiin ja ristit - data - keskikeskuksen linkit tarjoavat millisecond - tason palautteen algoritmismahdollisuuksia, varmistaen verkon tilan dynaamisen vastaavuuden AI -työkuormille.
2. Laitteisto Synergiat: Hyödyntäminen Spectrum - x Ecosystem's High - kaistanleveyssäätiö
Spectrum - XGS saavuttaa optimaalisen suorituskyvyn yhdistettynä tiettyyn NVIDIA -laitteistoon:
Spektri - x kytkimet: Taustalla olevana verkon rungona, joka tarjoaa korkean portin tiheyden ja matalan - viiveiden edelleenlähetyksen.
Connectx-8 Supernic: 800 gb/s ai - Omistettu verkkosovitin korkealle - nopeuden tiedonsiirto GPU: n ja kytkimien välillä.
Blackwell Architecture Hardware: Kuten B200 GPU: t ja GB10 -superkehykset, syvästi integroitu spektriin - xg: iin, jotta loput - on - loppuviive. NVIDIA validated through NCCL (collective communications library) benchmarks: Spectrum-XGS boosts communication performance between cross-data-center GPUs by 1.9x while controlling end-to-end latency at about 200 milliseconds-a level that feels reagoiva ja viive - ilmainen käyttäjän vuorovaikutuksiin, täyttämällä todelliset - AI -aikavaatimukset AI -päätelmille.
Täysi - pinooptimointi AI -koulutukseen ja päätelmän tehokkuuteen spektrillä - xgs
Spectrum - XGS ei ole eristetty tekniikka, vaan keskeinen lisä NVIDIA: n täyteen - pinon AI -ekosysteemiin. Tässä julkaisussa NVIDIA paljasti myös ohjelmiston - tason suorituskyvyn parannukset, jotka synergoivat spektrin - xgs laitteistoille - algoritmi - ohjelmistoyhteistyö:
Dynamo -ohjelmistopäivitys: Optimoitu Blackwell -arkkitehtuurille (esim. B200 Systems) AI -mallin päätelmäsuorituskyvyn lisäämiseksi jopa 4X: llä, vähentäen merkittävästi laskentakulutusta suurten mallin päätelmien varalta.
Spekulatiivinen dekoodaustekniikka: Käyttää pientä luonnosmallia ennustaaksesi seuraavan AI -mallin lähtötunnuksen etukäteen, vähentämällä päämallin laskentaa ja parantamalla päätelmän suorituskykyä vielä 35%. Tämä soveltuu erityisesti keskustelujen päätelmäskenaarioihin suurissa kielimalleissa (LLM).
NVIDIA: n nopeutettu tietotekniikan osaston johtaja Dave Salvator totesi, että näiden optimointien päätavoite on skaalata kunnianhimoisia agenttien AI -sovelluksia. Riippumatta siitä, triljoonan - parametrien suurten mallien kouluttaminen tai AI -päätelmien tukeminen miljoonille samanaikaisille käyttäjille, spektrin - XGS: n ja ohjelmistoekosysteemin yhdistelmä tarjoaa ennustettavan suorituskyvyn.
Spektrin varhaiset sovellukset ja teollisuuden vaikutus - xgs
Ensimmäiset käyttäjät: CoreWeave Pioneers Cross - Domain AI Super FactoryGPU -pilvipalveluntarjoaja CoreWeave on yksi ensimmäisistä spektrin adoptereista - xgs. Yrityksen CO - perustaja ja CTO Peter Salanki totesi, että tämä tekniikka antaa asiakkailleen mahdollisuuden käyttää GIGA - asteikon AI -ominaisuuksia nopeuttamalla läpimurtoja toimialojen välillä. Esimerkiksi Ultra - suuren - asteikon AI -projektien tukeminen, kuten Stargate -aloite Oracle, SoftBank ja OpenAi.
Teollisuuden suuntaukset: Ethernet korvaa Infinibandin AI -verkon valtavirtaanVaikka Infinibandilla oli noin 80% AI: n taustaverkkomarkkinoista vuonna 2023, teollisuus siirtyy nopeasti Ethernet -alueelle. NVIDIA: n valinta kehittää spektri - XGS Ethernetissä kohdistuu tämän suuntauksen kanssa:
Yhteensopivuus ja kustannusetu:Ethernet on yleinen standardi globaaleille datakeskuksille, verkonsinööreille tutumpi ja halvempi ottaa käyttöön kuin Infiniband.
Markkinasaajan ennusteet:Dell'oro -ryhmätiedot osoittavat, että Ethernet Data Center Switch -markkinat saavuttavat lähes 80 miljardia dollaria seuraavan viiden vuoden aikana.
Nvidian oma kasvu: 650 Ryhmäraportit osoittavat NVIDIA: n "nopeimpana - kasvavan myyjänä" vuoden 2024 datakeskuksen kytkentämarkkinoilla, ja sen verkottumisliiketoiminnan tulot saavuttavat 5 miljardia dollaria Q 2 2024 (päättyy 27. huhtikuuta), 56% vuosi - yli -.
Spektrin käynnistys - XGS laajentaa NVIDIA: n täydellistä - pino -monopolistrategiaa AI -infrastruktuurissa, samalla kun uusi kilpailudynamiikka:
Nvidian täysi - pinoasettelu: GPUS (Blackwell), InterConnects (nvLink/NvLink Switch), verkkot (spektri - x/spektrum - xgs, kvantti - x infiniband) ohjelmistoon (CUDA, Tensorrt - llm, Nim Microsersort) muodosti suljetun silmukan, joka kattaa "Compute - yhdistä - -ohjelmisto" AI -infrastruktuuriin. Spektri - XGS Synergisoituu nvLinkillä kolmelle - tason skaalaus: intra - teline (nvlink), intra - - keskus (spektrum - x) ja Cross - data - keskipiste (spektri - xgs).
Kilpailijoiden vastaukset: Broadcomin aikaisemmalla Sue -tekniikalla on samanlaisia tavoitteita spektrin - XGS: n kanssa, jonka tavoitteena on optimoida Ethernet -suorituskyky raon sulkemiseksi Infinibandilla. Lisäksi myyjät, kuten Arista, Cisco ja Marvell, kiihdyttävät ai - omistettuja Ethernet -kytkimiä, kun kilpailu keskittyy suorituskykyyn - kustannuksia - ekosysteemin yhteensopivuus.
Spektrin perusarvo - xgs on AI -datakeskuksen skaalauksen työntäminen "Single - sivuston rajoitukset" - "Cross - alueellinen yhteistyö". Kun voimasta ja maasta tulee kovia rajoituksia yksittäisille tietokeskuksille, risti - kaupunki ja risti - maan AI Superitehtaista tulee ydinlomake, joka tukee seuraavaksi - sukupolven AI -sovelluksia (esim. Yleinen tekoäly, suuri - asteikon agenttien klusterit).
Kuten NVIDIA: n verkkoosaston vanhempi varapuheenjohtaja Gilad Shainer esitteli Hot CHIPS -konferenssissa: "Cross - -tiedot - keskikuituoptiset fyysiset verkot ovat jo kauan olleet, mutta ohjelmistoalgoritmit, kuten spektrin - XGS, ovat avain avata näiden fyysisen infrastruktruktion todellisen suorituskyvyn avaamiseen.