Dizajn mreže klastera umjetne inteligencije proces je dimenzioniranja mrežnih kartica GPU poslužitelja, propusnosti leaf-kičme, omjera prekomjerne pretplate, RoCE postavki, optike i kabliranja tako da distribuirani promet obuke ostaje predvidljiv kako se klaster skalira. Pogriješite li bilo što od toga i mreža - a ne GPU - postaje usko grlo.
Zašto je umrežavanje AI klastera drugačije
U tradicionalnom poslovnom podatkovnom centru, mreža upravlja kombinacijom korisničkog prometa sjever-jug, pristupa pohrani, virtualizacije i upravljanja. Promet u smjeru istok-zapada postoji, ali je rijetko dominantno opterećenje. U AI klasteru situacija se okreće. GPU poslužitelji koji pokreću distribuiranu obuku razmjenjuju gradijente i sinkroniziraju parametre tijekom svakog koraka posla. Ova komunikacija je dio računanja, a ne njegova nuspojava.
Ako GPU vrijedan 30.000 USD provede 30% svog vremena čekajući na mreži tijekom svih-reduce operacija, klaster zapravo plaća 30% svog računalnog kapaciteta da miruje. To je ekonomski razlog zbog kojeg se umrežavanju umjetne inteligencije pridaje tolika pozornost.
Tri karakteristike radnog opterećenja pokreću dizajn:
- Promet u pravcu istok-zapad.Operacije kolektivne komunikacije kao što su sve-reduce, all-gather i reduce{2}}scatter proizvode sinkronizirane praske kroz mnogo čvorova istovremeno.
- Osjetljivost-latencije repa.Jedan spori čvor odgađa cijeli korak obuke. Predvidljivo kašnjenje važnije je od prosječnog kašnjenja.
- Smanjite-rast.Klasteri koji počinju s 32 GPU-a često narastu na 256 ili 1024 unutar 18 mjeseci. Tkanina se mora mjeriti bez redizajna.
Zašto Spine{0}}Leaf odgovara AI klasterima
Spine-leaf standardna je tkanina za podatkovne centre hiperrazmjera jer svakom putu od-do-poslužitelja daje isti broj skokova i istu teoretsku propusnost. Za radna opterećenja umjetne inteligencije, ova uniformnost izravno se pretvara u predvidljivije vrijeme koraka treninga.
U spine{0}}leaf topologiji, GPU poslužitelji povezuju se s leaf switchevima, a svaki se list povezuje sa svakim spineom. Bilo koja GPU-na-GPU komunikacija prelazi točno jedan list, jedan kralježak i još jedan list. Ne postoje slojevi agregacije koji uvode promjenjivu latenciju ili prigušne točke.
Predvidljiva latencija
Equal{0}}cost multi-path (ECMP) usmjeravanje širi tokove kroz kičmene sklopke. Kada se ispravno konfigurira s adaptivnim usmjeravanjem ili dinamičkim balansiranjem opterećenja, to sprječava hash kolizije koje uzrokuju da neki tokovi budu mnogo sporiji od drugih - poznati problem u statičnim ECMP tkaninama koje nose malo ali velike tokove, što je upravo ono što generira obuka AI.
Visoka širina pojasa bisekcije
Polazna širina pojasa je propusnost dostupna između bilo koje dvije jednake polovice klastera. AI obuka ima koristi od ne{1}}blokirajućih ili gotovo-ne-blokirajućih dizajna gdje je kapacitet uzlazne veze od lista-do-kičme jednak ili gotovo jednak kapacitetu dolazne veze koji je okrenut prema poslužiteljima. IETF definira i raspravlja o ovim konceptima uRFC 7938, koji pokriva BGP-usmjerene Clos tkanine koje se široko koriste u velikim-podatkovnim centrima.
Lakše skaliranje-
Dodajte više listova da dodate više poslužitelja. Dodajte više kralježaka da biste dodali veću propusnost za bisekciju. Za klastere iznad nekoliko tisuća GPU-a, topologija super-kralježnice (5-stupnjeva Clos) ili optimizirana tračnica proširuje isti princip jedan sloj dalje.
Osnovne komponente mreže klastera umjetne inteligencije
GPU poslužitelji i mrežne kartice
NIC je mjesto gdje se tkanina susreće s hostom. U AI klasterima, odabir NIC-a pokreće sve nizvodno - brzinu porta prekidača, izbor optike i gustoću kablova.
Kriteriji odabira za radna opterećenja umjetne inteligencije:
- Brzina priključka:200G, 400G ili 800G po priključku. Usklađivanje s GPU generacijom i PCIe propusnošću.
- PCIe generacija:400G NIC treba PCIe Gen5 x16 kako bi se izbjeglo usporavanje-na strani glavnog računala. PCIe Gen4 x16 ograničava na ~256 Gbps iskoristivih.
- RDMA i RoCEv2 podrška:Potrebno za-zaobilaženje GPU komunikacijskih biblioteka kao što je NCCL.
- GPUDirect RDMA:Omogućuje izravno GPU-na-NIC DMA, uklanjanje kopija memorije glavnog računala.
- Mogućnost više{0}}tračnica:Mnogi AI poslužitelji koriste 4 ili 8 NIC-ova po čvoru, jedan po GPU paru, za rail{2}}optimizirane topologije.
Tipični poslužitelj s 8 GPU-a danas koristi ili 4× 400G NIC-a (jedan po dva GPU-a) ili 8× 400G NIC-a (jedan po GPU-u) ovisno o radnom opterećenju i proračunu. Referentne arhitekture izNVIDIA mrežna dokumentacijadetaljno pokriti kompromise dizajna.
Prekidači za lišće i kralježnicu
Kriteriji odabira prekidača za AI tkanine razlikuju se od odabira poduzeća. Veličina međuspremnika, ponašanje kontrole zagušenja i telemetrija važniji su od širine mogućnosti.
- Po-brzina porta i radix:ASIC preklopnika od 51,2 Tbps isporučuje 64× 800G portova ili 128× 400G portova. Radix određuje koliko tkanina može biti ravna.
- Arhitektura međuspremnika:Duboki međuspremnici apsorbiraju incast burstove, ali dodaju kašnjenje. Plitki međuspremnici smanjuju latenciju, ali zahtijevaju preciznu kontrolu zagušenja.
- RoCE skup značajki:Označavanje ECN, PFC, DCQCN ili ekvivalentna kontrola zagušenja i pravilno rukovanje prioritetnim redovima od kraja-do-kraja.
- Telemetrija:Unutarpojasna mrežna telemetrija (INT), izvješćivanje po-dubini reda čekanja i mikrosekundni-brojači rezolucije za ECN oznake i PFC pauze.
Optika, DAC i AOC kablovi
Na 400G i 800G, postrojenje za kabliranje postaje pravi inženjerski problem. Formalni faktori, proračuni poveznica i konfiguracije izbijanja zahtijevaju rano planiranje.
- DAC (bakreni izravni priključak):Do ~3 metra za 400G, najniža cijena i najniža snaga. Teška i glomazna u mjerilu.
- AOC (aktivni optički kabel):Do ~30 metara, tanji od DAC-a, ali fiksne-dužine i troši optičku snagu na oba kraja.
- Priključna optika:Potrebno izvan AOC udaljenosti. QSFP-DD i OSFP oblici dominiraju 400G/800G. Sklopovi vlakana MPO/MTP upravljaju paralelnim-vezama vlakana.
Za inter-rack veze i strukturno kabliranje na 400G/800G, paralelna optika preko MPO završetaka sada je standardna. Odabir između magistralnih kabela i rastavnih sklopova ovisi o raspodjeli priključaka vašeg prekidača - pogledajte našeMPO vodilica kabela za probijanjeza praktičnu logiku odabira, i šireUsporedba MPO prtljažnika i izlazakada planirate staze od lista-do-kičme.
RoCE i Ethernet bez gubitaka u AI tkaninama
RoCEv2 (RDMA preko konvergiranog Etherneta v2) dominantan je Ethernet prijenos za AI radna opterećenja. Omogućuje mrežnim karticama premještanje podataka izravno između regija GPU memorije bez uključivanja kernela s bilo koje strane. NCCL, GPU komunikacijska biblioteka koja je temelj gotovo svih distribuiranih okvira za obuku, koristi RoCEv2 kada InfiniBand nije dostupan.
RoCE radi dobro kada je ispravno konfiguriran. Ružno ne radi kada je pogrešno konfiguriran. TheInfiniBand Trade Associationobjavljuje RoCE specifikacije, a većina dobavljača mrežnih kartica i sklopki objavljuje detaljne vodiče za konfiguraciju koje treba slijediti od-do-kraja.
Zašto je ponašanje bez gubitaka važno
RDMA je dizajniran uz pretpostavku prijenosa bez gubitaka. Kada paketi padnu, RDMA oporavak je skup - idi-natrag-N ponovni prijenos može zaustaviti korak obuke na milisekunde, što je enormno u odnosu na mikrosekundni-proračun RDMA.
Za približno ponašanje bez gubitaka na Ethernetu, tkanina koristi dva mehanizma koji rade zajedno:
- PFC (Priority Flow Control, IEEE 802.1Qbb):Prekidač pauzira dolazni promet na određenom prioritetnom redu kada se njegov međuspremnik ispuni. Ovo je krajnji-mehanizam.
- ECN (Explicit Congestion Notification, RFC 3168):Prekidači označavaju pakete kada se redovi približavaju pragu. NIC smanjuje brzinu slanja prije nego što se međuspremnici stvarno popune, idealno izbjegavajući PFC u potpunosti.
Cilj je da ECN obavlja gotovo cjelokupno upravljanje zagušenjem, s PFC-om kao sigurnosnom mrežom. Ako vidite česte PFC pauze u stabilnom-prometu, vaši ECN pragovi su pogrešni ili je vaša tkanina premala.
Uobičajeni kvarovi RoCE implementacije
| Problem | Simptom | Kako provjeriti | Popraviti |
|---|---|---|---|
| MTU neusklađenost kraj-do-kraja | Fragmentacija, ponovni pokušaji RDMA, kolaps propusnosti | Usporedite NIC i MTU sklopke; pokreni ping s DF bitom postavljenim na veličinu MTU | Postavite jumbo MTU (obično 9000 ili 9216) dosljedno na svim mrežnim karticama i svakom prekidaču |
| Neusklađenost PFC prioriteta | PFC okviri generirani ali zanemareni; protutlak se ne širi | Provjerite PFC prioritet konfiguriran na NIC-u u odnosu na mapiranje ulaznog reda čekanja prekidača | Uskladite DSCP-s-mapiranjem prioriteta na svim skokovima |
| Pogrešni ECN pragovi | Ili nema ECN oznaka (zagušenje dok se PFC ne aktivira) ili stalne oznake (potisnut protok) | Nadzirite po-redu ECN-označene brojače paketa pod realnim opterećenjem | Podešavanje pragova Kmin/Kmax; zadane vrijednosti rijetko odgovaraju profilima AI prometa |
| Mješoviti promet na istom prioritetu | Rafali pohrane ili upravljanja ometaju obuku | Provjerite DSCP oznake svake klase prometa na NIC-u i prebacite se | Dodijelite zasebne redove prioriteta za računanje, pohranu i upravljanje |
| Iscrpljenost međuspremnika od incasta | Nasumično ispuštanje paketa tijekom sve-redukcije | Telemetrija po-popunjenosti međuspremnika tijekom kolektivnih operacija | Povećajte dodjelu međuspremnika za prioritet računanja; podešavanje prilagodljivog usmjeravanja |
Kako dizajnirati mrežu klastera umjetne inteligencije: Radni okvir
Ovo je odjeljak koji većina članaka o umrežavanju umjetne inteligencije preskače. Sedam koraka u nastavku daju vam konkretne ulaze i rezultate u svakoj fazi.
Korak 1: Definirajte radno opterećenje i razmjer
Unosi:Vrsta radnog opterećenja (predobuka, fino-podešavanje, zaključivanje, miješano), ciljni GPU broj danas, ciljani GPU broj za 18 mjeseci, raspon veličine modela.
Izlaz:Profil radnog opterećenja koji informira o brzini NIC-a i toleranciji prekomjerne pretplate. Velika prethodna obuka graničnih modela zahtijeva ne{1}}blokirajuće 400G+ tkanine. Opterećenja finog{5}}ugađanja mogu tolerirati prekomjernu pretplatu 2:1. Klasteri zaključivanja često trebaju manju propusnost, ali manju latenciju repa.
Korak 2: Odaberite NIC brzinu i broj po poslužitelju
Logika odluke:
- Predosposobljavanje velikih modela, 8-GPU poslužitelja → 4–8× 400G NIC-ova po poslužitelju ili 4× 800G
- Srednje{0}}obuka, 8-GPU poslužitelji → 2–4× 400G NIC-a po poslužitelju
- Posluživanje zaključaka → 1–2× 200G ili 400G NIC-a po poslužitelju, ovisno o paralelizmu modela
Provjerite PCIe propusnost na hostu. Jedan 400G priključak zahtijeva PCIe Gen5 x16 za rad brzinom linije; udvostručenje na 800G zahtijeva Gen6 ili dijeljenje na dva utora.
Korak 3: Odredite veličinu sloja lista
Djelujući primjer - 32-klastera čvorova, 8 GPU-a po čvoru, 4× 400G NIC-a po čvoru:
- Ukupno potrebni portovi okrenuti-poslužitelju: 32 × 4=128 porta na 400G
- Propusnost silazne veze po čvoru: 4 × 400=1.6 Tbps
- Ukupna silazna propusnost klastera: 32 × 1.6=51.2 Tbps
Koristeći 64-portni 400G leaf switch (ukupni kapacitet 25,6 Tbps), svaki leaf može povezati 32 porta poslužitelja i koristiti preostala 32 porta kao uplinkove. S 4 lista pokrivate svih 128 portova poslužitelja. Svaki list doprinosi 32 × 400G=12.8 Tbps uzlazne veze prema kralježnici.
Korak 4: Odredite veličinu sloja kralježnice
Za dizajn koji ne{0}}blokira (1:1), ukupni kapacitet uzlazne veze mora biti jednak ukupnom kapacitetu veze prema dolje. Od 3. koraka:
- Ukupna potrebna uzlazna veza: 4 lista × 12,8 Tbps=51.2 Tbps
- Ako svaki spin ima 32× 400G porta=12.8 Tbps, potrebna su vam 4 spina
- Svaki se list povezuje sa sva 4 kralježnice koristeći 8 uzlaznih veza po kralježnici (8 × 400G × 4=12.8 Tbps po listu - odgovara)
Ako koristite 64-portne 400G spine preklopnike, svaka spine ima rezervni kapacitet za rast klastera, što je korisno za 18-mjesečni plan od 1. koraka.
Korak 5: Postavite omjer prekomjerne pretplate
| Radno opterećenje | Preporučeni omjer | Obrazloženje |
|---|---|---|
| Veliki{0}}model predosposobljavanje | 1:1 (bez-blokiranja) | Sve-smanjiti dominira; svako zagušenje se javlja na tisućama koraka |
| Fino{0}}ugađanje/obuka srednjeg-razmjera | 1,5:1 do 2:1 | Manje kolektivne veličine; uštede troškova nadmašuju skromno usporavanje |
| Zaključivanje / RAG posluživanje | 2:1 do 4:1 | Uglavnom nezavisni zahtjevi; izboji propusnosti su manji i manje sinkronizirani |
| Mješoviti istraživački klaster | 1.5:1 | Kompromis između troškova i nepredvidive kombinacije posla |
Korak 6: Odvojite računalni, pohranjivački i upravljački promet
Tri opcije, prema redoslijedu povećanja izolacije:
- Dijeljena tkanina s QoS klasama:Računanje, pohrana i upravljanje na zasebnim DSCP prioritetima. Najniži trošak; zahtijeva pažljivu konfiguraciju QoS-a.
- Logički odvojeni VLAN-ovi/VRF-ovi:Isti hardver, odvojene kontrolne razine. Korisno za klastere s više-stanara.
- Fizički odvojene tkanine:Namjenski NIC-ovi, sklopke i kablovi za računalstvo u odnosu na pohranu. Najviši trošak; uobičajeno u graničnim-klasterima modela gdje je bilo kakva prepirka neprihvatljiva.
Promet pohrane za AI sam je težak - zapisi kontrolnih točaka za veliki model mogu premjestiti stotine gigabajta u kratkim nizovima. Planirajte to izričito. Korištenje-postrojenja za strukturirano kabliranje visoke gustoćeMPO/MTP magistralni kabelipojednostavljuje pokretanje paralelnih tkanina u istoj fizičkoj infrastrukturi.
Korak 7: Validacija prije proizvodnje
Testovi-na razini mreže otkrivaju neke probleme. Testovi-razine radnog opterećenja hvataju ostalo.
- Širina pojasa:iperf3 ili ib_send_bw između svakog para čvorova; treba doseći 90%+ brzine NIC linije.
- Latencija:ib_read_lat ili slično; provjerite distribuciju, a ne samo prosjek. P99.9 je važniji od prosjeka.
- Gubitak paketa:Pokrenite 24-satni test natopljenosti pod opterećenjem; problem je svaki gubitak različit od nule u prometnoj klasi RoCE.
- Ponašanje ECN označavanja:Provjerite da se oznake pojavljuju prije nego što se PFC aktivira; ako su PFC pauze česte u stabilnom stanju, ponovno podesite.
- Kolektivna komunikacija:Pokrenite NCCL testove (all_reduce_perf, all_gather_perf) pri punoj veličini klastera. Usporedite s referentnim brojevima dobavljača.
- Test-razine posla:Vodite reprezentativni posao obuke 4-6 sati. Pratite iskorištenost GPU-a - trajne vrijednosti ispod 50% na modelu odgovarajuće-veličine obično ukazuju na problem s mrežom.
Tradicionalna mreža podatkovnog centra u odnosu na AI Spine{0}}Leaf Fabric
| Površina | Tradicionalna DC mreža | AI Spine-Tkanina od lišća |
|---|---|---|
| Dominantan promet | Mješoviti sjever-jug i istok-zapad | Teški GPU-na-GPU istok-zapad, praskavo |
| Tolerancija latencije | Milisekunde prihvatljive | Mikrosekunde su važne; repna latencija kritična |
| Prekomjerna pretplata | 4:1 do 8:1 uobičajeno | 1:1 do 2:1 za tkanine za vježbanje |
| Prijevoz | TCP/IP dominantan | RoCEv2 ili InfiniBand |
| NIC ulogu | Standardna povezanost | Performanse-kritične, često multi{1}}rail |
| Zahtjevi međuspremnika | Ovisno- o aplikaciji | Podešen za incast burst apsorpciju |
| Validacija | Vrijeme odgovora aplikacije | Telemetrija po-toku + skupna mjerila |
Ethernet RoCE u odnosu na InfiniBand: Vodič za brze odluke
Pitanje se pojavljuje u gotovo svakom projektu AI klastera. Oba rade. Izbor se obično svodi na radnu sposobnost, a ne na čistu izvedbu.
- Odaberite InfiniBand ako:Vaš tim već upravlja InfiniBand tkaninama, želite najjednostavniji put do transporta bez gubitaka ili kupujete potpuno-integriranu referentnu arhitekturu dobavljača.
- Odaberite Ethernet RoCE ako:Vaš operativni tim je izvorni za-Ethernet, želite opcije prebacivanja za više-proizvođača, morate integrirati AI tkaninu s postojećim mrežama podatkovnih centara ili predviđate skaliranje izvan onoga što trenutne InfiniBand topologije čisto podržavaju.
Ultra Ethernet Consortium, formiran 2023., aktivno radi na standardizaciji Ethernet poboljšanja posebno za AI radna opterećenja. Za većinu novih klastera u 2026. Ethernet RoCE je branjiva zadana postavka osim ako ne postoji poseban razlog da se izabere drugačije.
Uobičajene pogreške koje treba izbjegavati
Nadogradnja prekidača bez provjere mrežnih kartica
Tkanina preklopnika od 800G vam ne pomaže ako vaše mrežne kartice rade na 400G ili vašem host PCIe-u ponestane propusnosti. Prvo dizajnirajte stranu domaćina, a zatim stranu prekidača. PCIe Gen5 x16 ograničava jedan priključak na oko 504 Gbps u stvarnom-svjetskom protoku - ugodno za 400G, marginalno za 800G.
Optimiziranje brzine porta, ali ignoriranje gustoće kablova
Na 64-portu 400G ostavlja, kablovi ispod svakog preklopnika mogu postati fizički neupravljivi bez planiranja. Koristite prekidne kabele gdje je to prikladno, usmjerite vlakna kroz strukturirane putove i standardizirajte vrste konektora. Kvaliteta konektora i završetak važni su pri velikim brzinama - našivodič za vrste konektora optičkih vlakanapokriva kompromise između LC, MPO i novih faktora visoke-gustoće.
Tretiranje RoCE-a kao Plug{0}}and-Play
Najveća pogreška u dizajnu pravih klastera umjetne inteligencije nije odabir pogrešnog prekidača - to je podcjenjivanje koliko je potrebno-do-krajnjeg RoCE konfiguracijskog rada. Proračunsko vrijeme za podešavanje ECN pragova, PFC prioriteta i dosljednosti MTU. Isplanirajte namjensku fazu provjere prije pokretanja bilo kakvog proizvodnog opterećenja.
Miješanje cijelog prometa na jednoj mreži bez QoS-a
Replikacija pohrane, agenti za nadgledanje i promet upravljanja mogu uništiti vrijeme koraka obuke ako dijele međuspremnike s računalnim prometom. Ili ih fizički odvojite ili nametnite stroge QoS klase s odvojenim prioritetima i ECN konfiguracijom.
Izgradnja samo za današnji klaster
Većina klastera umjetne inteligencije raste 4-8× unutar dvije godine od početne implementacije. Odaberite radiks prekidača i kapacitet kralježnice koji omogućuje ne-razorno širenje. Povlačenje kabela u podatkovnom centru AI pod naponom je skupo; planiranje kanala i kapaciteta zakrpe u vrijeme postavljanja je jeftino.
Kada prijeći s 400G na 800G
Dostupni su 800G NIC-ovi i preklopnici, ali su skuplji po priključku. Razmislite o pojačavanju kada:
- Potrebe za propusnošću po-GPU premašuju ono što 400G može pružiti - na primjer, H100 i noviji GPU s NVLinkom 5 očekuju veću vanjsku propusnost
- NCCL sve-smanjuje vrijeme slabo mjeri s veličinom klastera, što ukazuje na zasićenje mreže
- Gustoća kabela na 400G postaje fizički neupravljiva - manje 800G portova može zamijeniti više 400G portova
- Očekuje se da će ga sljedeća generacija GPU-a u vašem planu trebati unutar okvira amortizacije klastera
- Gradite granični-model klastera za obuku gdje svako vrijeme mirovanja računanja košta znatno više od nadogradnje optike
Za većinu proizvodnih klastera u 2026. 400G ostaje prava ravnoteža troškova, zrelosti ekosustava i mogućnosti. 800G ima smisla na visokoj razini i kao buduća investicija za klastere koji se grade danas i za koje se očekuje da će raditi 4-5 godina.
FAQ
P: Koja je najbolja mrežna arhitektura za AI klastere?
O: Spine{0}}leaf Clos topologija je standardni izbor. Za klastere iznad ~1000 GPU-a proširite na 5-stupnjevitu Clos (super-kralježnicu) ili rail-optimiziranu topologiju. Sama arhitektura je dobro poznata; teži problemi su dimenzioniranje propusnosti, RoCE konfiguracija i provjera valjanosti.
P: Koji je omjer prekomjerne pretplate prihvatljiv za obuku umjetne inteligencije?
O: Za veliki-model pretvježbe, ciljajte na 1:1 (bez-blokiranja). Za fino-ugađanje i srednje-uvježbavanje, 1,5:1 do 2:1 je izvodljivo. Za posluživanje zaključaka prihvatljivo je 2:1 do 4:1. Viši omjeri štede novac, ali smanjuju učinkovitost skaliranja, a prijelomna točka ovisi o tome koliko su vaša radna opterećenja-vezana za komunikaciju.
P: Je li RoCE potreban za AI klastere?
O: RoCEv2 ili InfiniBand su potrebni za bilo koji klaster koji pokreće distribuiranu obuku na razini NCCL-temeljene. Obični TCP/IP ne može pružiti potrebnu latenciju i CPU učinkovitost. Između RoCEv2 i InfiniBanda, birajte na temelju operativne usklađenosti i ekosustava, a ne na čistim performansama.
P: Koliko mrežnih kartica treba GPU poslužitelju?
O: Za 8-GPU poslužitelj, uobičajene konfiguracije su 4× 400G (jedan NIC po dva GPU-a) ili 8× 400G (jedan NIC po GPU-u, optimiziran za tračnicu). Poslužitelji za zaključivanje mogu koristiti 1-2 NIC-a. Odluka ovisi o radnom opterećenju, GPU generaciji, PCIe topologiji i proračunu.
P: Trebaju li AI klasteri odvojene strukture za pohranu i računanje?
O: Mali klasteri mogu dijeliti tkaninu s pravilnim odvajanjem QoS klasa. Srednji-klasteri i veliki klasteri često imaju koristi od fizički odvojenih mreža - računanja na RoCE Ethernetu ili InfiniBandu, pohrane na namjenskoj Ethernet mreži. Klasteri modela Frontier-obično se fizički odvajaju jer je bilo kakva-smetnja prometa neprihvatljiva.
P: Je li Ethernet bolji od InfiniBanda za AI radna opterećenja?
O: Nijedno nije univerzalno bolje. InfiniBand ima dužu evidenciju u HPC-u i nudi vrlo zrelo ponašanje bez gubitaka. Ethernet RoCEv2 ima veću raznolikost dobavljača, integrira se s postojećim mrežama podatkovnih centara i ima koristi od aktivnog razvoja u Ultra Ethernet konzorciju. Upoznatost operativnog tima često je odlučujući faktor.
P: Što zapravo znači AI mreža koja ne{0}}blokira?
O: To znači da je ukupni kapacitet uzlazne veze od-do-kičme jednak ukupnom kapacitetu odlazne veze od-do-poslužitelja, tako da tkanina može održati bilo koji komunikacijski obrazac između bilo kojeg para čvorova pri punoj brzini linije. U praksi je pravo ne-blokiranje skupo; mnoge proizvodne tkanine su "skoro ne{6}}blokirajuće" na 1,1:1 ili 1,2:1 i još uvijek imaju dobre performanse.
P: Koje testiranje otkriva stvarne probleme s RoCE konfiguracijom?
O: NCCL benchmark paketi (all_reduce_perf, all_gather_perf) koji se izvode na punoj skali klastera otkrit će većinu stvarnih problema. Čisti ib_send_bw test između dva čvora može proći dok 32-node all-reduce ima lošu izvedbu zbog incast ili PFC problema. Uvijek provjeravajte u onoj mjeri u kojoj planirate.
Zaključak
Najjača mreža AI klastera nije ona s najbržim prekidačima. To je onaj gdje izbor NIC-a, dimenzioniranje leaf/spine, prekomjerna pretplata, RoCE konfiguracija, odvajanje prometa i fizičko kabliranje podržavaju jedni druge i radno opterećenje za koje su odabrani.
Počnite od radnog opterećenja i 18-mjesečnog plana rasta. Izračunajte potrebe za propusnošću na svakom sloju pomoću stvarnih brojeva, a ne samo praktičnih pravila. Konfigurirajte RoCE od-do-kraja i potvrdite stvarnim referentnim vrijednostima kolektivne komunikacije. Proračun za tvornicu kabliranja - na 400G i 800G, fizički sloj više nije trivijalan.
Klaster koji održava svoje GPU-ove zauzetima na 95%+ iskorištenosti kroz svaki korak obuke je onaj koji je obratio pozornost na sve ove slojeve. Klaster koji se isporučuje s bržim prekidačem i sporijom strukturom potrošit će godine objašnjavajući zašto GPU miruju.
