InfiniBand u odnosu na RoCE za AI Inference Networks

OdaberiteInfiniBandkada vaše radno opterećenje zaključivanja živi ili umire zbog predvidljive latencije repa, i odaberiteRoCE(RDMA preko konvergiranog Etherneta) kada želite performanse klase RDMA-na Ethernet strukturi, možete skalirati, dijeliti i raditi s timom koji već imate. Nijedna opcija ne pobjeđuje svugdje. Pravi poziv ovisi o vašem uzorku zaključivanja, vašim ciljevima latencije p99 i p999, veličini GPU-a, proračunu i koliko stručnosti-Ethernet podešavanja bez gubitaka zapravo postoji u vašem timu.

Zašto je mreža važnija nego što timovi za zaključivanje očekuju

Godinama je zaključivanje tretirano kao lakša polovica priče o GPU-u: model učitan na jednom čvoru, zahtjevi koji se poslužuju neovisno, vrlo malo istočno-zapadnog prometa. Ta je slika sada zastarjela. Moderno zaključivanje sve je više rasprostranjeno, a nekoliko uzoraka stvara pravi pritisak na tkaninu.

• Tenzorski paralelizamdijeli jedan sloj na GPU-ove, tako da svaki korak tokena pokreće sve-reduce ili all{1}}gather operacije između njih. To je čest,-osjetljiv na kašnjenje, cross-GPU promet koji GPU blokira dok čeka.
• Paralelizam cjevovodapredaje aktivacije s jedne faze na drugu, često preko čvorova, dodajući među-ovisnosti čvorova svakom prolazu naprijed.
• Rastavljeno prethodno popunjavanje i dekodiranjeodvaja fazu faze-faze predispunjavanja računanja od-faze dekodiranja osjetljive na kašnjenje, zatim premješta KV predmemoriju između njih. Ti su prijenosi veliki i brzi, a svako kašnjenje izravno se pokazuje kao sporije vrijeme-do-prvog-tokena i kašnjenje između-tokena.
• Dohvaćanje-prošireno generiranje (RAG)dodaje istočno-zapadni promet vektorskim i pretraživačkim uslugama. Obično je manja latencija-kritična od kolektivnih operacija, ali i dalje učitava strukturu, posebno pri velikoj količini upita.
• Posluživanje-zakupacastavlja mnoge modele i korisnike na istu strukturu, gdje mikropraskovi i bučni-učinci susjeda postaju dominantan rizik.

Kada je mreža usko grlo, simptomi su skupi: duže vrijeme-do-prvog-tokena, GPU-ovi koji se zaustavljaju dok čekaju podatke, propusnost koja pada pod burstovima i nestabilni p95 i p99. A ovdje je dio koji zaobilazi mjerila: prosječna latencija skriva sve to. Zaključak o proizvodnji ocjenjuje se na temelju repa, a ne srednje vrijednosti.

InfiniBand u odnosu na RoCE: Sažeta tablica za zaključivanje umjetne inteligencije

Što je InfiniBand?

InfiniBand je namjenski{0}}izgrađena mrežna struktura dizajnirana od samog početka za nisku latenciju, visoku propusnost i komunikaciju bez gubitaka. To nije brži okus Etherneta. Dolazi s vlastitim adapterima glavnog kanala, preklopnicima, upraviteljem podmreže, ekosustavom kabliranja i-modelom kontrole zagušenja. Njegova definirajuća vrijednost je determinističko ponašanje: mnogi GPU-ovi mogu komunicirati s ograničenim vremenskim zahtjevima, a tkanina se ponaša dosljedno čak i kada je zajednički promet gust.

Moderne AI-orijentirane InfiniBand platforme proširuju tu bazu mogućnostima usmjerenim izravno na velike GPU klastere. NVIDIA Quantum InfiniBand linija, na primjer, dodajeprilagodljivo usmjeravanje,-mrežno računalstvo i kontrola zagušenja-temeljena na telemetriji, koji pomažu tkanini da inteligentno rasporedi promet i izolira teret jednog stanara od tereta drugog. Za zaključak, InfiniBand zaslužuje svoje mjesto kada radno opterećenje ne može tolerirati podrhtavanje ili kada nekoliko GPU čvorova mora brzo i dosljedno razmjenjivati ​​podatke.

Kompromisi-su troškovi, koncentracija ekosustava i operativna specijalizacija. Namjenska InfiniBand tkanina znači namjenske sklopke, adaptere, kabele ili optičke module, a inženjeri su zadovoljni upravljanjem InfiniBand tkaninom. Za organizaciju koja već ima velika Ethernet imanja, pričvršćivanje zasebne mreže povećava složenost nabave, planiranje rezervnih-dijelova i nadgledanje.

Što je RoCE (RDMA preko konvergiranog Etherneta)?

RoCE donosi RDMA, izravno kretanje podataka iz-memorije u-memoriju s malim opterećenjem CPU-a, u Ethernet mreže. RoCEv2, verzija koja se koristi u modernim podatkovnim centrima, može se usmjeravati kroz IP mreže sloja 3 i standardizirana je od straneInfiniBand Trade Association. Ta mogućnost usmjeravanja je ono što omogućuje RoCE-u da se prirodno uklopi u Ethernet leaf-spin dizajn dok ponovno koristi poznate NIC-ove, prekidače, optiku i alate za nadzor.

Kvaka je u tome što RDMA prijenosi pretpostavljaju gotovo-mrežu bez gubitaka. Ispustite paket i prijenos se vraća na ponašanje ponovnog slanja koje uništava latenciju repa. Dakle, RoCE treba Ethernet ispod sebe kako bi se ponašao kao tkanina bez gubitaka, a to ovisi o pažljivoj konfiguraciji posebno dvaju mehanizama:Kontrola prioritetnog protoka (IEEE 802.1Qbb), koji pauzira jednu klasu prometa kako bi spriječio padove, iEksplicitna obavijest o zagušenju (ECN), koji rano signalizira zagušenje tako da pošiljatelji usporavaju prije nego što se međuspremnici prepune. Dodajte tome upravljanje redom čekanja, dodjelu međuspremnika i QoS mapiranje, i postaje jasno da RoCE visokih-performansi nije običan Ethernet.

Dobro izveden, RoCE pruža dovoljno kašnjenja i propusnosti za širok raspon proizvodnih usluga zaključivanja, a mnoga radna opterećenja zaključivanja manje su sinkronizirana od distribuirane obuke, što RoCE-u ide u prilog. Loše izveden, proizvodi gubitak paketa, blokiranje--linije, širenje zagušenja i nestabilne repove, što se sve izravno pretvara u degradiranu kvalitetu usluge.

InfiniBand u odnosu na RoCE kašnjenje: Što je bolje za zaključivanje p99?

Obje mreže mogu isporučiti umrežavanje velike-propusnosti, niske-latencije. Razlikuju se po tome kako dođu tamo. InfiniBand je po konstrukciji deterministički, tako da podrhtavanje ostaje nisko čak i pod miješanim opterećenjem. RoCE se može mjeriti s njim za mnoga radna opterećenja, ali rezultat ovisi o Ethernet strukturi i tome koliko je dobro podešena.

Iz perspektive implementacije, pravi problem u proizvodnji rijetko je vršna propusnost. Trese se pod mješovitim, brzim, multi-prometom. RoCE tkanina koja je uspješna u čistom testu propusnosti u iperf-stilu još uvijek može promašiti svoj p99 cilj u trenutku kada na scenu uđu mikropukovi i sukobi. Taj jaz između laboratorijske referentne vrijednosti i proizvodnog SLA-a je mjesto gdje živi najviše iznenađenja.

InfiniBand ima prednost kada:

• Usluga ima stroge ciljeve kašnjenja p99 ili p999.
• Zaključivanje obuhvaća višestruke GPU čvorove s paralelizmom tenzora ili cjevovoda ili koristi rastavljeno prethodno popunjavanje i dekodiranje.
• Iskorištenje GPU-a vrlo je osjetljivo na mrežno kašnjenje, pa su zastoji skupi.
• Klaster pokreće mali broj radnih opterećenja-visokog prioriteta gdje predvidljivost nadmašuje fleksibilnost.

RoCE je obično dovoljno dobar kada:

• Zahtjevi su uglavnom neovisni ili je veza labava.
• Rad se odvija unutar čvora ili malog broja čvorova.
• Skupna propusnost važnija je od ultra-niske latencije repa.
• Tim već koristi Ethernet, a prioritet je fleksibilnost troškova ili dobavljača.
• Klaster podržava više stanara ili mješovita radna opterećenja.

RoCE u odnosu na InfiniBand trošak: Što zapravo pokreće TCO?

RoCE se često naziva jeftinijom opcijom, ali cijena prekidača mali je dio slike. Realistična usporedba gleda na cijeli niz: mrežne adaptere ili HCA-ove, preklopnike, optičke module, DAC, AOC i optičke kablove, topologiju stalka, napajanje i hlađenje, mrežni operativni sustav, nadzor i telemetriju, vrijeme inženjeringa, rezervne dijelove, podršku dobavljača i put do 400G ili 800G.

InfiniBand obično nosi veće početne troškove jer zahtijeva namjensku tkaninu i specijalizirane komponente. U okruženjima u kojima je determinističko ponašanje glavni prioritet, može smanjiti napor podešavanja i rješavanja problema koje zahtijeva Ethernet mreža bez gubitaka. RoCE smanjuje troškove hardvera kada se postojeće Ethernet imanje, s pravom podrškom za premošćivanje podatkovnog centra, može ponovno upotrijebiti, ali preusmjerava napore na projektiranje, provjeru valjanosti, nadzor i rješavanje problema strukture bez gubitaka. Nisko{3}}cijenovni RoCE dizajn brzo postaje skup ako uzrokuje nestabilnu latenciju i opetovano gašenje požara.

Trošak i rizik koncentriraju se na fizičkoj razini kako brzine rastu. Na 400G i 800G, optika dominira iu načinu rada iu kvaru. Većina-brzih luka pristaje naQSFP-DD ili usporedivi faktori oblika, i podudaranje desnojedno-modna ili višemodna optikado vašeg stvarnog dosega jedan je od najjednostavnijih načina da izbjegnete prekomjerno trošenje na tkaninu koja ne treba-module za velike udaljenosti.

Iskreno rečeno: RoCE nije jeftinija opcija ako vašem timu nedostaje stručnjaka za-Ethernet bez gubitaka. Uštede na hardveru mogu se brzo pojesti troškovima inženjeringa održavanja tkanine stabilnom.

Skalabilnost i operacije

Skalabilnost je više od broja priključaka. To uključuje koliko se lako tkanina postavlja, nadzire, proširuje i oporavlja kada nešto zakaže.

InfiniBand je jak kada je klaster dizajniran kao namjenska tkanina visokih-performansi od prvog dana. Omogućuje dosljedno ponašanje na razini, ali očekuje InfiniBand-specifične alate, kao što je upravitelj podmreže i objedinjeno upravljanje strukturom, te osoblje koje je ugodno s InfiniBand konceptima. To ga čini prirodnim za centralizirane AI klastere izgrađene oko GPU radnih opterećenja.

RoCE uključuje dizajne Ethernet podatkovnih centara: leaf{0}}topologije, IP usmjeravanje, ECMP i poznate prakse nadzora. Upravo zbog toga privlači stil-oblaka i više{3}}GPU infrastrukturu. Disciplina koju zahtijeva je dosljednost. PFC, ECN, QoS, upravljanje međuspremnikom i kontrola zagušenja moraju biti dizajnirani koherentno na cijelom putu, jer mala pogrešna konfiguracija u jednom kutu strukture može proširiti i pogoršati mnoga radna opterećenja odjednom. Fizički sloj se također mora čisto mjeriti; visoka-gustoćaMPO i MTP magistralno i prekidno kabliranjeodržava rastuću strukturu leaf{0}}kičme upravljivom umjesto da svako proširenje pretvara u zagonetku kabliranja.

Vrijedno je istaknuti -točku zrcalne slike: InfiniBand je teško opravdati kada zaključak ostaje uglavnom unutar jednog čvora, a tkanina se jedva koristi.

Koja mreža za svako radno opterećenje zaključivanja

Kada je RoCE dovoljno dobar, a kada postane riskantan

RoCE je dovoljno dobar za neovisne ili labavo povezane zahtjeve, skupni rad-orijentiran na propusnost i klastere s više-stanara gdje možete podesiti izolaciju, posebno kada tim tečno poznaje Ethernet za premošćivanje podatkovnog centra. Postaje rizično na specifične, prepoznatljive načine:

• PFC oluje.Pauzirani okviri šire se uzvodno i zamrzavaju promet koji nije imao nikakve veze s izvornim zagušenjem.
• Blokiranje --linije.Grubo mapiranje prioriteta omogućuje jednoj zagušenoj klasi da zaustavi druge koji dijele red.
• ECN pogrešno podešavanje.Označite prekasno i dobit ćete kapi; označite previše agresivno i nepotrebno smanjujete propusnost.
• Microburst zagušenja.Rafali ispod{0}}sekunde prelijevaju međuspremnike, ali ostaju nevidljivi za praćenje tih uzoraka pri rezoluciji od-sekunde.
• Nedosljedna konfiguracija.Neusklađene postavke preko lista i kralježnice uzrokuju širenje zagušenja umjesto da ostanu lokalno.

Ništa od navedenog nije razlog za izbjegavanje RoCE-a. To su razlozi da dizajnirate strukturu bez gubitaka koherentno od kraja do kraja i da uložite u fino{1}}zrnatu telemetriju s-svjesnošću mikropraska prije skaliranja.

Kada se InfiniBand isplati i kada kupujete previše

InfiniBand je vrijedan svoje premije za striktne p99 i p999 ciljeve, usko povezano više-posluživanje čvorova i-kritična radna opterećenja gdje su SLA kazne visoke, posebno na namjenskom GPU klasteru dizajniranom oko strukture. Vjerojatno pretjerate kada zaključivanje ostane unutar čvora, kada je rad-orijentiran na propusnost, kada vam je potrebna ista tkanina za prijenos pohrane, upravljanja i prometa u oblaku s više-zakupaca ili kada vam jednostavno nedostaje operativni kapacitet da dobro pokrenete InfiniBand.

Troškovi koji se ne pojavljuju u ponudi za prebacivanje su stvarni: koncentracija ekosustava, režijski troškovi pokretanja druge mreže paralelno s vašom Ethernet mrežom i zasebno planiranje rezervnih dijelova, optike i nadzora.

Kako testirati InfiniBand u odnosu na RoCE prije nego što odaberete

Nemojte odlučivati ​​o ugledu protokola ili specifikacijama. Odlučite se za mjerilo koje sliči proizvodnji. Praktičan slijed:

• Definirajte SLA u repovima.Postavite p50, p95, p99 i p999 za vrijeme-do-prvog-tokena i među-tokenima kašnjenje, a ne samo prosjek.
• Ponovite realističan promet.Koristite brze, mješovite veličine modela i multi{0}}konkurenciju umjesto jednog čistog toka.
• Opterećenje do zagušenja.Gurajte tkaninu dok se istinski ne stisne, zatim izmjerite iskorištenost GPU-a. Ako GPU-i zastaju na mreži, tkanina je vaše usko grlo.
• Pazi na prave kontre.Pratite okvire pauze, ECN oznake, ispuštanja paketa, ponovne prijenose, brojače pogrešaka portova i, na 400G i 800G, FEC pogreške.
• Potvrdite fizički sloj.Čista, ispravno postavljena vlakna su važna;pažljivo postavljanje vlakanasprječava povremene pogreške-za-dijagnosticiranje kojima su sklone-brze veze.

Ako RoCE drži svoj cilj p99 pod realnim, konkurentnim opterećenjem više-stanara sa stabilnim brojačima, to je snažan i tro-učinkovit izbor. Ako prolazi samo čiste testove jednog-streama, još niste testirali stvar koja odlučuje o vašem SLA-u.

Uobičajene pogreške koje treba izbjegavati

• Pod pretpostavkom da je sve zaključivanje lagano umrežavanje.Neki su zaključci jednostavni i neovisni; neki su distribuirani,-osjetljivi na latenciju i-potrebni su za propusnost. Tretiranje svega toga kao lakog dovodi do nedovoljno izgrađene infrastrukture.
• Uspoređivanje samo prosječne latencije.Zaključak o proizvodnji ovisi o repu. Uvijek procijenite p95, p99 i p999 pod realnim prometom.
• Tretiranje RoCE-a kao plug{0}}and-Etherneta.RoCE visokih-izvedbi zahtijeva namjeran dizajn bez gubitaka{1}}tkanice, kontrolu zagušenja i kontinuiranu vidljivost.
• Odabrati InfiniBand samo zato što je brži.Opcija najbolje izvedbe nije uvijek najbolja poslovna opcija. Ako radno opterećenje ne zahtijeva determinističko ponašanje, RoCE može pružiti bolju vrijednost.
• Zanemarujući fizički sloj.Na 400G i 800G, kablovi, optika, konektori i čistoća vlakana stvaraju povremene greške koje je teško pronaći i skupe za popravljanje.

Zaključak

Za zaključivanje umjetne inteligencije, InfiniBand i RoCE su valjani i služe različitim prioritetima. Odaberite InfiniBand kada vam je potrebna najkonzistentnija mreža niske-latencije za stvarno-vrijeme, SLA-osjetljivo ili čvrsto povezano zaključivanje. Odaberite RoCE kada trebate skalabilnu,-temeljenu na Ethernetu,-cijenovno učinkovitu strukturu za grupno zaključivanje, više-GPU usluge, RAG radna opterećenja i fleksibilnu infrastrukturu.

Odluka bi trebala početi s radnim opterećenjem, ciljnom latencijom, razmjerom klastera, vašim operativnim sposobnostima i planom nadogradnje, a ne s protokolom. Ako vaš klaster mora držati strogi p99 pod velikim opterećenjem, InfiniBand zaslužuje ozbiljno razmatranje. Ako je vaš cilj ekonomično skalirati zaključivanje preko Ethernet podatkovnog centra, RoCE je obično praktičniji put. U svakom slučaju, mjerite performanse u produkciji-poput učitavanja prije nego što se obvezujete.