Umjetna inteligencija preoblikuje dizajn podatkovnih centara. Većina pozornosti ide na GPU, akceleratore i hlađenje, ali sloj koji tiho odlučuje hoće li ostatak izgradnje uspjeti je kabliranje. U klasteru umjetne inteligencije, fizički sloj određuje možete li doista doseći 400G i 800G, hoće li -brze veze ostati dovoljno čiste da propuste promet, hoće li protok zraka preživjeti potpuno popunjenu policu i hoće li vaš sljedeći skok brzine biti zamjena kartice ili nadogradnja viličara.
Ovaj je vodič napisan za timove za infrastrukturu i-optičku mrežu. Objašnjava po čemu se AI kabliranje razlikuje, zahtjeve koji su važni za stvarne brojke, kako usporediti DAC, AOC i strukturirana vlakna, tijek rada planiranja korak--korak, što pripremiti prije migracije na 400G ili 800G i popis za provjeru koji zapravo možete koristiti. Ovdje navedene tehničke reference temelje se na trenutnim standardima IEEE 802.3 i ANSI/TIA-942.
Zašto radna opterećenja umjetne inteligencije mijenjaju zahtjeve za kabliranje podatkovnog centra
Tradicionalni poslovni podatkovni centri izgrađeni su oko prilično predvidljivog prometa aplikacija, većim dijelom sjever-jug, krećući se između korisnika, aplikacija i vanjskih mreža. AI klasteri invertiraju taj obrazac. Tijekom obuke i -zaključivanja velikih razmjera, dominantni tok je istok-zapad: GPU-ovi neprestano međusobno razmjenjuju gradijente i aktivacije kroz zajedničke operacije kao što je sve-reduce, obično preko mreže s daljinskim izravnim pristupom memoriji (RDMA).
To je vidljivo u referentnim dizajnima dobavljača. NVIDIA gradi GPU računalnu mrežu kao RDMA-temeljenu leaf{2}}spine fabric koristećirail-optimizirana topologija tako da je bilo koji GPU udaljen najviše jedan skok od bilo kojeg drugog, što održava multi-GPU komunikaciju učinkovitom na razini. Posljedica kabliranja je sam broj portova: jedan osam-GPU čvor može predstaviti osam 400G (ili 800G) istočno-zapadnih portova, a modul za obuku s nekoliko lisnih prekidača po stalku umnožava trunk fiber i krpanje vrlo brzo.
Kada fizički sloj nije-planiran, problemi se ne pojavljuju prvog dana. Pojavljuju se kasnije, kao zagušeni putovi koji guše protok zraka, kao izolacija greške koja traje satima umjesto minuta, i kao prerada tijekom prvog ciklusa nadogradnje. Detalj koji izgleda trivijalno, kao što je obrnuti polaritet MPO ili kontaminirana čelna površina, može isključiti cijelu tračnicu. Za AI infrastrukturu, kabliranje pripada arhitekturi od samog početka, a ne kao zadnji zadatak prije puštanja u pogon.
Tradicionalno nasuprot AI{0}}kabliranju podatkovnog centra
Jaz između tradicionalnog kabliranja i kabliranja-spremnog za AI je promjena u prioritetima dizajna, a ne samo veći broj kabela. Tradicionalni dizajn optimiziran je za današnju povezanost; AI-spremni dizajni optimiziraju brzu migraciju, gustoću, predvidljivu kvalitetu veze i mogućnost servisiranja tijekom višestrukih ciklusa nadogradnje.
| Faktor dizajna | Tradicionalno kabliranje podatkovnog centra | Kabliranje podatkovnog centra spremno za AI- |
|---|---|---|
| Uzorak prometa | Predvidljivo, često sjeverno-južno jako | Gust promet s GPU-a s istoka-zapada-na-GPU preko RDMA tkanina |
| Planiranje brzine | Određen za trenutnu brzinu mreže | Planirano za 400G i 800G, s putem prema 1.6T |
| Gustoća | Umjerena luka i gustoća vlakana | Paralelno vlakno visoke-gustoće, baza-8 i baza-16 MTP/MPO |
| Upravljanje kabelima | Tretira se uglavnom kao organizacija | Tretira se kao dio protoka zraka, vremena rada i održavanja |
| Put nadogradnje | Često zahtijeva ponovno-povlačenje kabela | Modularno: zamijenite optiku i kazete, zadržite postrojenje s vlaknima |
| Održavanje | Ručno praćenje, sporije | Testirano, označeno, dokumentirano, s definiranim putovima |
Cilj je tvornica vlakana koja može apsorbirati barem jedan skok brzine i jedno proširenje kapaciteta bez redizajna.
Ključni zahtjevi za kabliranje za AI podatkovne centre
Planirajte fizički sloj za 400G i 800G, ne samo za današnju brzinu
Klasteri umjetne inteligencije brzo napreduju na ljestvici brzine, od 100G prema 400G, 800G i na kraju 1,6T. Sučelja 400G i 800G sada su formalno standardizirana:IEEE 802.3df, odobren 2024., definira MAC, fizički sloj i parametre upravljanja za 400 Gb/s i 800 Gb/s Ethernet, uključujući vrste fizičkih medija kao što su 800GBASE-SR8 i 800GBASE-DR8. Što se tiče opreme, 400G obično živi u faktorima forme QSFP-DD ili QSFP112, dok 800G koristi OSFP ili QSFP-DD800. Ako uspoređujete pakiranje primopredajnika i mapiranje traka, ovoQSFP-DD tehnički pregledje korisna polazna točka.
Praktično pravilo: vrsta vlakana veličine, broj vlakana i baza konektora kako bi biljka preživjela sljedeći skok. Prtljažnik dimenzioniran samo za današnju brzinu luke postaje usko grlo u trenutku kada se silikon i optika pomaknu naprijed.
Koristite MTP/MPO vlakno visoke-gustoće za GPU-povezivanje klastera
Brze-veze umjetne inteligencije su paralelna optika, a paralelna optika preslikava se izravno na broj vlakana. 400G-DR4 veza koristi četiri trake ili osam vlakana, obično završavajući u MPO-12 feruli. Veza 800G-SR8 ili 800G-DR8 koristi osam traka ili šesnaest vlakana, često MPO-16 s APC krajevima. Base-8 i base-16 MTP/MPO trunkovi upareni s kazetama konsolidiraju stotine ovih veza po stalku i pretvaraju postavljanje u ponovljive, tvornički testirane poteze umjesto spajanja na terenu. Unaprijed prekinutoMTP/MPO magistralni kabelia rastavni sklopovi (MPO u LC ili MPO u MPO) su okosnica ovog pristupa.
Gustoća se i dalje mora planirati, a ne maksimizirati. Pakiranje vlakana u stalak bez razmišljanja o punjenju putanje i protoku zraka stvara povratni{1}}pritisak na ispuh opreme i onemogućuje servisiranje priključaka. Postavite omjere punjenja i slack{3}}pravila upravljanja prije, a ne nakon prve instalacije.
Upravljajte gubitkom umetanja, čistoćom konektora i polaritetom
Brza-optika umjetne inteligencije manje oprašta od veza koje su bile prije njih. PAM4 signalizacija koja se koristi na 400G i 800G radi na manjim proračunima gubitaka kanala od starijih NRZ veza, a svaki spojeni MPO ili LC par dodaje uneseni gubitak, često nekoliko desetinki decibela po vezi. Preko strukturiranog kanala s nekoliko spojnih točaka i duljinom vlakana, taj proračun brzo nestaje, tako da je broj konektora varijabla dizajna, a ne naknadna misao. Prije finaliziranja kanala vrijedi razumjeti razliku između unesenog gubitka i povratnog gubitka, te zašto su oba važna za paralelnu optiku; ovaj objašnjavač nainsercijski gubitak u optičkim mrežamapokriva mehaniku.
Kontaminacija je jedan od vodećih uzroka kvarova terenskih veza, tako da svaki kraj treba pregledati i očistiti prije spajanja. Za polaritet je potrebna eksplicitna shema (metoda A, B ili C), a jedno-modne paralelne veze općenito koriste kutne APC konektore za kontrolu povratnog gubitka. Radijus savijanja važan je kod gustih ploča, gdje vlakna-neosjetljiva na savijanje kupuju maržu. Pouzdanost je ovdje disciplina instalacije i održavanja jednako kao i izbor komponente.
Dizajnirajte modularnu, skalabilnu strukturiranu-arhitekturu kabliranja
Infrastruktura umjetne inteligencije mijenja se u kratkom ciklusu, tako da postrojenje koje je teško modificirati usporava svaku buduću implementaciju. Strukturirano kabliranje, izgrađeno od debla, kazeta, kućišta i definiranih putova, omogućuje timovima dodavanje kapaciteta ili pre-usklađivanje mreže bez po-povlačenja kabela.ANSI/TIA-942 navodi minimalne zahtjeve telekomunikacijske infrastrukture za podatkovne centrei topologija kabliranja namijenjena za prilagodbu budućim aplikacijama, što je upravo stanje kakvo treba AI konstrukcija. S ovim temeljem, većina nadogradnji brzine postaje stvar zamjene optike i kazeta umjesto ponovne izgradnje fizičkog sloja.
Usmjerite kabele za protok zraka i hlađenje u -stalcima visoke gustoće
AI stalci se zagrijavaju. Gustoća snage u najgušćim GPU regalima može premašiti 100 kW, a na tim razinama zagušeni kablovi izravno uzrokuju recirkulaciju i lokalizirana vruća mjesta.Smjernice ASHRAE TC 9.9 uokviruju toplinsku kontrolu oko ulaza IT opreme i čisto toplo-prolaz/hladno{2}}odvajanje prolaza, a kabliranje to podržava ili radi protiv toga. U praksi to znači nadzemne putove vlakana gdje je to moguće, jasno odvajanje napajanja i podataka, vertikalne i horizontalne upravljače dimenzionirane za stvarni broj kabela, discipliniranu labavost i usmjeravanje koje nikada ne blokira stražnji ispuh ili ormarić dimnjaka. Upravljanje kabelima koje omogućuje praćenje veza također smanjuje ljudske pogreške tijekom premještanja i promjena.
DAC, AOC ili Structured Fiber? Matrica odabira kablova AI podatkovnog centra
Ne postoji najbolji medij za AI klaster; pravi izbor potaknut je dosegom i ulogom. Unutar stalka, bakar kratkog{1}}dometa i dalje pobjeđuje u pogledu cijene, snage i kašnjenja. Kako se veze protežu kroz redove i hodnike, jedno-modno vlakno postaje skalabilna okosnica. Matrica u nastavku uspoređuje uobičajene opcije na način na koji ih pregled dizajna zapravo procjenjuje.
| Opcija | Tipični doseg | Tipična brzina | Gdje stane | Mediji i konektor | Cijena i snaga | Najbolji-slučaj upotrebe |
|---|---|---|---|---|---|---|
| Pasivni DAC | Do cca 3m | Do 400G (na primjer 400G-CR8) | Unutar-stalka i susjedni-gornji{2}}stalak-stalka | Twinax bakar, integrirani krajevi | Najniža cijena, najmanja snaga, najmanja latencija | GPU ili poslužitelj za listanje unutar istog ili sljedećeg polica |
| AOC | Nekoliko metara do otprilike 30 m, u nekim slučajevima i duže | 400G i 800G | Unutar reda, preko obližnjih polica | Višemodna jezgra, fiksni krajevi primopredajnika | Niska snaga, bez čišćenja kraja polja | Trajni poslužitelj-za-ostavljanje veza izvan dosega DAC-a |
| Višemodno strukturirano vlakno (OM4/OM5) | Deseci metara, do oko 100 m, kraće na 800G | 400G i 800G SR/VR | Lisna-kralješka unutar hodnika | OM4/OM5 s MTP/MPO i LC | Za višekratnu upotrebu i servisiranje | Kratke veze od-do-kralja i-od-reda |
| Jedno{0}}modno strukturirano vlakno (OS2) | 500 m do 2 km (DR/FR), do 10 km (LR) | 400G i 800G DR/FR/LR | Kralježnica, poprečna-soba, poprečna-zgrada | OS2 s MTP/MPO (APC) i LC/APC | Najveći doseg i skalabilnost | Spine uzlazne veze, cross{0}}hall i veće GPU tkanine |
To je i razlog zašto opća izjava kao što je "vlakna su uvijek poželjna" zahtijeva upozorenje: vlakna su skalabilni temelj za tkaninu, ali pasivni DAC je još uvijek bolji inženjerski izbor za jedan-metarski skok unutar stalka.
Kako planirati kabliranje AI podatkovnog centra, korak po korak
Korak 1: Mapirajte radno opterećenje umjetne inteligencije i topologiju mreže
Počnite s opterećenjem. Velika jedinica za obuku, visoko-flota za zaključivanje propusnosti, HPC klaster i pohrana-teška implementacija ne dijele isti profil prometa. Zatim mapirajte gdje se povezuju GPU računala (istok-zapad), pohrana, sjever-jug i mreže za upravljanje izvan-pojasa-. Za implementaciju čistog zaključivanja možda uopće neće trebati velika istočno-zapadna tkanina, dok konzola za vježbanje s više-stalaka hoće. Projektirajte prema stvarnom tijeku prometa, a ne samo prema visini police.
Korak 2: Zaključajte trenutne i buduće ciljeve brzine
Definirajte i prvu i sljedeću fazu. Ako mahuna radi 400G danas i 800G sljedeće godine, postrojenje s vlaknima sada mora biti dimenzionirano za 800G. Izvan tog horizonta, rad na Ethernetu-klase terabita već je u tijeku:Radna grupa IEEE P802.3dj definira rad 200G, 400G, 800G i 1,6 Tb/s koristeći signalizaciju od 200 Gb/s-po-traci. Znajući kamo ide mapa puta govori vam koliko vlakana i kapacitet puta trebate rezervirati.
Korak 3: Odaberite medije i konektore s marginom
Pitanje OS2-nasuprot-OM4 uglavnom je pitanje dosega. OM4 je u redu za veze ispod-100 m leaf-spine, ali domet se smanjuje kako brzina raste, tako da kada veze prijeđu redove ili hodnike, ili kada želite 800G DR/FR prostora, single-mode OS2 je sigurnija osnova. Pregledavanjeograničenja udaljenosti OM1 do OM5 višemodnog vlaknačini kompromis-konkretnim. Uskladite MPO bazu (12 naspram 16) s mapom optičkih vlakana i unaprijed planirajte polaritet; za ploče visoke-gustoće ovoMTP vs MPO vodič za odabirpokriva razlike koje su važne. Tamo gdje primopredajnik i brzina priključka ne odgovaraju, planirajte proboje (MPO do LC) umjesto improvizacije u vrijeme instalacije.
Korak 4: Zajedno isplanirajte gustoću regala, putove i protok zraka
Raspored stalka, usmjeravanje kabela i hlađenje jedna su odluka u -okruženju umjetne inteligencije visoke gustoće, a ne tri. Prije instalacije izbrojite koliko kabela ulazi i izlazi iz svakog stalka, odlučite gdje se nalaze patch paneli, isplanirajte labavost i potvrdite da tehničar može doći do priključka i zamijeniti ga bez ometanja živih veza. Ostavite prostor za rast u posudama i omjerima punjenja. Stalak koji izgleda čist pri puštanju u rad postaje neupotrebljiv nakon dva ciklusa nadogradnje ako su staze prvog dana maksimalne.
Korak 5: Testirajte, dokumentirajte i održavajte do Spec
Testirajte svaku poveznicu na specifikaciju projekta, što za vlakna velike brzine znači-ispitivanje gubitaka pri umetanju, OTDR gdje je to potrebno, provjeru polariteta i inspekciju čeonih površina. Dokumentirajte svaki priključak, trunk, kasetu i put, uključujući shemu polariteta, duljinu i izmjereni gubitak, s oznakama koje se preslikavaju na-izgrađene crteže. Održavanje tada postaje rutina: čišćenje krajnjih površina, periodične revizije i kontrola naljepnica i promjena. Prateći zvukpraksa postavljanja optičkih kabelaza vučnu napetost i radijus savijanja štiti proračun gubitaka za koji ste testirali.
Što pripremiti prije migracije 400G ili 800G
Migracije ne uspijevaju na fizičkom sloju češće nego na optičkom. Prije nego što prerežete, obavite sljedeće:
- Potvrdite vrstu i broj vlakana i provjerite doseže li postojeći OM4 ciljnu brzinu jer podržana udaljenost opada kako raste brzina linije.
- Provjerite odgovara li baza konektora novoj optici (MPO-12 nasuprot MPO-16) i je li shema polariteta i dalje u skladu s krajem.
- Ponovo izračunajte proračun gubitka veze za PAM4, zatim smanjite broj veza gdje možete i ponovo-pregledajte svaki kraj.
- Potvrdite kapacitet staze i ladice za dodane kablove i potvrdite toplinski prostor za stalak za optiku veće{0}}snage.
- Kazete za pozornicu, koferi, etikete i plan testiranja unaprijed, tako da je prelazak zamjena-u, a ne ponovno-povlačenje.
Uobičajene pogreške koje treba izbjegavati
Određivanje veličine samo za današnju propusnost.Tvornica izgrađena za trenutne brzine brzo stari. Izgradite realističan put do veće brzine i veće gustoće priključaka.
Tretiranje upravljanja kabelima kao kozmetike.Uredno kabliranje je korisno, ali upravljanje se zapravo odnosi na protok zraka, pristup i izolaciju greške, a ne izgled.
Žrtvovanje pristupa održavanju zbog gustoće.Visoka-gustoća nije "što kompaktnija." Ako tehničar ne može sigurno pronaći i zamijeniti vezu, dizajn će vas koštati tijekom stvarnih operacija.
Kupnja komponenti u izolaciji.Kabeli, konektori, paneli, primopredajnici, stalci i putovi čine jedan kanal. Dio koji sam po sebi izgleda jeftino može pokriti cijelu tkaninu kada se poveća.
AI-Kontrolni popis spremnosti za spremanje kablova
Proučite ih prije skaliranja GPU-a. Svaka stavka ima konkretan prolazni uvjet, a ne nejasno da ili ne.
- Visina brzine:Može li instalirano vlakno podržati barem jedan skok brzine (na primjer 400G na 800G) bez ponovnog -povlačenja i je li broj vlakana prilagođen mapi traka optike (osam ili šesnaest vlakana)?
- Proračun gubitka:Je li svaki -kanal velike brzine unutar svog dopuštenja za-gubitak umetanja PAM4, s potvrđenim brojem veza i inspekcijom na kraju?
- Gustoća naspram usluge:Može li tehničar dosegnuti, pratiti i zamijeniti bilo koji priključak bez ometanja tračnice pod naponom?
- Protok zraka:Održavaju li putovi stražnji ispušni sustav i prolaz čistima te jesu li napajanje i podaci odvojeni?
- Dokumentacija:Je li svaka poveznica ispitana i snimljena sa svojom shemom polariteta, duljinom i gubitkom te označena da odgovara-izgrađenim crtežima?
- Skala:Proširuje li se topologija-spine, rail-optimizirana na sljedeću mahunu bez redizajna?
- Prilagodba medija:Je li svaki medij veze odabran prema dosegu, brzini, toplinskom utjecaju i mogućnosti servisiranja, s DAC-om u-stalku i OS2 u različitim dvoranama?
Ako je nekoliko odgovora negativno, redizajnirajte fizički sloj prije skaliranja radnih opterećenja umjetne inteligencije, a ne nakon prvog proširenja.
FAQ
P: Kakvo kabliranje treba za 400G i 800G AI mreže?
O: Rade na paralelnoj optici preko MTP/MPO vlakana. Veza 400G-DR4 koristi osam vlakana, obično MPO-12, dok 800G-SR8 ili 800G-DR8 koristi šesnaest vlakana, često MPO-16 s APC-om. OM4 ili OM5 pokrivaju kratki doseg, OS2 pokriva duži doseg, a pasivni DAC obrađuje najkraće skokove u stalku. Sama sučelja definirana su u IEEE 802.3df.
P: Je li jedno-modno ili višemodno vlakno bolje za AI podatkovne centre?
O: Ovisi o udaljenosti. Višemodni OM4 ili OM5 isplativi su-za lisnate-veze kralježnice ispod otprilike 100 m, ali podržana udaljenost smanjuje se na 800G. Single-mode OS2 bolji je temelj nakon povezivanja redova ili hodnika ili kada želite doseg od 800G DR/FR i budući prostor od 1,6T. Mnoge velike tkanine standardiziraju OS2 iz tog razloga.
P: Kada bi podatkovni centar AI trebao koristiti DAC, AOC ili optičke primopredajnike?
O: Koristite pasivni DAC za veze do otprilike tri metra unutar ili između susjednih regala, gdje daje najnižu cijenu, snagu i latenciju. Koristite AOC za stalne veze od nekoliko metara do otprilike nekoliko desetaka metara. Koristite priključne primopredajnike sa strukturiranim vlaknima kada trebate doseg, ponovnu upotrebu i mogućnost servisiranja veze.
P: Kako izračunavate proračun gubitaka kabliranja za -brze veze?
O: Počnite od dopuštenja za -gubitak umetanja kanala koje navodi standard primopredajnika (na primjer 800GBASE-SR8 ili 800GBASE-DR8). Oduzmite atenuaciju vlakna pomnoženu s duljinom, plus gubitak svakog spojenog para konektora, što je često nekoliko desetinki decibela, plus sve spojeve, i ostavite marginu u rezervi. Proračuni za PAM4 manji su od starijih NRZ veza, tako da broj veza i čistoća kraja izravno odlučuju o prolaznosti kanala.
P: Kako kabliranje utječe na hlađenje u -stalcima s umjetnom inteligencijom velike gustoće?
O: Zagušeni snopovi kabela ometaju protok zraka, stvaraju povratni{0}}pritisak na ispušne plinove opreme i uzrokuju recirkulaciju i vruća mjesta, što je važno pri gustoći GPU regala koja može premašiti 100 kW. Nadzemni putovi, odvojeno napajanje i podaci, pravilno dimenzionirani upravljači i usmjeravanje koje održava ispušne plinove i zatvorene prostore čistima, sve to štiti dizajn hlađenja.
P: Je li bakar još uvijek prikladan za AI podatkovne centre?
O: Da, za kratko u-rack i susjedne-rack veze, gdje je DAC učinkovit izbor. Visoka-gustoća i duži promet prelaze na vlakna za propusnost, doseg i skalabilnost.
P: Zašto su MTP/MPO konektori uobičajeni u AI kablovima?
O: Nose osam do dvadeset-četiri vlakna u jednoj feruli, što je upravo ono što je potrebno paralelnoj optici, i omogućuju-završene spojeve za brze, ponovljive instalacije visoke-gustoće.
Ključni zahvati
Radna opterećenja umjetne inteligencije mijenjaju zahtjeve za kabliranje podatkovnog centra oko veće propusnosti, gušćih paralelnih vlakana, malih proračuna za gubitke, usmjeravanja-svjesnog protoka zraka i kratkih ciklusa nadogradnje. Fizički sloj sam po sebi neće učiniti GPU brže, ali pogrešan sloj ograničava performanse, pouzdanost i brzinu nadogradnje cijelog okruženja.
Najsigurnije načelo projektiranja je planiranje pogona vlakana, kapaciteta staze, arhitekture krpanja i modela dokumentacije prije nego što GPU regali slete, a ne nakon prvog ciklusa proširenja. Izgradite za barem jedan skok brzine, odaberite medije prema ulozi, a ne prema navici, i tretirajte čistoću konektora, polaritet i protok zraka kao prvorazredna ograničenja dizajna. Prije postavljanja ili proširenja, pregledajte svoje trenutno kabliranje u odnosu na gornji popis; za strukturno kabliranje i MTP/MPO komponente, istražite našerješenja optičkih vlakana.
