100G QSFP28 Spine-Dizajn lista: Izbjegavajte pogreške u priključcima

100G spine{1}}leaf fabric jedan je od najpouzdanijih načina za povezivanje 25G poslužitelja, 100G uplinkova, klastera za pohranu i istočno-zapad-teških radnih opterećenja u modernom podatkovnom centru. Privlačnost QSFP28 je njegova fleksibilnost: jedan port može nositi izvornu 100G vezu ili se razdvojiti na četiri 25G poslužiteljske veze, tako da jedan prekidač može služiti i rubu pristupa i jezgri tkanine.

Brze promjene su lakši dio. Dizajn od 100G živi ili umire ovisno o odlukama donesenim prije narudžbenice: kako je svaki priključak dodijeljen, kako izgleda omjer prekomjerne pretplate u normalnim i neispravnim uvjetima, koja optika odgovara stvarnim kabelima, koliko topline ta optika dodaje i može li tkanina rasti prema 400G bez nadogradnje viličara.

Ovaj je vodič-neutralna referenca planiranja za mrežne i infrastrukturne timove. Donje brojke slijede trenutne IEEE 802.3 Ethernet specifikacije i relevantne ugovore o optičkim više-izvorima, ali svaki prekidač i primopredajnik imaju vlastitu podatkovnu tablicu, pa potvrdite točne brojke za hardver koji kupujete.

Kako čitati primjere u ovom vodiču.Osim ako nije drugačije navedeno, oni pretpostavljaju pojedinačne-postavljene poslužitelje s jednim 25G NIC-om svaki, 48 host portova po lisnom dijelu, 100G leaf{4}}to-uplinkovima, potpunom mrežom u kojoj se svaki list povezuje sa svakim kralježnicom i omogućenim ispravljanjem pogrešaka naprijed gdje to optika zahtijeva. Dual-homing, brži NIC-ovi ili različiti brojevi priključaka promijenit će svaki sljedeći broj.

Što je 100G Spine{1}}Leaf Network?

Spine{0}}leaf dvoslojna je-arhitektura podatkovnog centra izgrađena od leaf switcheva i spine switcheva. Listni preklopnici nalaze se na vrhu svakog stalka i pružaju-priključke okrenute prema poslužitelju plus uzlazne veze do kralježnice. Spine prekidači čine-glavnu okosnicu velike brzine. Svaki se list povezuje sa svakim kralješkom, tako da se promet između regala pomiče od lista do kralješka do lista duž putanje jednake-duljine.

Dizajn je popularan jer pruža:

• Predvidljiva, jednaka duljina puta između bilo koja dva stalka
• Izvorna podrška za gust promet na istok-zapad
• Sve uzlazne veze aktivne putem ECMP-a, a ne blokirane razapinjućim stablom
• Jednostavno vodoravno skaliranje - dodajte listove za otvore, dodajte bodlje za kapacitet

U strukturi od 100G, veze od-na-kičmu rade pri 100G, dok priključci-okrenuti prema poslužitelju rade pri 10G, 25G, 50G ili 100G, ovisno o radnom opterećenju. Danas je 25G pristup sa 100G uplinkovima najčešća kombinacija za poduzeća.

Fizički dizajn nasuprot logičkom dizajnu

"Dizajn mreže" pokriva dva sloja koja je lako spojiti. Ovaj se vodič usredotočuje na fizički sloj i sloj kapaciteta - portove, optiku, prekomjernu pretplatu, kabliranje - jer je to ono na što se obvezujete kada kupujete hardver. Ali logički sloj odlučuje kako tkanina prosljeđuje promet i oblikuje nekoliko fizičkih izbora.

S fizičke strane nalazi se prekidač i odabir priključka, brzine NIC-a, prekomjerna pretplata, optika, kabliranje, napajanje i hlađenje. Na logičkoj strani sjedi ECMP opterećenje-uravnoteženje preko uzlaznih veza; preklapanje kao što je VXLAN s BGP EVPN kontrolnom ravninom za multi-stanarski sloj 2 i sloj 3 preko rutirane podloge; dvostruko-navođenje s MLAG ili MC-LAG i LACP na rubu pristupa; i neuspješno-dimenzioniranje domene. Za RDMA tkanine također morate projektirati mrežu gotovo-bez gubitaka, opisanu u nastavku. Rano odredite logički model jer on utječe na broj uzlaznih veza, koliko spinova želite za ECMP širinu i jesu li listovi raspoređeni kao MLAG parovi.

Korak 1 - Definirajte brzinu i radno opterećenje poslužitelja

Počnite s opterećenjem, a ne s optikom. Opći virtualizacijski klaster, tkanina za pohranu i modul za obuku AI imaju vrlo različite potrebe, a pravi dizajn prati promet.

25G poslužitelji sa 100G uplinkovima

Za većinu poslovnih i privatnih-cloud okruženja, 25G pristup sa 100G leaf{3}}to-spine uplinkovima je slatka točka: veliki skok preko 10G uz održavanje razumnih troškova NIC-a, kabela i preklopnika. Tipična verzija spaja 25G silazne veze, 100G uzlazne veze i omjer 2:1 do 3:1 za opće računanje, s manjim prekomjernim pretplatama rezerviranim za razine osjetljive na pohranu i-kašnjenje. Odgovara virtualizaciji, privatnom oblaku, web razinama i većini poslovnih podatkovnih centara.

Izvorni 100G za pohranu, AI i HPC

Za neka radna opterećenja potrebno je izvorno 100G do poslužitelja: distribuirana i NVMe-oF pohrana, AI i strojno-učenje, HPC, velika-analitika i niska-latencija RDMA. Ovdje bi prekomjerna pretplata trebala biti niska - često ne-blokirajuća ili blizu - zato što je uzorak prometa problem, a ne samo količina.

Radna opterećenja AI, HPC i RDMA generiraju gust, sinkroniziran, sve-prema-svom istočno-zapadnom prometu: mnogi čvorovi prenose na mnoge čvorove u istom trenutku, tako da se statističko izglađivanje koje vam štedi na virtualizacijskoj strukturi više ne primjenjuje. RDMA preko konvergiranog Etherneta (RoCE) dodaje drugo ograničenje jer očekuje strukturu gotovo -bez gubitaka, što u praksi znači kontrolu prioritetnog toka (PFC) i eksplicitnu obavijest o zagušenju (ECN) podešenu od kraja do kraja. Tkanina koja ispušta okvire pod zagušenjem gledat će pad performansi RoCE-a, pa se ti klasteri obično grade u omjeru 1:1 s pažljivom konfiguracijom međuspremnika i zagušenja.

Korak 2 - Kako izračunati priključke prekidača za list i hrbat za 100G tkaninu

Planiranje luka počinje od lista, a ne od kralježnice. Radite izvan poslužitelja:

1. Brojite portove-okrenute poslužitelju po stalku.
2. Odlučite je li svaki izvorni 25G, izvorni 100G ili izlazna traka.
3. Rezervirajte QSFP28 priključke za uzlazne veze kralježnice.
4. Dodajte rezervne priključke za rast, redundanciju, testiranje i zamjenu.
5. Ponovno izračunajte prekomjernu pretplatu nakon što je dodijeljen proboj, ne prije.

Prebrojite portove okrenute-poslužitelju

Za svaki stalak odredite broj poslužitelja, brzinu NIC-a, NIC-ove po poslužitelju, jedno- ili dual-homed i potrebne rezervne dijelove. Stalak od 48 poslužitelja s jednim 25G NIC-om svaki treba 48 host portova. Dual-home te poslužitelje na par listova i broj pristupnih portova u paru se udvostručuje.

Rezervirajte uplink priključke i gledajte duplo-zbroj

Nakon priključaka domaćina, rezervirajte priključke QSFP28 za kralježnicu. Ovdje se krije najčešća pogreška: ako se isti QSFP28 portovi koriste za 4x25G breakout, oni više nisu dostupni kao uplinkovi. Najveća pojedinačna pogreška u planiranju nije krivo računanje 100G uplinkova, već precjenjivanje uplink portova koji su preostali nakon što ih proboj pojede. Dodijelite proboj prije matematike prekomjerne pretplate ili je omjer koji ste izračunali fikcija.

Urađen primjer pomaže. Uzmimo uobičajeni 1U list s 48 SFP28 host portova i 8 QSFP28 portova:

Sa šest uzlaznih veza koje prenose 1200G pristupnog prometa, list radi u omjeru 2:1, a dva QSFP28 porta ostaju u rezervi. Dajte svakom priključku jednu, eksplicitnu ulogu u proračunskoj tablici prije nego što odredite bilo što drugo.

Ostavite rezervni kapacitet

Ne konzumirajte svaki porto prvi dan. Rezervirajte prostor za nove poslužitelje, dodatne kralježnice, privremene testne veze, neuspjele-zamjene portova, nadzorne priključke i migraciju. Malo neiskorištenog kapaciteta daleko je jeftinije od redizajna.

Korak 3 - Izračunajte prekomjernu pretplatu, uključujući N-1

Prekomjerna pretplata uspoređuje ukupnu propusnost-poslužitelja na listu s njegovom ukupnom propusnošću uzlazne veze do kralježnice:

Omjer prekomjerne pretplate=ukupna propusnost silazne veze / ukupna propusnost uzlazne veze

Za gornji list, 48 x 25G=1,200G dolje i 6 x 100G=600G gore, dajući 1200 / 600=2:1. To znači dvostruko veću teoretsku propusnost pristupa od propusnosti uzlazne veze - koja je obično dobra za opće računanje, gdje poslužitelji rijetko svi prenose linijskim brzinama odjednom, ali stvarno ograničenje za pohranu, AI, HPC i RDMA.

Uvijek provjerite slučaj N-1

Tkanina može izgledati zdravo u normalnom radu i gušiti se tijekom kvara. Razmotrite list s osam uzlaznih veza od 100G ravnomjerno raspoređenih na četiri kralježnice - dvije po kralježnici, ukupno 800G, tako da 1200G pristupa daje 1,5:1. Gubitak jedne kralježnice i list ispušta dvije uzlazne veze na 600G, povećavajući omjer na 2:1 za vrijeme trajanja prekida. Ako vaš cilj nije "nije lošiji od 2:1 čak ni pod neuspjehom", morate početi s blizu 1,5:1. Izračunajte i normalni omjer i omjer N-1 nakon gubitka jedne kralježnice ili uzlazne veze; drugi broj je onaj koji grize tijekom održavanja.

Rasponi planiranja prema opterećenju

Ne postoji univerzalni omjer, stoga sljedeće tretirajte kao raspone planiranja, a ne standarde, i provjerite prema izmjerenom prometu gdje možete:

Prilikom nadogradnje, pregledajte trenutnu iskorištenost uzlazne veze, vršne i istok-zapadne uzorke, tokove pohrane i sigurnosne prozore prije nego što se posvetite omjeru.

Korak 4 - Odaberite QSFP28 optiku i kabele

QSFP28 100G sučelja standardizirana su od strane IEEE 802.3 - the802.3bm amandmandodao 100GBASE-SR4, uz single{3}}mode LR4 PHY. Odaberite optiku prema udaljenosti, vrsti vlakna, konektoru, napajanju i kompatibilnosti s prekidačima i odolite postavljanju najdužeg dosega: doseg koji vam ne treba obično znači cijenu i snagu koji vam nisu potrebni. Uskladite modul sa serijom uz razumnu marginu.

DAC i AOC za kratke veze poslužitelja

Za-rack i susjedne-rack veze, QSFP28 direktni-bakreni (DAC) i aktivni optički kabeli (AOC) su praktični. Pasivni DAC odgovara najkraćim skokovima - nekoliko metara - uz najnižu cijenu i snagu, dok AOC proširuje domet te je lakši i fleksibilniji tamo gdje količina bakra postaje problem. Za 25G pristup, QSFP28-to-4x SFP28 breakout DAC ili AOC uobičajeni su kada preklopnik podržava breakout.

100GBASE-SR4 za kratke višemodne uzlazne veze

SR4 nosi 100Gosam paralelnih višemodnih vlakanapomoću MPO/MTP konektora, što ga čini isplativim-izborom za kratke listove-do-kičme unutar reda. Njegov doseg ovisi o stupnju vlakana - otprilike 70 m na OM3 i 100 m na OM4 - pa se isplati znati doseg koji možete očekivatiOM3, OM4 i OM5 višemodno vlaknou vašem podu. Glavno ograničenje planiranja je paralelno kabliranje: MPO krpanje i polaritet moraju se razraditi unaprijed.

CWDM4 ili FR za pojedinačni-način radi do oko 2 km

Za među-veze, među-sobne ili među-hale, jedno-optika kao što je CWDM4 ili FR bolje odgovara. The100G CWDM4 MSAdefinira domet od 2 km preko jednog para jedno-modnih vlakana s dupleksnim LC konektorom i FEC-om. Budući da koriste dvostruka vlakna umjesto paralelnih MPO, CWDM4 i FR optika često čišće ulaze u jedno-postrojenje od SR4 - i na tim udaljenostima izbor izmeđuOS1 i OS2 jedno-modno vlaknopočinje biti važno za vaš proračun gubitaka. Kraće jedno-varijante kao što je DR pokrivaju otprilike 500 m gdje je to sve što trebate.

100GBASE-LR4 za kampus i DCI

LR4 je opcija dugog-dohvata, nosi 100Gdo oko 10 km preko dupleksnog jedno-modnog vlaknaza veze između kampusa, zgrada-na-zgradu ili-podatkovnog{3}}centra. Koristite ga samo tamo gdje udaljenost to uistinu zahtijeva; optika dugog-dohvata na kratkim skokovima unutar-podatkovnog-centra jednostavno povećava troškove, snagu i toplinu bez poboljšanja tkanine.

QSFP28 100G Usporedba optike

Tablica sažima gdje svaka opcija odgovara. Tretirajte domete kao tipične brojke za planiranje i potvrdite točne brojeve, ocjenu vlakana i FEC zahtjeve na podatkovnoj tablici svakog modula.

Obrađeni primjeri: male, srednje i velike tkanine

Ovo su pojednostavljeni modeli planiranja, a ne nacrti. Broj spina obično se bira kako bi se ravnomjerno podijelile uzlazne veze i postavila širina ECMP-a: dva spina su praktični minimum za redundantnost, četiri daju finiju N-1 granularnost i bolje raspoređivanje opterećenja, a osam odgovara velikim tkaninama. Broj listova se mjeri s priključcima poslužitelja koji su vam potrebni.

Mala tkanina

• 8 lisnih prekidača
• 2 sklopke za kralježnicu
• 48 x 25G portova poslužitelja po listu
• 4 x 100G uzlazne veze po listu
• 384 pojedinačnih-homeed 25G portova poslužitelja

Po listu: 1200G dolje, 400G gore, dakle 3:1. Prikladan za opće računanje, ali tijesan za veliku pohranu ili AI. Dodajte uzlazne veze ili smanjite pristup po listu ako trebate manji omjer.

Srednja tkanina

• 16 lisnih prekidača
• 4 sklopke za kralježnicu
• 48 x 25G portova poslužitelja po listu
• 6 x 100G uplinkova po listu
• 768 pojedinačnih-homeed 25G portova poslužitelja

Po listu: 1200G dolje, 600G gore, dakle 2:1. Solidna ravnoteža za virtualizaciju i radna opterećenja poduzeća, a četiri kralježnice šire ECMP bolje od dvije.

Velika tkanina

• 32 lisna sklopka
• 8 sklopki za kralježnicu
• 48 x 25G portova poslužitelja po listu
• 8 x 100G uplinkova po listu
• 1536 pojedinačnih-homeed 25G portova poslužitelja

Po listu: 1200G dolje, 800G gore, dakle 1,5:1. Više prostora za uplink, ali više optike, vlakana, cijene, snage i kablova za upravljanje. Na ovoj razini, dokumentacija je dio dizajna: označavanje, mape priključaka, polaritet, rezervna optika, protok zraka i praćenje sve se mora planirati prije instalacije.

QSFP28 Breakout planiranje (100G do 4x25G)

Breakout je najkorisniji i najčešće pogrešno shvaćen dio dizajna QSFP28. Gdje prekidač, kabel i konfiguracija to dopuštaju, jedan QSFP28 port se dijeli na četiri 25G SFP28 veze, povezujući četiri 25G poslužitelja s jednog 100G porta. Zaslužuje svoje mjesto kada trebate visoku 25G gustoću, imate puno QSFP28 portova, želite nižu cijenu po povezivanju poslužitelja ili gradite prijelaznu 25G/100G strukturu, koristeći QSFP28-to-4x SFP28 DAC, AOC iliMTP/MPO prekidni kabeliovisno o udaljenosti.

Kvaka je u tome što probijanje troši QSFP28 portove. Ako QSFP28 preklopnik s 32- priključka posveti 16 priključaka 4x25G prijelazu, tih 16 priključaka podržava 64 poslužitelja - ali ostaje samo 16 QSFP28 priključaka za uzlazne veze, pohranu, međupovezivanja i rezervne dijelove. Praktično pravilo je da se prvo izbroje izlazni portovi, a zatim da se broji ono što je ostalo za uzlazne veze.

Prije nego što se obvežete, potvrdite nekoliko stvari i rano odlučite treba li svako pokretanje biti aprtljažnik ili rasklopni sklop:

• Koji priključci podržavaju breakout i postoje li-ograničenja grupe priključaka?
• Onemogućuje li proboj susjedne priključke?
• Podržava li operativni sustav Switch način rada koji vam je potreban?
• DAC, AOC ili probojna optika za svaku vožnju?
• Jesu li sada potrebne sve četiri trake ili tek kasnije?
• Kako će proboj utjecati na budući prelazak na izvorne 100G poslužitelje?

Napajanje, hlađenje i upravljanje kabelima

Tkanina od 100G proizvodi više od propusnosti - proizvodi toplinu, opterećenje protokom zraka i gustoću kabela. Određivanje proračuna za napajanje treba obuhvatiti kućište prekidača i ventilatore, QSFP28 optičke module (i DAC ili AOC ako se koriste), redundantne zalihe, kapacitet rack-razine i marginu rasta. Hlađenje bi trebalo uzeti u obzir topli- i hladni-raspored prolaza, dosljedan protok zraka sprijeda-na-straga ili straga{10}}na-sprijeda, slijepe ploče, zapreke kabela, temperaturu okoline i-temperaturu modula, jer kralježnica prepuna optike predstavlja pravo toplinsko opterećenje.

Kabliranje se brzo skalira: 16 listova do 4 kralješka već su 64 veze između listova-to-kičme, od kojih svaka mora biti označena, usmjerena, testirana i dokumentirana. Puno-mrežastu tkaninu mnogo je lakše izgraditi i održavati s prethodno-završetkomMPO/MTP magistralno kabliranjenego s vlaknom-završetkom polja. Timovi također trebaju unaprijed dogovoriti konvencije o konektorima i polaritetu; thepraktične razlike između MTP i MPOvrijedi potvrditi prije naručivanja. Neuredna dokumentacija ne košta ništa prvog dana, a puno tijekom prvog ispada.

Dizajniranje za nadogradnju od 400G

Dizajnirajte tkaninu s realnim putem nadogradnje. Ne trebate 400G posvuda prvog dana, ali trebali biste izbjegavati izbore koji kasnije čine selidbu bolnom. Počnite razmišljati o spremnosti za 400G kada su uzlazne veze kralježnice već jako opterećene, kada dodavanje novih spinova od 100G postaje neugodno, kada se broj puta ECMP približava ograničenjima platforme ili kada se AI, pohrana ili rast na istok-zapad ubrzavaju.

Uobičajena strategija je prvo nadograditi kralježnicu: lišće zadržava svojih 100G uzlaznih veza, dok kralježnica većeg-kapaciteta - koristi priključke kao što suQSFP-DD- dodaje prostor, često s 400G priključcima koji se šire u 4x100G natrag prema postojećim listovima. Širu putanju postavlja industrija:Plan puta Ethernet Alliancesada radi kroz 400G, 800G i dalje, uglavnom vođen umjetnom inteligencijom. Kada procjenjujete prekidače, provjerite podržava li platforma brzine, optiku, načine rada i softverske značajke koje će biti potrebne za postupnu nadogradnju.

Kada dizajn hrpta-lišća od 100G nije pravi izbor

Ovaj dizajn nije univerzalan, a nekoliko slučajeva zahtijeva nešto drugo. Nekolicina poslužitelja u jednom ili dva regala rijetko opravdava potpunu konstrukciju-lista, gdje je par redundantnih prekidača jednostavniji i jeftiniji. Vrlo veliki AI klasteri za obuku mogu progurati ono što 100G pristupna i 100G spine tkanina dobro podnosi, slijećući na 400G ili 800G tkanine - ili čak namjensku InfiniBand mrežu - od samog početka. A ako je gotovo sav promet sjever-jug prema pristupniku, a ne istok-zapad između regala, istočno-zapadne prednosti spine-lišća manje su važne, tako da topologiju treba opravdati na temelju rasta i rada, a ne pretpostavljati. Uskladite arhitekturu s prometom i razmjerom, a ne obrnuto.

Uobičajene pogreške u dizajnu hrpta-lišća od 100G

• Dvaput brojim QSFP28 portove.Port je ili 4x25G breakout ili 100G uplink, nikad oboje. Svakom portu dodijelite jednu ulogu.
• Odabir optike prema maksimalnom dosegu.Veći doseg povećava cijenu i snagu; prilagodite optiku stvarnoj udaljenosti i vrsti vlakana.
• Ignoriranje N-1.Provjerite omjer tijekom normalnog rada i nakon gubitka kralježnice.
• Zaboravljamo optičku snagu i toplinu.Kralježnica puna QSFP28 modula pravo je toplinsko opterećenje, stoga uključite optiku u proračun napajanja i hlađenja.
• Tretiranje kabliranja kao naknadne pameti.Usmjeravanje, označavanje, polaritet i dokumentacija pripadaju dizajnu, a ne instalaciji.
• Dizajniranje samo za današnju brzinu poslužitelja.Ako će se 25G pristup prebaciti na 100G, ostavite mjesta za izvorni 100G ili kralježnicu od 400G.

Zaključak

Dobar dizajn spine{1}}leaf od 100G zbroj je odluka donesenih prije dolaska hardvera: definirajte radno opterećenje, ispravno izbrojite priključke, izračunajte prekomjernu pretplatu pod normalnim uvjetima i uvjetima kvara, odaberite optiku prema udaljenosti, planirajte proboj namjerno, proračun za napajanje i hlađenje i ostavite prostora za 400G. Za većinu poslovnih podatkovnih centara, 25G pristup sa 100G QSFP28 uzlaznim vezama ostaje jaka ravnoteža performansi, cijene i razmjera, dok pohrana, umjetna inteligencija i HPC jednostavno zahtijevaju manju prekomjernu pretplatu i strožu provjeru valjanosti. Pouzdan pristup se ne mijenja: dizajnirajte od poslužitelja prema van, dokažite matematiku pod normalnim i N-1 uvjetima i dokumentirajte svaku vezu prije postavljanja.