Leaf-spine to dziś standardowa architektura sieci data center - zastąpiła klasyczny model trójwarstwowy wszędzie tam, gdzie dominuje ruch między serwerami, a nie ruch „do internetu". W tym przewodniku pokazujemy, jak zaprojektować taką sieć na przełącznikach Dell PowerSwitch: które modele serii S sprawdzą się jako leaf, które modele serii Z jako spine i jak policzyć współczynnik oversubscription, żeby sieć nie stała się wąskim gardłem.
Dlaczego leaf-spine wypiera sieć trójwarstwową?
Klasyczna architektura trójwarstwowa (dostęp - agregacja - rdzeń) powstała w czasach, gdy większość ruchu płynęła „północ-południe": od użytkownika, przez rdzeń, do serwera lub internetu. Współczesne data center wygląda inaczej - wirtualizacja, storage rozproszony, konteneryzacja i replikacja sprawiają, że nawet znaczna większość ruchu to komunikacja „wschód-zachód", czyli między serwerami wewnątrz serwerowni. W modelu trójwarstwowym taki ruch pokonuje wiele przeskoków, a protokół Spanning Tree blokuje część łączy, marnując przepustowość.
Architektura leaf-spine rozwiązuje oba problemy. Składa się z dwóch warstw: przełączników leaf (do których podłączone są serwery i macierze - zwykle top-of-rack) oraz przełączników spine (szkielet sieci). Zasada jest prosta: każdy leaf łączy się z każdym spine'em, a leafy i spine'y nie łączą się między sobą. Efekt: dowolne dwa serwery dzielą zawsze dokładnie dwa przeskoki (leaf → spine → leaf), opóźnienia są przewidywalne, a wszystkie łącza pracują aktywnie dzięki routingowi ECMP zamiast Spanning Tree. Skalowanie jest liniowe - potrzebujesz więcej portów dla serwerów, dokładasz leafy; potrzebujesz więcej przepustowości między szafami, dokładasz spine'y.
Dobór sprzętu: S-series jako leaf, Z-series jako spine
W portfolio Dell PowerSwitch podział ról jest naturalny. Warstwę leaf budujemy na serii S, dobierając model do prędkości kart sieciowych w serwerach:
| Serwery w szafie | Rekomendowany leaf | Porty dostępowe | Uplinki do spine |
|---|---|---|---|
| 10 GbE | S4148F-ON | 48× 10 GbE | 4× 100 GbE |
| 25 GbE | S5296F-ON | 96× 25 GbE | 8× 100 GbE |
| 100 GbE | S5448F-ON | 48× 100 GbE | 8× 400 GbE |
Warstwa spine to domena serii Z. W średnich środowiskach dobrze sprawdza się Z9432F-ON (32× 400 GbE, 12,8 Tb/s), w większych - Z9664F-ON z 64 portami 400 GbE i przepustowością 25,6 Tb/s na układzie Tomahawk 4. Liczba portów w spine wyznacza maksymalną liczbę leafów w fabricu: Z9664F-ON pozwala obsłużyć do 64 przełączników leaf, czyli w praktyce kilkadziesiąt szaf serwerowych w jednej, spójnej sieci. Jeżeli fabric ma obsłużyć klaster GPU, na spine warto rozważyć Z9864F-ON z portami 800 GbE.
Oversubscription - jak policzyć i ile przyjąć?
Oversubscription to stosunek sumarycznej przepustowości portów dostępowych (w dół, do serwerów) do sumarycznej przepustowości uplinków (w górę, do spine'ów). Przykład na S5448F-ON: 48 portów 100 GbE daje 4800 Gb/s w dół, a 8 portów 400 GbE - 3200 Gb/s w górę. Współczynnik wynosi 4800:3200, czyli 1,5:1 - bardzo dobry wynik dla środowisk wirtualizacyjnych i storage. Dla porównania: S4148F-ON z pełnym obłożeniem daje 480:400, czyli 1,2:1.
Praktyczne progi, które stosujemy w projektach:
- 1:1 (non-blocking) - wymagany w sieciach pod klastry AI i HPC, gdzie synchronizacja obliczeń nie toleruje przeciążeń.
- do 3:1 - bezpieczny standard dla wirtualizacji, baz danych i storage IP.
- do 5:1 - akceptowalny dla farm aplikacyjnych o przewidywalnym, umiarkowanym ruchu wschód-zachód.
Warto pamiętać, że oversubscription liczy się na najgorszy przypadek - realny profil ruchu bywa łaskawszy, ale sieć projektuje się na szczyty, nie na średnie.
Warstwa oprogramowania: EVPN/VXLAN i automatyzacja
Fizyczna topologia to połowa projektu. Drugą połową jest logika: w nowoczesnym fabricu segmentację realizuje się przez EVPN/VXLAN, co pozwala rozciągać sieci L2 między szafami bez Spanning Tree i bez ograniczeń klasycznych VLAN-ów. Na przełącznikach PowerSwitch naturalnym wyborem systemu operacyjnego jest Dell Enterprise SONiC, a konfigurację całego fabricu - od dnia pierwszego po codzienną eksploatację - automatyzuje SmartFabric Manager for SONiC. Zamiast konfigurować każdy przełącznik osobno, definiuje się zamiar (intent), a narzędzie wylicza i wdraża spójną konfigurację na wszystkich urządzeniach.
Jeśli obecna sieć działa jeszcze w modelu trójwarstwowym u innego dostawcy, przejście na leaf-spine nie musi oznaczać rewolucji z przestojem - sprawdzony plan takiej operacji opisujemy w artykule migracja sieci data center do Dell PowerSwitch krok po kroku.
Jak możemy pomóc
Projekt leaf-spine wymaga decyzji, które trudno później odwrócić: prędkości portów, liczby spine'ów, doboru optyki i modelu redundancji. Jako partner Dell Technologies mamy bezpośredni dostęp do zespołu Dell Networking w Polsce - od doradztwa projektowego po ceny specjalne dzięki naszemu partnerstwu. Przygotujemy projekt topologii z obliczonym oversubscription, kompletną listę materiałową (przełączniki, optyka, okablowanie) i wycenę.
Oferta Dell Networking Zapytaj o projekt sieci →
Zobacz też stronę marki Dell Technologies w DQH oraz kategorię przełączniki i routing.