Serwery DGX

Karty GPU w tej kategorii: NVIDIA A100 80 GB, NVIDIA A100 SXM4, NVIDIA B200, NVIDIA B300, NVIDIA H100, NVIDIA H100 SXM5 80 GB, NVIDIA H200, NVIDIA H200 SXM5

Do czego to służy

Ta klasa maszyn powstaje dla zadań, których jedna karta nie udźwignie i których podział na osobne serwery kosztuje więcej niż daje. Trzy scenariusze są typowe.

• Trening modeli dużej skali. Osiem układów pracuje jak jedna pula pamięci połączona NVLinkiem, więc model rozłożony na wszystkie karty wymienia gradienty bez wąskiego gardła magistrali płyty.
• Modele przekraczające pojemność serwera PCIe. Węzeł B200 z 1440 GB pamięci GPU przyjmuje modele, których nie da się rozłożyć na osiem kart PCIe bez podziału między maszyny.
• Blok konstrukcyjny klastra. Płyta HGX jest jednostką, z której NVIDIA składa konfiguracje BasePOD i SuperPOD, więc pojedynczy węzeł stanowi naturalny punkt startu dla większego środowiska.

Ten sam projekt płyty trafia do obudów kilku producentów. W katalogu stoją systemy ASUS ESC N8-E11, Gigabyte G593 oraz Supermicro SYS-821GE-TNHR, które różnią się topologią PCIe dla kart dodatkowych, układem zasilania i wysokością obudowy. Rdzeń obliczeniowy pozostaje ten sam, bo pochodzi z jednego projektu referencyjnego.

Porównanie i dobór

Różnica wobec działu serwerów GPU PCIe sprowadza się do sposobu połączenia kart. W obudowie PCIe każda karta rozmawia z resztą przez magistralę płyty głównej. W obudowie SXM układy łączy NVLink z przełącznicą NVSwitch, dająca do 900 GB/s pasma na kartę, dzięki czemu osiem GPU zachowuje się jak jeden akcelerator o wspólnej pamięci.

Wybór między działami wynika z kształtu zadania. Jeśli praca dzieli się na niezależne procesy, na przykład wiele modeli inferencyjnych albo kolejka renderu, serwer PCIe wykonuje ją taniej. Jeśli jedno obliczenie musi objąć całą pamięć ośmiu kart, sensowny jest węzeł SXM. Stacje robocze z pojedynczymi kartami stoją w dziale stacje robocze, a systemy Grace Blackwell z pamięcią koherentną w dziale AI Supercomputers.

Najczęstsze pytania