NVIDIA DGX A100 320 GB — serwer z 8× A100 SXM4

Do czego służy ta maszyna

NVIDIA DGX A100 320 GB na wynajem to fabryczny węzeł treningowy: osiem modułów A100 SXM4 po 40 GB, dwa procesory AMD EPYC 7742 o łącznej liczbie 128 rdzeni, 1 TB pamięci systemowej i 15 TB przestrzeni NVMe w obudowie 6U o poborze 6,5 kW. Wynajmujesz komplet fabryczny w całości — wszystkie osiem modułów, pełne 320 GB pamięci GPU i prawa administratora do maszyny. Uwaga do stawki: wariant 320 GB wyceniamy na podstawie jednostki odnowionej z gwarancją, w sprzęcie generacji Ampere z 2020 roku; aktualną dostępność i warunki potwierdzamy w odpowiedzi na zapytanie.

320 GB pamięci GPU rozkłada się tu na osiem modułów po 40 GB, więc o dopasowaniu zadania decyduje pojemność pojedynczego układu i przepustowość NVLinka między układami, a suma jest tylko punktem wyjścia.

• Dostrajanie modeli językowych 7B–34B — pełne dostrajanie w bf16 rozkłada się na kilka modułów, warianty LoRA i QLoRA mieszczą się na jednym, więc jedna maszyna prowadzi kilka eksperymentów równolegle.
• Trening modeli widzenia komputerowego — segmentacja, detekcja i klasyfikacja na wielkich zbiorach obrazów, gdzie o czasie epoki decyduje przepustowość danych bardziej niż rozmiar sieci; 15 TB przestrzeni NVMe trzyma zbiór treningowy przy układach.
• Laboratoria badawcze i dydaktyka — zespoły, które potrzebują realnej topologii NVSwitch do pracy nad treningiem rozproszonym, bez budowania własnej serwerowni.
• Inferencja wielomodelowa — osiem odrębnych układów pozwala trzymać w pamięci kilka modeli naraz i obsługiwać osobne kolejki zadań na jednej maszynie.

Sześć układów NVSwitch drugiej generacji zestawia każdy moduł z każdym przy 600 GB/s, dzięki czemu wymiana gradientów w treningu rozproszonym odbywa się wewnątrz obudowy, bez ruchu przez sieć zewnętrzną.

NVIDIA DGX A100 320 GB — porównanie z innymi maszynami

Wobec DGX A100 640 GB. Ta sama obudowa 6U, ten sam pobór 6,5 kW i ta sama para EPYC 7742. Cała różnica siedzi w module i w zapleczu: 40 GB wobec 80 GB HBM na układ, 1 TB wobec 2 TB pamięci systemowej, 15 TB wobec 30 TB przestrzeni NVMe. Gdy model po podziale mieści się w 40 GB na układ, wariant wejściowy wykonuje tę samą pracę. Zobacz DGX A100 640 GB.

Wobec generacji Hopper. DGX H100 zachowuje osiem modułów, ale dokłada rdzenie Transformer Engine z formatem FP8 oraz cztery układy NVSwitch o łącznej przepustowości 7,2 TB/s. Ampere pracuje w TF32 i bf16 — przy treningu dużych modeli językowych przekłada się to na liczbę kroków w jednostce czasu, przy klasycznym uczeniu maszynowym i wielu zadaniach widzenia różnica bywa niewielka. Przejdź do karty NVIDIA DGX H100.

Wobec serwera PCIe z ośmioma kartami A100. W maszynie PCIe karty rozmawiają ze sobą przez przełącznik magistrali, a mosty NVLink łączą je parami. W DGX każdy z ośmiu modułów widzi pozostałe siedem przez NVSwitch z pełną przepustowością, co ma znaczenie przy podziale tensorów i przy częstej wymianie gradientów. Serwer PCIe odpowiada za to elastycznością doboru podzespołów i niższym progiem wejścia.

Najczęstsze pytania

Więcej o karcie: NVIDIA A100 SXM4 — serwer klasy DGX z NVLink. Porównanie rodziny: Serwer z kartą NVIDIA A100 80 GB — wynajem miesięczny