NVIDIA DGX A100 640 GB — serwer z 8× A100 SXM4

Do czego służy ta maszyna

NVIDIA DGX A100 640 GB na wynajem to pełna wersja węzła Ampere: osiem modułów A100 SXM4 po 80 GB daje 640 GB pamięci GPU przy niezmienionej obudowie 6U i niezmienionym poborze 6,5 kW. Względem wariantu wejściowego podwojone są także pamięć systemowa (2 TB) i przestrzeń na dane (30 TB NVMe w RAID 0), a karty klastrowe mogą być z rodziny ConnectX-6 albo ConnectX-7. NVIDIA nie podnosi tu deklarowanej mocy obliczeniowej — korzyść opisuje jako przyspieszenie zadań treningowych dużej skali.

Podwojona pamięć na moduł przesuwa granicę tego, co da się zrobić bez dzielenia modelu na wiele maszyn. 80 GB na układ to najczęściej powtarzany próg w narzędziach treningowych z lat 2022–2024, więc większość gotowych przepisów i konfiguracji uruchamia się tu bez przerabiania.

• Dostrajanie modeli 70B i większych — wagi w bf16 rozkładają się na całą ósemkę modułów, a 640 GB zostawia zapas na stan optymalizatora i aktywacje przy dłuższych sekwencjach.
• Praca kilku zespołów na jednej maszynie — układ A100 obsługuje sprzętowy podział na instancje, więc jeden najemca może rozdzielić własną maszynę między równoległe projekty, każdy z wydzieloną pamięcią i wydzielonymi jednostkami obliczeniowymi.
• Obrazowanie medyczne i zbiory trójwymiarowe — wolumeny tomograficzne i skany histopatologiczne zjadają pamięć aktywacjami, a nie liczbą parametrów; tu 80 GB na układ decyduje o możliwym rozmiarze wsadu.
• Symulacje i obliczenia naukowe — kod korzystający z podwójnej precyzji i dużych macierzy rezydentnych w pamięci GPU.

30 TB przestrzeni NVMe w konfiguracji RAID 0 pozwala trzymać kompletny zbiór treningowy lokalnie, bez pobierania danych z zewnętrznej pamięci masowej w każdej epoce.

NVIDIA DGX A100 640 GB — porównanie z innymi maszynami

Wobec wariantu 320 GB. Identyczna konstrukcja, dwukrotnie większe zasoby: 80 GB zamiast 40 GB na moduł, 2 TB zamiast 1 TB pamięci systemowej, 30 TB zamiast 15 TB na dane. Dopłata ma sens wtedy, gdy model po podziale przekracza 40 GB na układ albo gdy zbiór treningowy przestaje mieścić się w lokalnej przestrzeni. Zobacz DGX A100 320 GB.

Wobec generacji Hopper: DGX H100. Hopper zmienia trzy rzeczy naraz: format FP8 z rdzeniami Transformer Engine, NVLink o przepustowości 900 GB/s na układ zamiast 600 GB/s (łącznie 7,2 TB/s w czterech przełącznikach NVSwitch) i procesory Intel Xeon Platinum zamiast pary EPYC. Pojemność pamięci GPU pozostaje na poziomie 640 GB, więc granica rozmiaru modelu jest ta sama — zmienia się tempo pracy i sposób, w jaki liczone są macierze. Sprawdź DGX H100.

Wobec serwera PCIe z ośmioma kartami A100 80 GB. Suma pamięci wychodzi identyczna, różni się topologia. Moduły SXM4 na wspólnej płycie komunikują się przez NVSwitch, karty PCIe — przez magistralę systemową. Przy treningu z podziałem tensorów odbija się to na czasie kroku; przy zadaniach, w których każdy proces pracuje na własnej karcie, różnica praktycznie znika, a maszyna PCIe daje swobodę w doborze procesorów i pamięci.

Najczęstsze pytania

Więcej o karcie: NVIDIA A100 SXM4 — serwer klasy DGX z NVLink. Porównanie rodziny: Serwer z kartą NVIDIA A100 80 GB — wynajem miesięczny