Serwer z kartą NVIDIA A100 80 GB — wynajem miesięczny

Do czego to służy

80 GB HBM2e na kartę wyznacza granicę tego, co zmieści się bez dzielenia modelu między maszyny. Model 70B w kwantyzacji ośmiobitowej to około 70 GB wag — mieści się na jednym układzie razem z krótkim kontekstem. Ten sam model w BF16 zajmuje około 140 GB, więc pracuje dopiero na parze kart i 160 GB pamięci.

Cztery karty i 320 GB pamięci to typowy węzeł do dostrajania modeli klasy 70B metodą LoRA oraz do inferencji wsadowej kilku modeli naraz. Osiem kart i 640 GB obsługuje pełne dostrajanie modeli klasy 30B, obliczenia HPC w podwójnej precyzji i farmy inferencyjne, w których każdy proces dostaje własny układ.

A100 obsługuje MIG: jeden układ dzieli się na maksymalnie siedem instancji ze sprzętowo rozdzieloną pamięcią i pamięcią podręczną. To rozwiązanie dla zespołu, który na jednej maszynie prowadzi kilkanaście lekkich zadań o przewidywalnym budżecie pamięci, zamiast jednego dużego treningu.

Porównanie i dobór

A100 należy do generacji Ampere. Względem nowszych układów różnica dotyczy pamięci i formatów obliczeń: A100 80 GB ma HBM2e o przepustowości około 2 TB/s, H100 — 80 GB HBM3 i 3,35 TB/s, a H200 — 141 GB HBM3e i 4,8 TB/s. Hopper dokłada Transformer Engine z natywnym FP8, którego Ampere nie zna, więc obliczenia opisane w FP8 uruchamia się tu w INT8 albo BF16.

Praktyczny podział wygląda tak: A100 wybiera się do zadań mieszczących się w 80 GB na układ i niezależnych od FP8, H100 do treningu z Transformer Engine, a H200 tam, gdzie decyduje pojemność pamięci na jeden układ. Po stronie łącza międzykartowego PCIe 4.0 x16 daje 32 GB/s w jedną stronę, a moduł A100 SXM4 — 600 GB/s przez NVLink.

Druga oś porównania to sposób sprzedaży mocy. Na rynku spotyka się rozliczanie wydzielonej części karty w stawce godzinowej. U nas jednostką najmu jest cała fizyczna maszyna z pełnym VRAM i stałą opłatą miesięczną, więc rachunek pozostaje ten sam niezależnie od liczby przepracowanych godzin.

Serwery rack z A100 80 GB — zastosowania

A100 PCIe 80 GB pozostaje najlepiej opisanym sprzętem treningowym w ekosystemie CUDA i to on stoi za większością gotowych receptur uczenia w bibliotekach. W tej rodzinie obsadzamy dwie, cztery albo osiem kart, z pamięcią systemową od 512 GB do 2 TB i procesorami od 64 do 128 rdzeni fizycznych. Liczba konfiguracji w tej rodzinie: 7. Opłata miesięczna za całą maszynę zaczyna się od 9 628 zł netto (11 842 zł brutto) i sięga 38 512 zł netto (47 370 zł brutto) w wariancie najwyższym.

Ta rodzina powstała pod uczenie maszynowe i obliczenia naukowe. 80 GB pamięci HBM2e na kartę i przepustowość bliska 2 TB/s ustawiają A100 tam, gdzie zadanie ogranicza dostęp do pamięci, a nie liczba operacji zmiennoprzecinkowych.

• Trening od zera na własnych danych: budżet pamięci przy pełnym treningu z optymalizatorem Adam w trybie mieszanej precyzji wynosi około 16 bajtów na parametr, czyli około czterokrotność samych wag. Model klasy 7B potrzebuje więc mniej więcej 112 GB, model 13B około 208 GB, i stąd bierze się sens konfiguracji cztero- i ośmiokartowych.
• Fine-tuning dużych modeli językowych: przy metodach adapterowych, takich jak LoRA, w pamięci trzymane są głównie wagi bazowe, więc model 70B w 8-bitowej reprezentacji mieści się na ośmiu kartach z zapasem na aktywacje.
• Obliczenia HPC w podwójnej precyzji: rdzenie Tensor A100 liczą FP64, co odróżnia tę kartę od rodzin graficznych i przesądza o wyborze w symulacjach inżynierskich, chemii obliczeniowej i analizie ryzyka.
• Przetwarzanie dużych zbiorów danych: warianty z 1,5 TB i 2 TB pamięci systemowej przewidziano pod potoki, w których dane wejściowe są dekodowane i augmentowane na procesorze, a karty czekają na kolejną partię.

Pamięć systemowa i liczba rdzeni są w tej rodzinie osobną osią wyboru. Wariant ze 128 rdzeniami fizycznymi obsługuje potoki z ciężkim wstępnym przetwarzaniem, gdzie procesor jest wąskim gardłem karmienia kart. Wariant z 2 TB pamięci pozwala też przenieść stany optymalizatora poza kartę przy technikach odciążania pamięci. Opis samej karty prowadzimy na stronie NVIDIA A100.

Serwery rack z A100 80 GB — dobór konfiguracji

W obrębie katalogu A100 stoi między dwiema rodzinami. H200 NVL daje 141 GB pamięci HBM3e na kartę i jest wyborem tam, gdzie o wszystkim decyduje pojemność pamięci pod jeden model. RTX PRO 6000 Blackwell daje 96 GB pamięci GDDR7 i nowszą generację rdzeni, przy słabszej wydajności w podwójnej precyzji. A100 zostaje tam, gdzie liczy się dojrzałość stosu programowego i FP64.

Nasza opłata za całą maszynę mieści się między 9 628 zł netto (11 842 zł brutto) a 38 512 zł netto miesięcznie (47 370 zł brutto) i nie zależy od liczby przepracowanych godzin; w abonamencie mieści się transfer wychodzący do 20 TB miesięcznie.

Najczęstsze pytania

Porównanie wszystkich kart: Karty GPU NVIDIA na wynajem — porównanie pamięci i cen