NVIDIA DGX H100 — serwer z 8× H100 SXM5

Cały serwer. Jedna fizyczna maszyna z ośmioma modułami H100, procesorami, pamięcią i dyskami pracuje tylko dla Twojej firmy, bez maszyny wirtualnej i bez podziału na instancje. Dostęp jest zdalny, a termin uruchomienia potwierdzamy w ofercie.

Na 1, 6 albo 12 miesięcy. Im dłuższy okres, tym niższa opłata miesięczna; stawki netto i brutto dla trzech okresów są w cenniku na tej stronie, a rozliczenie jest z góry za okres.

Tylko przy najmie na 1 miesiąc. Przy umowie na 6 albo 12 miesięcy opłaty wdrożeniowej nie ma, a jej kwota dla najmu miesięcznego jest podana przy cenie maszyny.

Moduł H100 SXM5 ma 80 GB pamięci HBM3 o przepustowości 3,35 TB/s, pobór do 700 W i łączność NVLink przez przełączniki NVSwitch (do 900 GB/s na moduł, każdy z każdym), a karta H100 PCIe ma 80 GB HBM2e o przepustowości ok. 2,0 TB/s, pobór ok. 350 W i mostek NVLink łączący karty tylko parami (600 GB/s). Moduł SXM5 ma też więcej jednostek SM: 132 wobec 114, a osiem modułów w DGX H100 daje razem 640 GB pamięci GPU. Maszyny z kartami PCIe są w dziale serwery GPU PCIe.

Cały serwer w kolokacji w profesjonalnej serwerowni, pod zasilaniem awaryjnym i chłodzeniem. W abonamencie są też łącze 1 Gbit/s z transferem do 20 TB miesięcznie, adres IPv4, IPv6 /64, prywatny VLAN 10 Gbit/s, kopia zapasowa konfiguracji i wsparcie w godzinach roboczych.

Transformer Engine dobiera precyzję obliczeń warstwa po warstwie i tam, gdzie to bezpieczne, liczy w ośmiobitowym formacie zmiennoprzecinkowym. Efekt jest podwójny: więcej operacji w jednostce czasu i mniejsze zużycie pamięci na aktywacje. Ampere nie ma tego formatu i pracuje w TF32 oraz bf16.

Policz, ile pamięci potrzebuje model wraz z pamięcią podręczną kontekstu. Wagi modelu 70B w bf16 to około 140 GB, modelu 405B — około 810 GB. Do 640 GB łącznie zostaje przy H100 zapas na kontekst; powyżej tego progu sensowniejszy jest H200 z 1 128 GB. Moc obliczeniowa FP8 jest w obu maszynach ta sama.

Do tego został zaprojektowany. Cztery złącza OSFP obsługują osiem jednoportowych kart ConnectX-7 do 400 Gb/s, a dwie dwuportowe karty Ethernet zajmują się ruchem zarządzającym i danymi. Producent podaje do 1 TB/s szczytowego pasma dwukierunkowego — to referencyjna konfiguracja węzła w klastrach BasePOD i SuperPOD.

Tak. Najemca dostaje jedną fizyczną maszynę na wyłączność i pełny dostęp do systemu, łącznie z instalacją własnych sterowników, obrazów kontenerów i harmonogramu zadań. Maszyna stoi w profesjonalnej serwerowni pod zasilaniem awaryjnym i chłodzeniem, a połączenie jest zdalne.

Nie — to komplet fabryczny NVIDII, w którym procesory, pamięć i układ dysków są ustalone. Gdy potrzebujesz innego procesora, większej pamięci systemowej albo innej topologii gniazd PCIe, właściwym wyborem jest platforma partnerska z płytą HGX H100. Zobacz ASUS ESC N8-E11.

W bf16 wagi zajmują około 140 GB, w kwantyzacji ośmiobitowej około 70 GB, w czterobitowej około 35 GB. Do tego dochodzi pamięć podręczna kontekstu, która rośnie z długością sekwencji i liczbą równoległych żądań — przy długim kontekście potrafi przekroczyć rozmiar samych wag. Na 640 GB mieści się model 70B w bf16 wraz z obsługą wielu użytkowników naraz.

W najmie miesięcznym obowiązuje wypowiedzenie jednomiesięczne i nie wiąże się z dodatkowymi opłatami. Przy umowach sześcio- i dwunastomiesięcznych wcześniejsza rezygnacja jest możliwa, ale rozliczana Opłatą Rozliczeniową: wyrównaniem udzielonego rabatu, częścią pozostałych okresów oraz opłatą wdrożeniową, jeśli odstąpiliśmy od jej pobrania. Szczegóły znajdują się w umowie najmu.