NVIDIA RTX PRO 6000 Blackwell 96 GB: Server Edition w serwerach, Max-Q w stacjach

Do czego to służy

96 GB na kartę eliminuje potrzebę dzielenia modelu, a osiem kart pozwala obsłużyć całą organizację z jednej maszyny.

192 GB (dwie karty)

Model rzędu 200 miliardów parametrów po kwantyzacji, rozłożony na parę kart z zapasem na długi kontekst. Wariant z 1,5 TB pamięci systemowej i 320 rdzeniami fizycznymi obsługuje przy tym ciężkie przygotowanie danych na tej samej maszynie.

384 GB (cztery karty)

Cztery niezależne punkty końcowe inferencji albo jeden duży model w pełnej precyzji. To także wygodna wielkość pod produkcyjną kolejkę renderingu 8K, gdzie każda karta liczy własną klatkę.

768 GB (osiem kart)

Inferencja wielodostępowa dla wielu zespołów naraz, wsadowe przetwarzanie obrazu i wideo, potoki VFX z etapem generatywnym. Warianty z 2 TB pamięci systemowej i 15 TB NVMe utrzymują tempo podawania danych przy pełnym obciążeniu kart.

Kiedy liczy się 128 rdzeni

Przy dekodowaniu wideo, przygotowaniu wsadów i preprocessingu danych, które muszą nadążyć za ośmioma kartami. Wariant ze 128 rdzeniami fizycznymi jest odpowiedzią właśnie na takie potoki.

Porównanie i dobór

Wobec RTX A6000. Poprzednia generacja profesjonalna ma 48 GB GDDR6 na kartę. Osiem kart A6000 daje 384 GB, czyli tyle samo co cztery karty RTX PRO 6000 — różnicą jest liczba przestrzeni pamięci i generacja rdzeni: RTX A6000 48 GB.

Wobec serwera na H200 NVL. H200 NVL ma 141 GB pamięci HBM3e o wielokrotnie wyższej przepustowości, ale kosztem znacznie wyższej opłaty. Do treningu dużych modeli i pracy z bardzo długim kontekstem właściwa jest pamięć HBM; do inferencji, renderingu i potoków mieszanych GDDR7 w RTX PRO 6000 wykonuje tę samą pracę taniej: serwer H200 NVL.

Co obejmuje stawka ośmiokartowa. Nasze trzy pozycje ośmiokartowe mają stawki podane w tabeli cen, przy porcie 2,5 Gbit/s gwarantowanym i 20 TB transferu wychodzącego wliczonym w abonament.

Serwery rack z RTX PRO 6000 Blackwell 96 GB — zastosowania

RTX PRO 6000 Blackwell Server Edition ma 96 GB pamięci GDDR7 na kartę, najwięcej wśród kart graficznych w naszym katalogu. Obsadzamy nią maszyny z dwiema, czterema i ośmioma kartami, z pamięcią systemową od 512 GB do 2 TB i procesorami od 64 do 320 rdzeni fizycznych. Liczba konfiguracji w tej rodzinie: 6. Opłata za całą maszynę zaczyna się od 11 205 zł netto miesięcznie (13 782 zł brutto) i sięga 43 077 zł netto (52 985 zł brutto) w wariancie ośmiokartowym z 2 TB pamięci.

96 GB na kartę zmienia sposób planowania pracy: model, który na kartach 48-gigabajtowych trzeba dzielić na dwie sztuki, mieści się tu w całości na jednej. To przekłada się na trzy typy wdrożeń.

• Inference modeli z długim oknem kontekstu: wagi klasy 70B w reprezentacji 8-bitowej zajmują około 88 GB, czyli więcej, niż mieści jedna karta z zapasem na pracę. Para kart daje na nie 192 GB, więc po załadowaniu wag ponad połowa pamięci zostaje na cache klucz-wartość, czyli na wielu użytkowników obsługiwanych równocześnie.
• Dostrajanie modeli średniej wielkości: metody adapterowe na modelach klasy 30B mieszczą się na pojedynczej karcie, a konfiguracja czterokartowa pozwala prowadzić cztery eksperymenty równolegle albo jeden z podziałem na karty.
• Stanowiska projektowe przeniesione do szafy: karta należy do linii profesjonalnych kart graficznych, więc obsługuje pakiety CAD, symulacje i pracę z obrazem. Jedna maszyna zastępuje kilka stacji roboczych, a użytkownicy łączą się do niej zdalnie.

Osobną pozycją rodziny jest maszyna z dwiema kartami i 320 rdzeniami fizycznymi na dwóch procesorach AMD EPYC 9845, z 1,5 TB pamięci i 14,8 TB dysku NVMe. To najwięcej rdzeni w całym dziale i konfiguracja pod potoki, w których zadanie procesorowe stoi obok zadania na karcie: przygotowanie danych, geometria, symulacja, a karta obsługuje etap końcowy. Opis samej karty prowadzimy na stronie RTX PRO 6000 Blackwell Server Edition.

Serwery rack z RTX PRO 6000 Blackwell 96 GB — dobór konfiguracji

Wobec kart obliczeniowych rodzina wypada tak: H200 NVL ma 141 GB pamięci HBM3e i wyraźnie wyższą przepustowość, co widać przy generowaniu tokenów; A100 80 GB ma mniej pamięci na kartę, ale pełnoprawne FP64. RTX PRO 6000 leży między nimi: pojemność pamięci bliska kartom obliczeniowym, rdzenie obecnej generacji i pełne wsparcie dla zadań graficznych. Względem RTX PRO 5000 różnica to dwa razy więcej pamięci na kartę przy tej samej filozofii obsady.

Nasze stawki tej rodziny mieszczą się między 11 205 zł netto (13 782 zł brutto) a 43 077 zł netto miesięcznie (52 985 zł brutto) za całą maszynę fizyczną z dostępem administracyjnym. Faktura jest jedna i nie zależy od liczby przepracowanych godzin; transfer wychodzący do 20 TB miesięcznie mieści się w abonamencie.

Rendering GPU na RTX PRO 6000 Blackwell

RTX PRO 6000 Blackwell ma 96 GB pamięci na kartę, najwięcej wśród kart graficznych w naszym katalogu. Przy renderingu na GPU oznacza to, że duże sceny, z rozbudowaną geometrią i teksturami w wysokiej rozdzielczości, mieszczą się w pamięci jednej karty. W serwerze z kilkoma kartami każda z nich liczy osobną klatkę albo osobne zadanie z kolejki.

Wynajmujesz całą fizyczną maszynę w profesjonalnej serwerowni, nie maszynę wirtualną. Masz pełne uprawnienia administratora, więc sam instalujesz sterowniki, programy i menedżer kolejki renderingu. Programy do renderingu wraz z licencjami wnosi klient.

Serwer rack z tą kartą kosztuje od 11 205 zł netto (13 782 zł brutto) miesięcznie. Tańszym startem jest stacja robocza do renderingu z kartą RTX PRO 6000 Blackwell w wersji Max-Q. Maszynę rackową zbudowaną wokół karty L40S 48 GB opisujemy osobno jako serwer do renderingu GPU.

Najczęstsze pytania

Porównanie wszystkich kart: Karty GPU NVIDIA na wynajem — porównanie pamięci i cen