Jaki serwer do AI wybrać: do inferencji, trenowania, RAG i renderingu

W skrócie

• Dobór zaczyna się od modelu i precyzji: FP16 zajmuje 2 bajty na parametr, FP8 1 bajt, INT4 około 0,5 bajta.
• Llama 3.3 70B w INT4 potrzebuje około 44 GB, więc mieści się na jednej karcie NVIDIA RTX PRO 6000 Blackwell 96 GB.
• Pełne trenowanie dużych modeli wymaga ośmiu modułów SXM połączonych NVLinkiem 900 GB/s, czyli węzła NVIDIA DGX lub HGX.
• Do RAG i renderingu wystarczają karty 48–96 GB, a o wyborze decydują też pamięć RAM, dyski NVMe i rdzenie RT.
• Najem trwa 1, 6 lub 12 miesięcy, a przy umowie na 12 miesięcy nie ma opłaty wdrożeniowej.

Jak dobrać serwer do AI krok po kroku?

Serwer do AI dobiera się w kolejności: zadanie, model i precyzja, pamięć GPU, liczba kart, okres najmu. Moc obliczeniowa karty ma znaczenie dopiero wtedy, gdy model, kontekst i dane mieszczą się w pamięci.

Tabela pokazuje przekrój katalogu START CDC, od stacji AI do węzła DGX; brutto = netto × 1,23. Opłata wdrożeniowa (700–3 900 zł netto) dotyczy stacji GB10 i węzłów DGX tylko najmu na 1 miesiąc, a pozostałych maszyn najmu na 1 i 6 miesięcy.

• Zadanie: inferencja, dostrajanie (LoRA, QLoRA), pełne trenowanie, RAG albo rendering.
• Model i precyzja: parametry × bajty na parametr (FP16 = 2, FP8 = 1, INT4 ≈ 0,5) dają rozmiar wag.
• Pamięć GPU: do wag dolicz około 25% na KV cache i narzut, a zajętość karty trzymaj poniżej 90%.
• Liczba kart: 1, 2, 4 lub 8, bo vLLM dzieli model między karty najpewniej przy potędze dwójki.
• Okres najmu: 1, 6 lub 12 miesięcy.

Jaki serwer do inferencji LLM?

Do inferencji LLM wystarcza zwykle jedna lub dwie karty, jeśli wagi modelu z zapasem mieszczą się w ich pamięci. Tabela liczy pamięć regułą kalkulatora serwera do LLM: parametry × bajty na parametr × 1,25, przy zajętości karty do 90%. To przybliżenie dla kontekstu około 8 tys. tokenów i jednej sesji, a nie pomiar.

Liczba użytkowników zwiększa pamięć na KV cache, czyli zapamiętany kontekst rozmów. Dla Llama 3.3 70B (80 warstw, 8 głów KV, wymiar głowy 128, FP16) jeden token zajmuje 327 680 bajtów, więc sesja z 8 tys. tokenów to około 2,7 GB. Dziesięć równoczesnych sesji to około 27 GB, sto sesji około 268 GB ponad wagi.

Model 70B w INT4 (około 35 GB wag) dla 10 równoczesnych użytkowników potrzebuje więc około 62 GB i mieści się na jednej karcie 96 GB. Dla 100 sesji z pełnym kontekstem wychodzi około 303 GB, czyli cztery karty RTX PRO 6000 (384 GB). To górne oszacowanie, bo vLLM przydziela pamięć KV dynamicznie; rachunek opisuje poradnik ile VRAM potrzebuje LLM.

Jaki serwer do trenowania i dostrajania modeli AI?

Do pełnego trenowania dużych modeli potrzebny jest węzeł z ośmioma modułami GPU SXM połączonymi NVLinkiem i przełącznikami NVSwitch. Karty w każdym kroku wymieniają gradienty, więc o czasie epoki decyduje łącze: moduł H100 SXM5 ma NVLink 900 GB/s, a złącze PCIe 5.0 x16 daje 64 GB/s w jedną stronę.

Pełne trenowanie z optymalizatorem Adam w mieszanej precyzji zajmuje około 16 bajtów na parametr, bez aktywacji: model 8B to około 128 GB, model 70B około 1 120 GB, czyli poziom NVIDIA DGX H200 lub DGX B200. Dostrajanie QLoRA trzyma model bazowy w 4 bitach, więc 70B (około 35 GB wag) mieści się na jednej karcie 96 GB. Obie liczby to przybliżenia.

Opłata wdrożeniowa 3 900 zł netto dotyczy węzłów DGX tylko przy najmie na 1 miesiąc, a cenę DGX B200 potwierdzamy w ofercie. Wszystkie węzły opisuje dział serwery DGX i HGX.

Jaki serwer do RAG, embeddingów i baz wektorowych?

Do RAG, czyli odpowiedzi opartych na wyszukanych dokumentach, wystarczają karty 48–96 GB, bo model embeddingów jest mały, a model odpowiadający ma zwykle 8B–70B parametrów. Baza wektorowa pracuje w pamięci RAM i na dyskach NVMe, więc liczą się też procesor, RAM i dyski.

NVIDIA L40S ma 48 GB GDDR6 z korekcją błędów ECC. TR DC Rack L40S 2 ma dwie takie karty, 32 rdzenie AMD EPYC 7543 i 256 GB RAM za 6 723 zł netto (8 269 zł brutto) miesięcznie przy 12 miesiącach. TR DC Rack 6000 2 ma dwie karty RTX PRO 6000 Blackwell (192 GB), 64 rdzenie AMD EPYC 7763, 512 GB RAM i 11,40 TB NVMe za 11 205 zł netto (13 782 zł brutto), stan na 27.09.2026.

Jaki serwer do renderingu i pracy graficznej?

Do renderingu dobiera się stację roboczą z kartą RTX PRO albo serwer z kartami L40S, bo te karty mają rdzenie RT i sprzętowe silniki wideo. Karty A100 i H100 służą do obliczeń AI i rdzeni RT nie mają.

Stacja HP Z4 G5 z RTX PRO 5000 Blackwell 48 GB i 256 GB RAM kosztuje 3 569 zł netto (4 390 zł brutto) miesięcznie przy 12 miesiącach, a z RTX PRO 6000 Blackwell Max-Q 96 GB (TR DC 6000MQ Solo) 4 980 zł netto (6 125 zł brutto). Do renderingu wsadowego służy serwer z czterema kartami L40S i 512 GB RAM za 13 197 zł netto (16 232 zł brutto), stan na 27.09.2026.

Licencje programów do grafiki wnosi klient. Czasów renderu nie podajemy, bo zależą od sceny, programu i ustawień. Konfiguracje HP Z i Lenovo ThinkStation są w dziale stacje robocze.

Karta konsumencka czy serwerowa: RTX 5090 a RTX PRO 6000, L40S, H100?

NVIDIA GeForce RTX 5090 ma 32 GB GDDR7 i jest kartą do komputera stacjonarnego, a RTX PRO 6000, L40S i H100 są projektowane do stacji roboczych i serwerów. Przy AI różnią się pamięcią, korekcją błędów ECC, chłodzeniem i łączem między kartami.

Karta z 32 GB wystarczy do prototypów i modeli do około 32B w INT4 (około 20 GB), ale model 70B w INT4 (około 44 GB) już się nie zmieści. Karty z wentylatorami oddają ciepło do wnętrza obudowy, dlatego gęste serwery rackowe buduje się z kart pasywnych. Szczegóły: RTX PRO 6000 Blackwell, L40S, H100 SXM5. Jak karta RTX 5090 wypada wobec komputera z układem GB10 i 128 GB pamięci, porównujemy w poradniku komputer do lokalnego LLM.

Domowy serwer do AI czy maszyna w kolokacji?

Domowy lub biurowy serwer do AI sprawdza się przy jednej karcie, a przy czterech i więcej kartach decydują zasilanie, chłodzenie i hałas. Cztery karty po 600 W to 2,4 kW samych GPU, a gniazdo 230 V z bezpiecznikiem 16 A daje około 3,7 kW. Węzeł NVIDIA DGX H100 pobiera szczytowo około 10,2 kW, a DGX B200 około 14,3 kW.

Maszyna w kolokacji stoi w profesjonalnej serwerowni z zasilaniem awaryjnym i chłodzeniem, a klient łączy się z nią zdalnie, z pełnymi uprawnieniami administratora i konsolą KVM. Dostępność i bonifikaty określa umowa najmu. Koszty okresów porównuje poradnik ile kosztuje wynajem serwera GPU, a maszyny rackowe są w dziale serwery GPU PCIe.

Najczęstsze pytania

Zobacz też

• Kalkulator: jaki serwer do modelu LLM
• Ile VRAM potrzebuje LLM
• Ile kosztuje wynajem serwera GPU
• Serwery GPU PCIe z 2, 4 i 8 kartami
• Serwery NVIDIA DGX i HGX do trenowania
• Stacje AI z układami NVIDIA GB10 i GB300
• Stacje robocze HP Z i Lenovo ThinkStation
• Nauka i uczelnie: dobór maszyny po nazwie oprogramowania
• Serwer z 2× RTX PRO 6000 Blackwell 96 GB
• Serwer z 2× NVIDIA L40S 48 GB
• Stacja HP Z4 G5 z RTX PRO 6000 Blackwell Max-Q
• NVIDIA DGX H100 z 8× H100 SXM5
• NVIDIA DGX Spark z układem GB10
• Karta NVIDIA RTX PRO 6000 Blackwell
• Karta NVIDIA L40S
• Moduł NVIDIA H100 SXM5
• Karta NVIDIA H200 NVL
• Zapytaj o dobór serwera do AI

Stan na: 27.09.2026