+48 22 415 49 93
Poradnik

Ile VRAM potrzebuje model językowy (LLM) i jaka karta graficzna go uruchomi?

Model językowy potrzebuje około 2 GB pamięci karty (VRAM) na miliard parametrów w FP16, 1 GB w FP8 i 0,5 GB w INT4, plus ok. 25 % zapasu na kontekst. Llama 3.3 70B mieści się więc na jednej karcie 96 GB w INT4, a w FP16 potrzebuje ok. 175 GB, czyli ponad 90 % pamięci dwóch takich kart, więc bezpieczny wybór to cztery karty. W START CDC wynajmujesz całą fizyczną maszynę, nie maszynę wirtualną, na 1, 6 lub 12 miesięcy.

W skrócie

  • FP16 zajmuje ok. 2 GB na miliard parametrów, FP8 1 GB, INT4 ok. 0,5 GB, a kontekst dodaje ok. 25 %.
  • Llama 3.3 70B potrzebuje z zapasem ok. 53 GB w INT4, 88 GB w FP8 i 175 GB w FP16.
  • Jedna karta NVIDIA RTX PRO 6000 Blackwell 96 GB mieści Llama 3.3 70B w INT4 i gpt-oss-120b w MXFP4.
  • Llama 3.1 405B w FP8 (ok. 506 GB) wymaga maszyny z ośmioma kartami, np. 8× RTX PRO 6000 (768 GB).
  • Ceny maszyn w tabeli: od 2 204 zł netto/mies. (NVIDIA DGX Spark) do 250 633 zł netto/mies. (NVIDIA DGX B200), najem na 12 miesięcy.

Co to jest VRAM i czym różni się od RAM?

VRAM to pamięć umieszczona na karcie graficznej, z której układ GPU czyta dane bezpośrednio podczas obliczeń. RAM to pamięć operacyjna serwera, podłączona do procesora (CPU) i wspólna dla systemu i programów.

Różnica ma znaczenie, bo przy generowaniu każdego kolejnego tokenu karta odczytuje wagi modelu z pamięci. Pamięć karty ma przepustowość liczoną w terabajtach na sekundę (NVIDIA B200: 8 TB/s według karty katalogowej), a pamięć RAM wielokrotnie mniejszą. Model przeniesiony częściowo do RAM działa przez to znacznie wolniej.

Dlatego model razem z pamięcią kontekstu powinien w całości mieścić się w VRAM jednej karty albo kilku kart w tej samej maszynie. Wyjątkiem są układy z pamięcią koherentną, w których procesor i GPU widzą jedną przestrzeń adresową: NVIDIA GB10 ze 128 GB w NVIDIA DGX Spark i NVIDIA GB300 z 748 GB w stacjach z działu AI Supercomputers. Kiedy komputer z GB10 i 128 GB pamięci jest lepszym wyborem niż karta graficzna, opisujemy w poradniku komputer do lokalnego LLM.

Ile VRAM zajmuje model 8B, 32B, 70B, 120B i 405B?

Model 8B zajmuje ok. 16 GB w FP16, model 70B ok. 140 GB, a model 405B ok. 810 GB samych wag; w INT4 te liczby spadają mniej więcej czterokrotnie.

Wzór: liczba parametrów w miliardach razy liczba bajtów na parametr (FP16 i BF16 = 2, FP8 = 1, INT4 ≈ 0,5) daje rozmiar wag w GB. Do wag dodajemy 25 % na pamięć kontekstu (KV cache) i bufory silnika dla ok. 8 tys. tokenów i jednej sesji. Tak samo liczy kalkulator VRAM na stronie LLM, a tam, gdzie autor modelu publikuje gotowy plik, bierzemy jego rzeczywisty rozmiar zamiast wzoru.

Pliki 4-bitowe (Q4, AWQ, MXFP4, NVFP4) są w praktyce o 20–45 % większe, niż wynika z 0,5 bajta na parametr, bo część warstw zostaje w wyższej precyzji. Modele MoE (mixture of experts), takie jak gpt-oss-120b i Mistral Large 3, muszą mieć w pamięci wszystkie wagi, a nie tylko część aktywną przy danym tokenie.

Szacunkowa pamięć modeli LLM (przybliżenie): wagi / wagi + 25 % zapasu, w GB. Liczby parametrów z kart modeli, stan na 27.09.2026.
Model (autor)ParametryFP16FP8INT4
Llama 3.1 8B Instruct (Meta)8,03 mld16,1 / 20,18,0 / 10,04,9 / 6,2 (plik Q4)
Bielik 11B v3.0 Instruct (SpeakLeash, ACK Cyfronet AGH)11 mld22 / 27,511 / 13,88 / 10 (plik GGUF Q4_K_M)
Qwen 2.5 32B Instruct (Alibaba Cloud)32,5 mld65 / 81,332,5 / 40,619,9 / 24,8 (plik Q4)
Llama 3.3 70B Instruct (Meta)70,6 mld140 / 17570,6 / 88,342,5 / 53,1 (plik Q4)
gpt-oss-120b (OpenAI), MoE120 mldnie wydanonie wydano60 / 75 (MXFP4, format autora)
Llama 3.1 405B Instruct (Meta)405 mld810 / 1 012,5405 / 506,3202,5 / 253,1
Mistral Large 3 (Mistral AI), MoE675 mld, 41 mld aktywnychnie wydano675 / 843,8337,5 / 421,9 (NVFP4)

Ile pamięci dodać na kontekst (KV cache)?

Na kontekst trzeba dodać od kilku do kilkudziesięciu GB, zależnie od długości rozmowy, liczby równoległych sesji i budowy modelu.

Pamięć kontekstu (KV cache) na jeden token wynosi: 2 × liczba warstw × liczba głów KV × wymiar głowy × bajty na wartość. Dla Llama 3.3 70B (80 warstw, 8 głów KV, wymiar 128, wartości FP16) to ok. 0,33 MB na token, czyli 2,7 GB przy 8 tys. tokenów, 10,7 GB przy 32 tys. i 42,9 GB przy 128 tys. tokenów.

Wynik mnoży się przez liczbę sesji obsługiwanych jednocześnie: dziesięć rozmów z kontekstem 32 tys. tokenów to ok. 107 GB dla samego kontekstu modelu 70B. Dla Llama 3.1 8B (32 warstwy) kontekst 32 tys. tokenów zajmuje ok. 4,3 GB na sesję, a dla Llama 3.1 405B (126 warstw) ok. 16,9 GB.

Jaka karta graficzna do LLM: 24, 48, 96, 141 czy 180 GB?

Karta 24 GB mieści modele 8–11B, karta 32 GB model 32B w INT4, karta 72–96 GB model 70B w INT4, a karta 141 GB model 70B w FP8.

Tabela pokazuje największy model, jaki według wzoru mieści się na jednej karcie przy zajętości do 90 % pamięci. Rzeczywiste pliki INT4 są większe niż wynik wzoru, więc przy konkretnym modelu porównuj rozmiar z zapasem z tabeli wyżej.

Największą pamięć na jednej karcie w tabeli ma NVIDIA B200 (180 GB HBM3e), dostępna w maszynie NVIDIA DGX B200 z ośmioma modułami. Jeszcze więcej pamięci na maszynę daje nowsza generacja NVIDIA B300: 2,1 TB w serwerze DGX B300.

Karta konsumencka 32 GB (np. NVIDIA GeForce RTX 5090) to rozsądny próg dla lokalnego LLM przy biurku. Karty profesjonalne i serwerowe mają więcej pamięci na kartę, korekcję błędów ECC i są projektowane do pracy ciągłej w serwerze.

Największy model na jednej karcie (przybliżenie: wagi + 25 % ≤ 90 % VRAM), liczba parametrów w mld. Pamięć kart według kart katalogowych NVIDIA.
KartaVRAMINT4 do ok.FP8 do ok.FP16 do ok.Przykład modelu
NVIDIA RTX PRO 4000 Blackwell24 GB34 mld17 mld8,6 mldLlama 3.1 8B w FP16, Bielik 11B w FP8
Karta konsumencka (np. GeForce RTX 5090)32 GB46 mld23 mld11,5 mldBielik 11B w FP16, Qwen 2.5 32B w INT4
NVIDIA L40S48 GB69 mld35 mld17 mldQwen 2.5 32B w FP8
NVIDIA RTX PRO 5000 Blackwell 72 GB72 GB104 mld52 mld26 mldLlama 3.3 70B w INT4
NVIDIA A100 80 GB80 GB115 mldbrak FP8 (Ampere)29 mldLlama 3.3 70B w INT4
NVIDIA RTX PRO 6000 Blackwell96 GB138 mld69 mld35 mldgpt-oss-120b, Qwen 2.5 32B w FP16
NVIDIA H200 NVL141 GB203 mld101 mld51 mldLlama 3.3 70B w FP8
NVIDIA B200180 GB259 mld130 mld65 mldLlama 3.3 70B w FP8 z długim kontekstem

Kiedy jedna karta nie wystarczy: 2, 4 czy 8 kart?

Jedna karta nie wystarczy, gdy model z zapasem na kontekst przekracza ok. 90 % jej pamięci; wtedy dzieli się go między 2, 4 lub 8 kart w jednej maszynie.

Podział wykonuje silnik wnioskowania (np. vLLM) metodą tensor parallel: każda karta przechowuje część każdej warstwy, a karty wymieniają wyniki po magistrali PCIe albo przez NVLink. Liczba kart powinna dzielić liczbę głów uwagi modelu, dlatego w praktyce używa się 1, 2, 4 lub 8 kart. Wszystkie karty pracują w jednej fizycznej maszynie, bo podział modelu na kilka serwerów wymaga szybkiej sieci między nimi.

W serwerach NVIDIA DGX i HGX osiem modułów SXM łączy NVLink z przełącznikami NVSwitch, co przyspiesza wymianę danych między kartami przy trenowaniu i przy największych modelach. Serwery PCIe z kartami RTX PRO 6000 lub H200 NVL dają dużą pamięć za niższą opłatę miesięczną i są typowym wyborem do wnioskowania (inferencji).

Model, precyzja i maszyna z katalogu START CDC (przybliżenie, reguła: wagi + 25 % ≤ 90 % łącznego VRAM). Stan na 27.09.2026.
Model i precyzjaPotrzeba z zapasemMaszynaKarty i łączny VRAMZajętość pamięci
Llama 3.3 70B, INT453 GBTR DC 6000MQ Solo1× RTX PRO 6000 Max-Q, 96 GB55 %
Llama 3.3 70B, FP888 GBTR DC Rack 6000 2 lub TR DC Rack L40S 42× RTX PRO 6000 lub 4× L40S, 192 GB46 %
Llama 3.3 70B, FP16175 GBTR DC Rack 6000 44× RTX PRO 6000, 384 GB46 %
Llama 3.1 405B, INT4253 GBTR DC Rack 6000 44× RTX PRO 6000, 384 GB66 %
Llama 3.1 405B, FP8506 GBTR DC Rack 6000 8 (1 TB) lub NVIDIA DGX H1008× RTX PRO 6000, 768 GB lub 8× H100 SXM5, 640 GB66 % lub 79 %
Mistral Large 3, FP8844 GBTR DC Rack H200 8 (2 TB) lub NVIDIA DGX H2008× H200, 1 128 GB75 %
Llama 3.1 405B, FP161 013 GBNVIDIA DGX B2008× B200, 1 440 GB70 %

Ile kosztuje serwer z pamięcią GPU pod model 70B i 405B?

Przykładowo maszyna pod model 70B w INT4 kosztuje 2 204 zł netto/mies. (2 711 zł brutto), a pod model 405B w FP8 38 595 zł netto/mies. (47 472 zł brutto) przy najmie na 12 miesięcy.

Ceny w tabeli są miesięczne, netto i brutto (VAT 23 %), dla najmu na 12 miesięcy, stan na 27.09.2026. Przy umowie na 12 miesięcy nie ma opłaty wdrożeniowej. Przy najmie na 1 miesiąc opłata wdrożeniowa dotyczy każdej maszyny, a przy najmie na 6 miesięcy tylko maszyn spoza działów DGX i AI Supercomputers.

Najkrótszy okres najmu to miesiąc i nie rozliczamy godzin. Ceny na 1 i 6 miesięcy oraz pozostałe konfiguracje znajdziesz w poradniku ile kosztuje wynajem serwera GPU i w kalkulatorze LLM, który dobiera maszyny do wybranego modelu.

Wybrane maszyny START CDC według pamięci GPU. Najem na 12 miesięcy, cena za miesiąc, stan na 27.09.2026.
MaszynaKarty i pamięć GPUPrzykładowy modelNetto / mies.Brutto / mies.
NVIDIA DGX Spark (układ GB10)128 GB pamięci wspólnej CPU i GPULlama 3.3 70B INT4, gpt-oss-120b2 204 zł2 711 zł
TR DC 6000MQ Solo (HP Z4 G5)1× RTX PRO 6000 Max-Q, 96 GBLlama 3.3 70B INT4, gpt-oss-120b4 980 zł6 125 zł
TR DC Rack 6000 22× RTX PRO 6000, 192 GBLlama 3.3 70B FP811 205 zł13 782 zł
TR DC Rack 6000 44× RTX PRO 6000, 384 GBLlama 3.3 70B FP16, Llama 3.1 405B INT421 248 zł26 135 zł
TR DC Rack 6000 8 (1 TB)8× RTX PRO 6000, 768 GBLlama 3.1 405B FP838 595 zł47 472 zł
NVIDIA DGX H1008× H100 SXM5, 640 GBLlama 3.1 405B FP879 992 zł98 390 zł
TR DC Rack H200 8 (2 TB)8× H200 NVL, 1 128 GBMistral Large 3 FP883 249 zł102 396 zł
NVIDIA DGX B2008× B200, 1 440 GBLlama 3.1 405B FP16250 633 zł308 279 zł

Jak sprawdzić VRAM i obciążenie na wynajętej maszynie?

Pamięć i obciążenie kart sprawdzisz poleceniem nvidia-smi, które na maszynie bare metal pokazuje wszystkie fizyczne karty z pełną pamięcią.

Na całej fizycznej maszynie liczba kart w nvidia-smi zgadza się z konfiguracją z umowy, a pamięć całkowita każdej karty odpowiada pojemności z karty katalogowej, bez podziału na instancje MIG (Multi-Instance GPU) ani vGPU.

Zajęta pamięć po uruchomieniu modelu nie zawsze równa się rozmiarowi wag. Silnik vLLM domyślnie rezerwuje 90 % pamięci karty na wagi i KV cache (parametr gpu-memory-utilization), więc nvidia-smi pokazuje wtedy prawie pełną kartę. Jeśli nie wiesz, którą maszynę wybrać, opisz model, precyzję i liczbę użytkowników w formularzu kontaktowym.

  • nvidia-smi: lista kart, pamięć całkowita i zajęta (Memory-Usage), obciążenie (GPU-Util) i procesy na każdej karcie.
  • nvidia-smi --query-gpu=name,memory.total,memory.used,utilization.gpu --format=csv -l 5: te same dane co 5 sekund, w formacie do zapisu w pliku.
  • nvidia-smi topo -m: macierz połączeń między kartami (NVLink jako NV#, PCIe jako PIX, PXB, NODE lub SYS) i przypisanie kart do procesorów.
  • nvidia-smi -L: lista kart z numerami seryjnymi (UUID); wpisy MIG pod kartą oznaczałyby jej podział na instancje.

Najczęstsze pytania

Czy wynajmując serwer GPU, dostaję maszynę wirtualną albo część karty?

Nie. W START CDC wynajmujesz całą fizyczną maszynę z kartami GPU na wyłączność, z pełnymi uprawnieniami administratora, a nie wirtualne rdzenie ani maszynę wirtualną wydzieloną ze współdzielonego serwera. Każda karta pracuje z pełną pamięcią, bez podziału na instancje MIG czy vGPU.

Czy 24 GB VRAM wystarczy do LLM?

Tak, do modeli ok. 8–14B: Llama 3.1 8B zmieści się nawet w FP16 (ok. 20 GB z zapasem), a Bielik 11B w FP8 lub INT4. Model 32B w INT4 wymaga ok. 25 GB z zapasem, więc potrzebuje karty 32 GB lub większej.

Jaki lokalny LLM uruchomię na karcie 96 GB?

Na jednej karcie 96 GB zmieści się Llama 3.3 70B w INT4 (ok. 53 GB z zapasem), gpt-oss-120b w MXFP4 (ok. 75 GB) i Qwen 2.5 32B w FP16 (ok. 81 GB). Llama 3.3 70B w FP8 (ok. 88 GB) przekracza próg 90 % pamięci i wymaga dwóch kart.

Ile VRAM potrzebuje Llama 70B?

Llama 3.3 70B potrzebuje z zapasem na kontekst ok. 53 GB w INT4, ok. 88 GB w FP8 i ok. 175 GB w FP16. Odpowiada to jednej karcie 72–96 GB, jednej karcie 141 GB albo czterem kartom 96 GB.

Czy model po polsku, np. Bielik, potrzebuje innej karty?

Nie, Bielik 11B v3.0 potrzebuje tyle pamięci, ile wynika z liczby parametrów: ok. 27,5 GB w FP16 i ok. 10 GB w wersji GGUF Q4_K_M. Język treningu nie zmienia zapotrzebowania na VRAM, więc do FP16 wystarczy karta 32 GB, a do wersji 4-bitowej karta 24 GB.

Czy model MoE potrzebuje mniej VRAM?

Nie, model MoE (mixture of experts) musi mieć w pamięci wszystkie wagi, choć przy każdym tokenie liczy tylko ich część. Mistral Large 3 ma 675 mld parametrów, w tym 41 mld aktywnych, a w FP8 zajmuje ok. 675 GB samych wag.

Czy można uruchomić LLM w pamięci RAM zamiast VRAM?

Można, ale model działa wtedy znacznie wolniej, bo pamięć RAM ma wielokrotnie mniejszą przepustowość niż pamięć karty. Silniki takie jak llama.cpp pozwalają przenieść część warstw do RAM, co sprawdza się awaryjnie, a nie w stałej pracy. Wyjątkiem są układy z pamięcią koherentną, np. NVIDIA GB10 i GB300.

Jaka jest najlepsza karta graficzna do AI?

Najlepsza karta do AI to ta, której pamięć mieści wybrany model z zapasem na kontekst. Do wnioskowania modeli do ok. 120B wystarcza NVIDIA RTX PRO 6000 Blackwell 96 GB, a do trenowania i modeli powyżej 400B służą maszyny z ośmioma modułami H100, H200 lub B200 połączonymi NVLink.

Zobacz też

Stan na: