Komputer do lokalnego LLM — GB10 ze 128 GB pamięci czy karta GPU?

W skrócie

• O tym, czy model się uruchomi, decyduje pamięć: wagi modelu plus kontekst rozmowy.
• GB10 ma 128 GB pamięci zunifikowanej o przepustowości 273 GB/s — według NVIDIA mieści modele do 200 mld parametrów.
• Karta GeForce RTX 5090 ma 32 GB pamięci o przepustowości 1 792 GB/s — mieści mniejsze modele, ale generuje je kilka razy szybciej.
• Prędkość generowania tekstu ogranicza przepustowość pamięci: im większy model, tym mniej słów na sekundę.
• Najem całej maszyny z GB10 kosztuje od 1 690 zł netto (2 078,70 zł brutto) miesięcznie przy umowie na 12 miesięcy.

Co decyduje, czy model językowy uruchomi się lokalnie?

Model językowy to przede wszystkim wagi, czyli liczby zapisane w pamięci. Ich rozmiar łatwo policzyć: liczba parametrów razy liczba bitów na parametr, podzielone przez osiem. Model 70 mld parametrów zapisany w 16 bitach zajmuje około 140 GB, w 8 bitach około 70 GB, a w 4 bitach około 35 GB. Zapis w mniejszej liczbie bitów (kwantyzacja) zmniejsza model kosztem niewielkiej utraty jakości odpowiedzi.

Do wag dochodzi pamięć na kontekst rozmowy, tak zwany KV cache, i na samo oprogramowanie. Im dłuższy kontekst i im więcej równoległych zapytań, tym więcej pamięci ponad rozmiar wag. Szczegółową tabelę dla popularnych modeli i kart znajdziesz w poradniku ile pamięci potrzebuje LLM, a własny model policzysz w kalkulatorze na stronie prywatnego LLM.

Czym jest 128 GB pamięci zunifikowanej w NVIDIA GB10?

W zwykłym komputerze procesor ma własną pamięć RAM, a karta graficzna własną pamięć VRAM. Model musi zmieścić się w pamięci karty, bo tylko tam liczy się szybko. W układzie GB10 procesor i część graficzna korzystają z jednej, wspólnej pamięci 128 GB. Cała ta pamięć jest dostępna dla modelu, dlatego GB10 mieści modele, które nie zmieszczą się w żadnej pojedynczej karcie konsumenckiej.

Parametry według NVIDIA:

• pamięć: 128 GB LPDDR5x zunifikowana, interfejs 256-bitowy, przepustowość 273 GB/s;
• procesor: 20 rdzeni Arm (10 rdzeni Cortex-X925 i 10 rdzeni Cortex-A725);
• wydajność AI: do 1 PFLOP w precyzji FP4;
• sieć: karta ConnectX-7 200 Gb/s oraz port 10 GbE;
• dysk: do 4 TB NVMe M.2 z szyfrowaniem sprzętowym (zależnie od producenta maszyny).

Jakie modele zmieszczą się w 128 GB, a jakie w 64 GB?

NVIDIA podaje progi wielkości modeli dla maszyn z GB10. Są to wartości producenta dla modeli w niskiej precyzji, a realny zapas zależy od długości kontekstu i liczby równoległych zapytań.

Wszystkie maszyny z GB10, które wynajmujemy, mają 128 GB pamięci. Wersja 64 GB trafia do sprzedaży 23.10.2026 u partnerów NVIDIA. Rachunek zakupu i najmu obu wersji opisujemy w poradniku DGX Spark — kupić czy wynająć.

Dlaczego prędkość generowania tekstu zależy od przepustowości pamięci?

Generując każde kolejne słowo (token), model gęsty odczytuje z pamięci wszystkie swoje wagi. Z tego wynika prosty sufit: liczba tokenów na sekundę nie przekroczy przepustowości pamięci podzielonej przez rozmiar wag. To wyliczenie teoretyczne, a w praktyce wynik jest niższy, bo dochodzi kontekst i narzut oprogramowania.

Dla GB10 (273 GB/s) i modelu 70 mld parametrów w 4 bitach (około 35 GB) sufit wynosi około 7–8 tokenów na sekundę. Model 8 mld parametrów w 4 bitach (około 4 GB) ma sufit około 68 tokenów na sekundę. Modele typu MoE (mixture of experts) przy każdym tokenie czytają tylko część wag, dlatego przy tej samej wielkości generują szybciej.

Wniosek: GB10 świetnie mieści duże modele, ale przy największych z nich odpowiedź pojawia się wolniej niż na karcie graficznej. Wczytanie długiego dokumentu i obsługa wielu zapytań naraz zależą bardziej od mocy obliczeniowej niż od przepustowości, więc tam GB10 radzi sobie lepiej, niż sugeruje sam sufit.

GB10 czy karta GeForce RTX 5090 — co wybrać do lokalnego LLM?

Karta RTX 5090 ma 32 GB pamięci GDDR7 o przepustowości 1 792 GB/s, czyli kilka razy szybszej niż w GB10. Dla modeli, które mieszczą się w 32 GB, karta wygeneruje odpowiedź szybciej. Model 70 mld parametrów nawet w 4 bitach (około 35 GB) w jednej takiej karcie się już nie zmieści, a w GB10 zmieści się z zapasem na kontekst.

Dwie maszyny z GB10 połączone razem

Każda maszyna z GB10 ma kartę sieciową ConnectX-7 200 Gb/s. NVIDIA podaje, że dwie maszyny po 128 GB połączone przez ConnectX-7 uruchamiają modele do 400 mld parametrów, a połączenie podwaja też łączną przepustowość pamięci. To rozwiązanie dla modeli, które nie mieszczą się w 128 GB.

Jeśli Twój model mieści się w 128 GB, jedna maszyna jest prostsza w obsłudze i tańsza. Przy większych modelach albo przy trenowaniu warto porównać GB10 z serwerem z kilkoma kartami — zobacz poradnik jaki serwer do AI i dział serwerów GPU PCIe.

Komputer z GB10 na biurku czy w serwerowni?

Maszynę z GB10 możesz kupić i postawić na biurku albo wynająć. W najmie cała fizyczna maszyna pracuje w profesjonalnej serwerowni, pod zasilaniem awaryjnym, a Ty łączysz się z nią zdalnie z pełnymi uprawnieniami administratora. Mogą z niej korzystać zdalnie wszyscy członkowie zespołu.

Wynajmujemy siedem maszyn z GB10 i 128 GB pamięci. Przy umowie na 12 miesięcy najtańsze są HP ZGX Nano G1n i Gigabyte AI TOP ATOM: 1 690 zł netto (2 078,70 zł brutto) miesięcznie. Przy umowie na miesiąc najniższa opłata to 2 040 zł netto (2 509,20 zł brutto) miesięcznie plus jednorazowa opłata wdrożeniowa 700 zł netto (861 zł brutto). NVIDIA DGX Spark z dyskiem 4 TB kosztuje 2 204 zł netto (2 710,92 zł brutto) miesięcznie przy 12 miesiącach.

Najczęstsze pytania

Zobacz też

• AI Supercomputers — maszyny z NVIDIA GB10 na wynajem
• NVIDIA DGX Spark — najem
• HP ZGX Nano G1n — najtańszy najem GB10
• DGX Spark — kupić czy wynająć
• Ile pamięci potrzebuje LLM
• Jaki serwer do AI
• Prywatny LLM — kalkulator pamięci

Stan na: 11.10.2026