Ile RAM-u i VRAM-u potrzeba do lokalnych modeli AI
Spis treści

Ollama, LM Studio i llama.cpp pozwalają uruchomić czat AI bezpośrednio na własnym komputerze. Szybkość nie zależy jednak wyłącznie od nazwy procesora lub karty graficznej. Model musi najpierw zmieścić się w dostępnej pamięci, a ta pamięć musi zapewnić odpowiednią przepustowość.

Dlaczego pamięć jest tak ważna

Model przechowuje miliardy wag liczbowych i odczytuje je podczas generowania każdego tokenu. Liczą się więc dwa parametry:

  • Pojemność.Jeśli model się nie mieści, nie uruchomi się albo część danych trafi do wolniejszego RAM-u.
  • Przepustowość.Im szybciej pamięć dostarcza dane, tym krótszy czas generowania.

Dlatego ten sam model działający w całości w pamięci karty graficznej jest zwykle szybszy niż po przeniesieniu części obliczeń do pamięci operacyjnej.

Jak oszacować rozmiar modelu

Przybliżony wzór to liczba parametrów pomnożona przez rozmiar jednego parametru. FP16 potrzebuje około 2 bajtów, Q8 około 1 bajta, a popularne Q4 zwykle około 0,55-0,6 bajta na parametr.

Orientacyjne rozmiary Q4:

  • 3B: 2-2,5 GB;
  • 7B: 4-5 GB;
  • 13-14B: 8-9 GB;
  • 32-34B: 19-21 GB;
  • 70B: 40-43 GB.

Do tego dochodzi pamięć na kontekst, program i system operacyjny. Długie dokumenty wymagają większego zapasu. Konkretne formaty kwantyzacji różnią się rozmiarem, dlatego przed pobraniem zawsze sprawdź wielkość wybranego pliku.

VRAM czy RAM

  1. Cały model w VRAM.Najszybszy wariant, ponieważ karta nie czeka na pamięć systemową.
  2. Część w VRAM, część w RAM.Model działa, ale wymiana danych przez magistralę ogranicza szybkość.
  3. Cały model w RAM.Możliwe jest generowanie bez dedykowanej karty, lecz zwykle znacznie wolniejsze.

Praktycznie 16 GB RAM-u często wystarcza dla modeli 7B w Q4, a 32 GB ułatwia pracę z 13-14B i większym kontekstem. Około 8 GB VRAM-u mieści wiele modeli 7B, 12 GB wiele modeli 13-14B, a 24 GB liczne modele 30-34B. W Apple Silicon CPU i GPU korzystają ze wspólnej pamięci, więc jej całkowita pojemność jest szczególnie istotna.

Dual Channel i przepustowość

Przy generowaniu na CPU ograniczeniem często staje się przepustowość RAM-u. Dwa zgodne moduły w trybie dwukanałowym mogą zapewnić znacznie lepszy wynik niż jeden moduł. Rzeczywista różnica zależy od platformy, taktowania i modelu.

Przed zakupem sprawdź liczbę gniazd, pamięć wlutowaną i maksymalną pojemność. Pomogą poradniki o Dual Channel i zgodności pamięci RAM.

Co uwzględnić w laptopie

  • RAM może być wlutowany i niemożliwy do rozbudowy.
  • Długie generowanie mocno obciąża chłodzenie.
  • Na baterii laptop może ograniczać wydajność.

Jeżeli taktowanie szybko spada, najpierw sprawdź temperatury i chłodzenie. Czasem czyszczenie laptopa oraz wymiana pasty termicznej dają więcej niż zakup kolejnego modułu.

Co modernizować najpierw

  1. RAM.Większa pojemność usuwa plik wymiany i pozwala uruchamiać większe modele.
  2. NVMe SSD.Pliki modeli zajmują dziesiątki gigabajtów, a szybki nośnik skraca ich ładowanie.
  3. GPU z odpowiednią pamięcią.Daje największy wzrost szybkości, ale w laptopie zwykle nie podlega wymianie.

Przed modernizacją sprawdź zgodność urządzenia. Re-Save wykonuje upgrade SSD i RAM oraz pomaga w doborze laptopa do konkretnych programów.

Krótka checklista

  1. Sprawdź pojemność RAM-u i VRAM-u w Menedżerze zadań.
  2. Zweryfikuj kanały pamięci w CPU-Z lub HWiNFO.
  3. Oszacuj Q4: liczba parametrów razy około 0,6 GB plus zapas.
  4. Sprawdź dokładny rozmiar pliku modelu.
  5. Podłącz zasilanie i monitoruj temperatury.