Lokalne AI na starym komputerze: Ollama, karta 8 GB i polski Bielik

Własne AI w domu nie wymaga serwera za kilkanaście tysięcy. Zbudowaliśmy je na kilkuletniej stacji roboczej z kartą GeForce RTX 2080 SUPER (8 GB). Bez zakupów, za 0 zł. Wyszło ok. 60 tokenów na sekundę, czyli szybciej, niż da się czytać. Po drodze trafiliśmy na trzy pułapki, które w poradnikach „zainstaluj i działa” zwykle się pomija. Tu są wszystkie.

Krok 1: instalacja Ollamy

Ollama to najprostszy sposób na lokalne modele językowe. Sama pobiera modele, obsługuje GPU i wystawia API zgodne z wieloma aplikacjami (Open WebUI, Home Assistant, n8n). Na Windowsie:

winget install Ollama.Ollama
ollama --version

Domyślnie Ollama słucha tylko na 127.0.0.1:11434. Jeśli inne urządzenia w sieci (NAS, Home Assistant) mają z niej korzystać, ustaw zmienną środowiskową i uruchom usługę ponownie:

setx OLLAMA_HOST "0.0.0.0:11434"

Od razu zamknij port w zaporze dla wszystkich poza konkretnymi hostami. Ollama nie ma żadnego logowania, więc każdy, kto dosięgnie portu, może z niej korzystać:

New-NetFirewallRule -DisplayName "Ollama tylko z serwera" -Direction Inbound `
  -Protocol TCP -LocalPort 11434 -RemoteAddress 192.168.1.10,192.168.1.20 -Action Allow

Krok 2: dobierz model do pamięci karty

To najważniejsza decyzja. Model musi się zmieścić w całości w VRAM, razem z miejscem na kontekst rozmowy. Jeśli choć część wyląduje w zwykłym RAM, prędkość spada kilkanaście razy. Nasze pomiary na karcie 8 GB:

• qwen3:8b (~5,2 GB): 100% GPU, ~60 tok/s. Dobry „uniwersał”, umie wołać narzędzia (wyszukiwanie, pogoda).
• SpeakLeash/bielik-minitron-7B-v3.0-instruct:Q5_K_M (~5,3 GB): 100% GPU, ~62 tok/s. Polski model, wyraźnie lepsza polszczyzna.
• SpeakLeash/bielik-11b-v3.0-instruct:Q4_K_M (~7,7 GB): nie mieści się. 81% na CPU, 5 tok/s, ładowanie 150 s. Na 8 GB nie ma sensu.

ollama pull qwen3:8b
ollama pull SpeakLeash/bielik-minitron-7B-v3.0-instruct:Q5_K_M

ollama run qwen3:8b "Napisz w jednym zdaniu, czym jest DNS."
ollama ps        # kolumna PROCESSOR musi pokazać 100% GPU

Komenda ollama ps to Twój najlepszy przyjaciel. Jeśli widzisz tam np. 19%/81% CPU/GPU, model jest za duży. Weź mniejszy wariant albo mocniejszą kwantyzację (Q4 zamiast Q5).

Pułapka 1: „karta nie działa”, a AI liczy na procesorze

Po instalacji wszystko „działało”, tylko Bielik pisał 0,8 tokena na sekundę: jedno zdanie w minutę. Ollama w ogóle nie widziała karty. W jej logach każdy backend (CUDA 12, CUDA 13, Vulkan) kończył się tym samym kodem:

exit status 0xc0000005

Łatwo uwierzyć w pierwszą hipotezę: „stary procesor bez AVX, nic się nie da zrobić”. Nieprawda. Odpowiedź leży w Dzienniku zdarzeń Windows, który mówi, który moduł się wysypał:

Get-WinEvent -FilterHashtable @{LogName='Application'; Id=1000} -MaxEvents 5 |
  Format-List TimeCreated, Message

Winowajca: MSVCP140.dll w wersji 14.29 z 2021 roku. Nowe buildy Ollamy są kompilowane nowszym Visual Studio i ze starą biblioteką uruchomieniową padają już przy starcie. Naprawa to jedna komenda:

winget install Microsoft.VCRedist.2015+.x64

Po instalacji (wersja 14.5x) i restarcie Ollamy karta od razu ruszyła: z 0,8 do ~60 tok/s. Wniosek: przy błędzie 0xc0000005 zacznij od zdarzenia o ID 1000 w Dzienniku zdarzeń, a nie od zgadywania.

Pułapka 2: komputer sam się restartuje przy odpowiedziach

Kiedy AI zaczęło intensywnie pracować (wyszukiwanie w internecie plus czytanie kilku stron, ~30 s pełnego obciążenia), komputer dwa razy zrestartował się bez ostrzeżenia: bez niebieskiego ekranu, w dzienniku tylko Kernel-Power 41. Przed pierwszym restartem pojawiły się tysiące poprawionych błędów pamięci (WHEA). To sugerowało RAM, ale drugi restart nastąpił już bez nich.

Typowa przyczyna w starszych stacjach: karta pod pełnym obciążeniem pobiera ~250 W skokami, a zasilacz (albo przejściówki zasilania karty) tego nie wytrzymuje. Skuteczne obejście bez kupowania czegokolwiek to limit mocy karty:

nvidia-smi -pm 1
nvidia-smi -pl 160      # limit 160 W zamiast 250 W
nvidia-smi --query-gpu=power.draw,temperature.gpu,clocks.sm --format=csv -l 2

Efekt u nas: zero restartów, karta przy analizie stoi równo na 160 W, maks. 61°C. Prędkość generowania praktycznie się nie zmieniła, bo przy modelu językowym o szybkości decyduje głównie przepustowość pamięci karty, a nie surowa moc. Limit kasuje się po restarcie, więc dopisz te dwie linie do skryptu startowego Ollamy (np. zadania w Harmonogramie zadań uruchamianego jako SYSTEM).

Pułapka 3: model 8B to nie ChatGPT

Uczciwie: lokalny model 7–8B jest szybki i prywatny, ale nie genialny. Dobrze streszcza, odpowiada na proste pytania, steruje domem i wywołuje narzędzia. Gorzej pisze dłuższe teksty po polsku i myli szczegóły. Dwie rzeczy robią dużą różnicę:

• Dostęp do internetu i dokumentów (narzędzia/RAG). Model nie musi „wiedzieć”, wystarczy, że umie poszukać i przeczytać.
• Dwa modele zamiast jednego: Qwen3 do narzędzi i automatyki, Bielik do pisania po polsku.

Większy skok jakości daje dopiero karta z 24 GB (np. używana RTX 3090), która mieści modele 14–32B.

Podsumowanie

• Na karcie 8 GB bierz modele ~5 GB: qwen3:8b i Bielik-Minitron 7B Q5. Sprawdzaj ollama ps (ma być 100% GPU).
• Błąd 0xc0000005 na Windowsie: najpierw zdarzenie ID 1000, często wystarczy nowy Visual C++ Redistributable.
• Restarty pod obciążeniem: nvidia-smi -pl obniża pobór bez zauważalnej straty prędkości.
• Ollama nie ma logowania, więc zamknij port 11434 w zaporze dla wszystkich poza swoimi serwerami.

Dalej: Domowe AI 24/7 bez prądożernego serwera (Open WebUI + Wake-on-LAN).