VRAM je kráľ
Zistil som, že pri AI nie je dôležitý len takt, ale hlavne pamäť! Bez 12GB by som ani nespustil poriadny model. Predstavte si, že by mi to sekalo hneď pri štarte!
Hardvérový denník #01
Výber GPU: Čo som kúpil v Trebišove
Och, ani neviete, aké to bolo dobrodružstvo! Kto by si pomyslel, že v našom Trebišove zoženiem železo, ktoré utiahne lokálne LLM? Naozaj som sa bál, že budem musieť objednávať z Ameriky a platiť clo, ale nakoniec som našiel poklad priamo tu.
Pozrieť parametrePrečo práve tento výber?
Lokálna podpora
Kúpa v Trebišove znamenala, že ak by karta zhorela, viem kam ísť. Žiadne posielanie do zahraničia a čakanie mesiace na reklamáciu. To je istota!
Pomer cena/výkon
Podarilo sa mi vyhádať zľavu, lebo to bol posledný kus na sklade. Ušetrené peniaze som hneď investoval do chladenia. Oplatilo sa!
Moja konfigurácia: Čo to vlastne mám pod kapotou?
Keď som prvýkrát vošiel do predajne, predavač na mňa pozeral ako na blázna. "Vy na tom chcete trénovať neurónové siete?" pýtal sa. Áno, presne to chcem! Nakoniec sme vybrali NVIDIA RTX 3060 s 12GB VRAM. Prečo? Lebo architektúra Ampere je pre začiatočníka v AI ako stvorená. CUDA jadrá sú to, čo potrebujeme, a 3584 jadier je na začiatok úplne super!
| Komponent | Špecifikácia | Poznámka |
|---|---|---|
| GPU Model | RTX 3060 12GB | Kľúčový prvok zostavy |
| VRAM Capacity | 12 GB GDDR6 | Minimum pre Llama 3 |
| TDP | 170 W | Dosť to hreje! |
| Rozhranie | PCIe 4.0 x16 | Rýchly prenos dát |
Porovnanie obchodov v okolí
Nešiel som hneď do prvého obchodu. Obehal som tri miesta v Trebišove a porovnával ceny. Bolo to únavné, ale zistil som, že ceny sa líšia až o 40 eur! Niektorí predajcovia sa snažili pretlačiť staršie modely s 8GB pamäťou, čo by bola pre mňa katastrofa. Vždy si skontrolujte presný kód produktu!
- ✔ Predajňa A: Skvelý prístup, ale o 15% drahšie.
- ✔ Predajňa B: Mali len verziu pre notebooky (pozor na to!).
- ✔ Môj výber: Skladový kus, rozbalený, ale so 100% zárukou.
Log spotreby energie
Keď som to prvýkrát pustil na plný výkon pri trénovaní, elektromer sa skoro zbláznil! Naozaj som nečakal, že to bude až taký odber. Pri bežnom behu LLM (inferencia) to žerie okolo 110W, ale akonáhle začnem fine-tuning, skáče to na limitných 170W. Musel som dokúpiť kvalitnejší zdroj, lebo ten starý začal divne pískať.
Čo sa pokazilo? (FAQ)
Prečo mi počítač nenabehol po vložení karty?
Och, toto bola klasika! Zabudol som zapojiť 8-pinové prídavné napájanie. Karta svietila, ale obraz nikde. Vždy skontrolujte, či sú všetky káble poriadne docvaknuté, kým zavriete skrinku. Pripadal som si ako totálny amatér!
Mám používať ovládače Game Ready alebo Studio?
Pre AI projekty rozhodne odporúčam NVIDIA Studio Drivers. Sú stabilnejšie pri dlhodobej záťaži. Skúšal som tie herné a pri dlhom generovaní mi občas padlo CUDA jadro. Viac o chybách píšem v mojom slovníku chýb.
Zmestí sa táto karta do malej skrinky?
Pozor na dĺžku! Moja má dva ventilátory a vošla sa len tak-tak. Pred kúpou si v obchode vypýtajte meter a odmerajte si priestor od zadnej steny po disky. Verte mi, píliť skrinku fakt nechcete.
Máte už železo?
Ak už máte grafiku v slote, je čas na softvér. Poďme spoločne nainštalovať Python a začať kódovať! Už sa neviem dočkať, kedy uvidíte svoj prvý funkčný skript.