Spýtaj sa Macu, aké kontroly podľa interného návodu potrebuješ pred odovzdaním skúšobného zariadenia. Asistent nájde pasáž, uvedie zdroj a pripraví kontrolný zoznam. Keď návod zmeníš, môže pracovať s novou verziou.
Na prvý pokus s malým modelom často stačí Mac s čipom Apple a 16 GB. Na pravidelnú prácu s dokumentmi je vhodný Mac mini M4 Pro so 48 GB a 1 TB SSD. Pri modeloch 70B alebo niekoľkých veľkých modeloch zváž Mac Studio s najmenej 96 GB.
Čo znamená lokálna, autonómna a učiaca sa AI?
Lokálna AI odpovedá a vyhľadáva v súboroch priamo na Macu. Autonómna tu znamená, že funkcie po stiahnutí aplikácií, modelov a závislostí fungujú bez internetu. Do izolovaného Macu ich môžeš preniesť overeným médiom. Aktuálny stav zásielky vyžaduje aktuálnu miestnu kópiu.
Asistent sa učí z opráv tým, že vyhľadáva v aktualizovaných zdrojoch. Pri RAG, teda generovaní s vyhľadávaním, model embeddingov mení časti textu na čísla. Vyhľadávanie tak nájde podobný význam aj s inými slovami. Jazykový model dostáva otázku a úryvky. Jeho váhy zostávajú rovnaké. Overenú opravu vlož do znalostnej databázy, aby ju našiel aj v novom rozhovore.
Prvá offline skúška bez Terminálu
- Nainštaluj LM Studio na Mac s čipom Apple a over systémové požiadavky. Stiahni malý model, napríklad Qwen3 4B alebo 8B so 4 bitmi. Kvantizácia ukladá váhy s menšou presnosťou, šetrí pamäť a môže zmeniť kvalitu.
- Prilož PDF, DOCX alebo TXT bez citlivých údajov. Opýtaj sa na kroky pred odovzdaním a vypýtaj si zdroj. Malý súbor sa môže zmestiť do kontextu celý. Vo väčšom sa vyhľadajú úryvky. Ak v skenovanom PDF nevieš označiť text, použi najprv lokálne rozpoznávanie textu (OCR).
- Over zdroj a vyskúšaj otázku, na ktorú súbor nemá odpoveď. Vypni Wi-Fi, odpoj Ethernet, reštartuj aplikáciu a zopakuj skúšku v novom rozhovore.
Znalostná databáza pomocou Ollama a Open WebUI
Ollama spúšťa modely. Open WebUI spravuje dokumenty a chat v prehliadači. Na začiatku nechaj služby prístupné len na Macu cez 127.0.0.1. Nainštaluj a spusti Ollama. Počas prípravy s internetom vykonaj v Termináli tieto príkazy.
ollama pull qwen3:8b
ollama pull qwen3-embedding:0.6b
ollama run qwen3:8b
Ukonči chat cez /bye. Podľa návodu Ollama pridaj do objektu JSON v ~/.ollama/server.json kľúč "disable_ollama_cloud": true a zachovaj ostatné nastavenia. Reštartuj Ollama. Lokálna adresa je zvyčajne http://127.0.0.1:11434.
Nainštaluj uv a pozri si návod Open WebUI. Spusti prvý príkaz a na http://127.0.0.1:8080 vytvor miestne správcovské konto. Pripoj Ollama cez uvedenú adresu. V nastaveniach dokumentov vyber Ollama pre embeddingy, model qwen3-embedding:0.6b a miestne získavanie textu.
DATA_DIR="$HOME/.open-webui" uvx --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
DATA_DIR="$HOME/.open-webui" OFFLINE_MODE=true uvx --offline --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
V Workspace → Knowledge vytvor kolekciu, pridaj schválené dokumenty a vyber kolekciu v chate. Po skúške stlač Ctrl+C a z rovnakého priečinka spusti druhý príkaz. Vypni webové vyhľadávanie, vzdialené AI služby a externé nástroje. Režim offline blokuje niektoré sťahovania a kontroly verzií. Na izoláciu odpoj sieť alebo zablokuj odchádzajúce spojenia. Reštartuj a zopakuj skúšku.
Ako asistenta učiť z overených opráv
- Používaj jasné názvy, verzie a dátumy. Pre každú tému urči hlavný zdroj. V aktívnej kolekcii drž platnú verziu.
- Návod uvádza 30 minút nabíjania. Zodpovedná osoba potvrdí 45. Uprav návod, vymeň starý súbor a over indexovanie. Použiť môžeš aj schválený záznam otázky a odpovede s dátumom. Z vyhľadávania odstráň zastarané záznamy.
- V novom chate sa spýtaj na čas, zdroj a verziu. Otestuj aj starú kontrolnú otázku a otázku bez odpovede. Naplánuj prípadný import z priečinka schválených súborov. Zmenené súbory aktualizuj a vymazané odstráň z indexu.
Priprav 10–20 otázok so správnymi odpoveďami a zdrojmi. Po zmenách skontroluj vyhľadané pasáže, kvalitu odpovedí a čas čakania. Ak chýba pasáž, over OCR, výber súborov a delenie textu. Ak je pasáž správna a odpoveď chybná, zmeň pokyn alebo model. Dlhší kontext potrebuje viac pamäte a času.
Jemné dolaďovanie mení správanie modelu, napríklad spôsob vytvárania tabuľky. MLX LM s LoRA dokáže na podporovanom Macu natrénovať malý adaptér. Použi overené príklady a časť si odlož na porovnanie s pôvodným modelom. Premenlivé fakty drž v znalostnej databáze. Tréning základného modelu od nuly vyžaduje oveľa viac údajov a výkonu.
Koľko RAM, miesta na SSD a priepustnosti potrebuješ?
CPU, GPU, macOS a aplikácie zdieľajú unifikovanú pamäť. Musí sa do nej zmestiť model aj kontext. Priepustnosť pamäte v GB/s hovorí, koľko dát čip presunie za sekundu. Husté modely pri generovaní opakovane čítajú váhy, takže vyššia priepustnosť môže pomôcť. Výsledok ovplyvní aj architektúra, GPU, softvér, kontext a súbežné úlohy. Hodnota Neural Engine sama nestačí.
Predvolené verzie Qwen3 8B, 14B a 32B v Ollama zaberajú približne 5,2, 9,3 a 20 GB na SSD. B znamená miliardy parametrov. Pri behu je potrebnej RAM viac. Surové váhy 70B modelu pri 4 bitoch zaberú asi 35 GB bez réžie formátu, kontextu a systému. Ak sa úloha zmestí, začni pri 4 000–8 000 tokenoch, čiže častiach textu. Sleduj tlak pamäte a swap v Monitore aktivity.
SSD s 256 GB môže s dostatkom miesta stačiť na prvý pokus. Pri kúpe je 512 GB rozumný začiatok, 1 TB praktický pre viac modelov a 2 TB pre veľké zbierky. Externý SSD pomôže pri podpore jeho umiestnenia aplikáciou. RAM neskôr nerozšíriš. Do kontextu sa načítajú iba vybrané úryvky.
Ktorý Mac sa hodí na lokálnu AI?
16–32 GB: Mac mini M4 so 16 GB je vhodný na skúšky s 4B a 8B. Pri 24–32 GB je viac miesta na 14B a ďalšie aplikácie. Existujúci Mac s 8 GB použi na drobné pokusy. Porovnaj Mac mini M4 a M4 Pro a všetky použité Mac mini.
48–64 GB: Mac mini M4 Pro je vhodný na bežnú prácu s dokumentmi a 14B–32B. Zváž použitý Mac Studio M1 alebo M2 Max so 64 GB a 400 GB/s. Na cesty sa pozri na MacBook Pro s čipom Apple Pro alebo Max. Tento návod platí pre Apple Silicon.
Od 96 GB: M3 Ultra s 96 GB alebo Max so 128 GB ponúka priestor na 70B, dlhší kontext a súbeh modelov. Pri konkrétnej potrebe zváž 192–512 GB. Pozri Mac Studio M4 Max a M3 Ultra, všetky použité Mac Studio a sprievodcu kúpou Macu na AI. Tabuľka uvádza technické údaje. Ponúkané konfigurácie nájdeš v obchode.
| Mac a čip | Možnosti RAM (GB) | Priepustnosť (GB/s) |
|---|---|---|
| Mac mini M4 | 16 / 24 / 32 | 120 |
| Mac mini M4 Pro | 24 / 48 / 64 | 273 |
| Mac mini M6 | 16 · 24 / 32 | 153 · 170 |
| Mac mini M5 Pro | 24 / 48 / 64 | 307 |
| Mac Studio M1 Max | 32 / 64 | 400 |
| Mac Studio M2 Max | 32 / 64 · 96 (38 jadier GPU) | 400 |
| Mac Studio M1 Ultra | 64 / 128 | 800 |
| Mac Studio M2 Ultra | 64 / 128 / 192 | 800 |
| Mac Studio M4 Max · 32 jadier GPU | 36 | 410 |
| Mac Studio M4 Max · 40 jadier GPU | 48 / 64 / 128 | 546 |
| Mac Studio M3 Ultra · 60 jadier GPU | 96 | 819 |
| Mac Studio M3 Ultra · 80 jadier GPU | 96 / 256 / 512 | 819 |
| Mac Studio M5 Max · 32 jadier GPU | 36 | 460 |
| Mac Studio M5 Max · 40 jadier GPU | 48 / 64 / 128 | 614 |
| Mac Studio M5 Ultra · 64 jadier GPU | 96 | 1200 |
| Mac Studio M5 Ultra · 80 jadier GPU | 96 / 256 / 512 | 1200 |
| MacBook Pro 16″ M4 Pro | 24 / 48 | 273 |
| MacBook Pro 16″ M4 Max · 32 jadier GPU | 36 | 410 |
| MacBook Pro 16″ M4 Max · 40 jadier GPU | 48 / 64 / 128 | 546 |
Každodenná prevádzka bez pripojenia
Ak majú súbory zostať na Macu, ukladaj ich mimo synchronizovaných priečinkov. Zapni FileVault a šifruj zálohy dokumentov, modelov, nastavení, opráv a databázy. Otestuj obnovu. Oddeľ účty a prístup ku kolekciám. Ber text dokumentov ako dáta. Odoslanie e-mailu či zmenu súboru nechaj na ľudské schválenie. Asistentovi na vyhľadávanie stačí právo na čítanie.
Časté otázky
Potrebujem Apple Intelligence?
LM Studio a Ollama spúšťajú vlastné lokálne modely. Predplatné cloudovej AI netreba.
Čo ak si asistent odpoveď vymyslí?
Otvor citovanú pasáž a over, či odpoveď podporuje. Žiadaj názov súboru a oddiel. Chýbajúci zdroj má asistent priznať.
Môže sa zlepšovať každú noc?
Môžeš naplánovať schválené importy, indexovanie a testy. Opravy nech schváli človek a uchovaj staršiu verziu.
















Zdieľať:
Ktorý použitý Mac mini sa oplatí: M1, M2 alebo M4?