Jesenné ponuky sú tu! Práve teraz zľava 25 € na každý nákup!

Zobraziť košík

Spýtaj sa Macu, aké kontroly podľa interného návodu potrebuješ pred odovzdaním skúšobného zariadenia. Asistent nájde pasáž, uvedie zdroj a pripraví kontrolný zoznam. Keď návod zmeníš, môže pracovať s novou verziou.

Na prvý pokus s malým modelom často stačí Mac s čipom Apple a 16 GB. Na pravidelnú prácu s dokumentmi je vhodný Mac mini M4 Pro so 48 GB a 1 TB SSD. Pri modeloch 70B alebo niekoľkých veľkých modeloch zváž Mac Studio s najmenej 96 GB.

Čo znamená lokálna, autonómna a učiaca sa AI?

Lokálna AI odpovedá a vyhľadáva v súboroch priamo na Macu. Autonómna tu znamená, že funkcie po stiahnutí aplikácií, modelov a závislostí fungujú bez internetu. Do izolovaného Macu ich môžeš preniesť overeným médiom. Aktuálny stav zásielky vyžaduje aktuálnu miestnu kópiu.

Asistent sa učí z opráv tým, že vyhľadáva v aktualizovaných zdrojoch. Pri RAG, teda generovaní s vyhľadávaním, model embeddingov mení časti textu na čísla. Vyhľadávanie tak nájde podobný význam aj s inými slovami. Jazykový model dostáva otázku a úryvky. Jeho váhy zostávajú rovnaké. Overenú opravu vlož do znalostnej databázy, aby ju našiel aj v novom rozhovore.

Prvá offline skúška bez Terminálu

  1. Nainštaluj LM Studio na Mac s čipom Apple a over systémové požiadavky. Stiahni malý model, napríklad Qwen3 4B alebo 8B so 4 bitmi. Kvantizácia ukladá váhy s menšou presnosťou, šetrí pamäť a môže zmeniť kvalitu.
  2. Prilož PDF, DOCX alebo TXT bez citlivých údajov. Opýtaj sa na kroky pred odovzdaním a vypýtaj si zdroj. Malý súbor sa môže zmestiť do kontextu celý. Vo väčšom sa vyhľadajú úryvky. Ak v skenovanom PDF nevieš označiť text, použi najprv lokálne rozpoznávanie textu (OCR).
  3. Over zdroj a vyskúšaj otázku, na ktorú súbor nemá odpoveď. Vypni Wi-Fi, odpoj Ethernet, reštartuj aplikáciu a zopakuj skúšku v novom rozhovore.

Znalostná databáza pomocou Ollama a Open WebUI

Ollama spúšťa modely. Open WebUI spravuje dokumenty a chat v prehliadači. Na začiatku nechaj služby prístupné len na Macu cez 127.0.0.1. Nainštaluj a spusti Ollama. Počas prípravy s internetom vykonaj v Termináli tieto príkazy.

ollama pull qwen3:8b
ollama pull qwen3-embedding:0.6b
ollama run qwen3:8b

Ukonči chat cez /bye. Podľa návodu Ollama pridaj do objektu JSON v ~/.ollama/server.json kľúč "disable_ollama_cloud": true a zachovaj ostatné nastavenia. Reštartuj Ollama. Lokálna adresa je zvyčajne http://127.0.0.1:11434.

Nainštaluj uv a pozri si návod Open WebUI. Spusti prvý príkaz a na http://127.0.0.1:8080 vytvor miestne správcovské konto. Pripoj Ollama cez uvedenú adresu. V nastaveniach dokumentov vyber Ollama pre embeddingy, model qwen3-embedding:0.6b a miestne získavanie textu.

DATA_DIR="$HOME/.open-webui" uvx --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
DATA_DIR="$HOME/.open-webui" OFFLINE_MODE=true uvx --offline --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080

V Workspace → Knowledge vytvor kolekciu, pridaj schválené dokumenty a vyber kolekciu v chate. Po skúške stlač Ctrl+C a z rovnakého priečinka spusti druhý príkaz. Vypni webové vyhľadávanie, vzdialené AI služby a externé nástroje. Režim offline blokuje niektoré sťahovania a kontroly verzií. Na izoláciu odpoj sieť alebo zablokuj odchádzajúce spojenia. Reštartuj a zopakuj skúšku.

Ako asistenta učiť z overených opráv

  1. Používaj jasné názvy, verzie a dátumy. Pre každú tému urči hlavný zdroj. V aktívnej kolekcii drž platnú verziu.
  2. Návod uvádza 30 minút nabíjania. Zodpovedná osoba potvrdí 45. Uprav návod, vymeň starý súbor a over indexovanie. Použiť môžeš aj schválený záznam otázky a odpovede s dátumom. Z vyhľadávania odstráň zastarané záznamy.
  3. V novom chate sa spýtaj na čas, zdroj a verziu. Otestuj aj starú kontrolnú otázku a otázku bez odpovede. Naplánuj prípadný import z priečinka schválených súborov. Zmenené súbory aktualizuj a vymazané odstráň z indexu.

Priprav 10–20 otázok so správnymi odpoveďami a zdrojmi. Po zmenách skontroluj vyhľadané pasáže, kvalitu odpovedí a čas čakania. Ak chýba pasáž, over OCR, výber súborov a delenie textu. Ak je pasáž správna a odpoveď chybná, zmeň pokyn alebo model. Dlhší kontext potrebuje viac pamäte a času.

Jemné dolaďovanie mení správanie modelu, napríklad spôsob vytvárania tabuľky. MLX LM s LoRA dokáže na podporovanom Macu natrénovať malý adaptér. Použi overené príklady a časť si odlož na porovnanie s pôvodným modelom. Premenlivé fakty drž v znalostnej databáze. Tréning základného modelu od nuly vyžaduje oveľa viac údajov a výkonu.

Koľko RAM, miesta na SSD a priepustnosti potrebuješ?

CPU, GPU, macOS a aplikácie zdieľajú unifikovanú pamäť. Musí sa do nej zmestiť model aj kontext. Priepustnosť pamäte v GB/s hovorí, koľko dát čip presunie za sekundu. Husté modely pri generovaní opakovane čítajú váhy, takže vyššia priepustnosť môže pomôcť. Výsledok ovplyvní aj architektúra, GPU, softvér, kontext a súbežné úlohy. Hodnota Neural Engine sama nestačí.

Predvolené verzie Qwen3 8B, 14B a 32B v Ollama zaberajú približne 5,2, 9,3 a 20 GB na SSD. B znamená miliardy parametrov. Pri behu je potrebnej RAM viac. Surové váhy 70B modelu pri 4 bitoch zaberú asi 35 GB bez réžie formátu, kontextu a systému. Ak sa úloha zmestí, začni pri 4 000–8 000 tokenoch, čiže častiach textu. Sleduj tlak pamäte a swap v Monitore aktivity.

SSD s 256 GB môže s dostatkom miesta stačiť na prvý pokus. Pri kúpe je 512 GB rozumný začiatok, 1 TB praktický pre viac modelov a 2 TB pre veľké zbierky. Externý SSD pomôže pri podpore jeho umiestnenia aplikáciou. RAM neskôr nerozšíriš. Do kontextu sa načítajú iba vybrané úryvky.

Ktorý Mac sa hodí na lokálnu AI?

16–32 GB: Mac mini M4 so 16 GB je vhodný na skúšky s 4B a 8B. Pri 24–32 GB je viac miesta na 14B a ďalšie aplikácie. Existujúci Mac s 8 GB použi na drobné pokusy. Porovnaj Mac mini M4 a M4 Pro a všetky použité Mac mini.

48–64 GB: Mac mini M4 Pro je vhodný na bežnú prácu s dokumentmi a 14B–32B. Zváž použitý Mac Studio M1 alebo M2 Max so 64 GB a 400 GB/s. Na cesty sa pozri na MacBook Pro s čipom Apple Pro alebo Max. Tento návod platí pre Apple Silicon.

Od 96 GB: M3 Ultra s 96 GB alebo Max so 128 GB ponúka priestor na 70B, dlhší kontext a súbeh modelov. Pri konkrétnej potrebe zváž 192–512 GB. Pozri Mac Studio M4 Max a M3 Ultra, všetky použité Mac Studio a sprievodcu kúpou Macu na AI. Tabuľka uvádza technické údaje. Ponúkané konfigurácie nájdeš v obchode.

Mac a čipMožnosti RAM (GB)Priepustnosť (GB/s)
Mac mini M416 / 24 / 32120
Mac mini M4 Pro24 / 48 / 64273
Mac mini M616 · 24 / 32153 · 170
Mac mini M5 Pro24 / 48 / 64307
Mac Studio M1 Max32 / 64400
Mac Studio M2 Max32 / 64 · 96 (38 jadier GPU)400
Mac Studio M1 Ultra64 / 128800
Mac Studio M2 Ultra64 / 128 / 192800
Mac Studio M4 Max · 32 jadier GPU36410
Mac Studio M4 Max · 40 jadier GPU48 / 64 / 128546
Mac Studio M3 Ultra · 60 jadier GPU96819
Mac Studio M3 Ultra · 80 jadier GPU96 / 256 / 512819
Mac Studio M5 Max · 32 jadier GPU36460
Mac Studio M5 Max · 40 jadier GPU48 / 64 / 128614
Mac Studio M5 Ultra · 64 jadier GPU961200
Mac Studio M5 Ultra · 80 jadier GPU96 / 256 / 5121200
MacBook Pro 16″ M4 Pro24 / 48273
MacBook Pro 16″ M4 Max · 32 jadier GPU36410
MacBook Pro 16″ M4 Max · 40 jadier GPU48 / 64 / 128546

Každodenná prevádzka bez pripojenia

Ak majú súbory zostať na Macu, ukladaj ich mimo synchronizovaných priečinkov. Zapni FileVault a šifruj zálohy dokumentov, modelov, nastavení, opráv a databázy. Otestuj obnovu. Oddeľ účty a prístup ku kolekciám. Ber text dokumentov ako dáta. Odoslanie e-mailu či zmenu súboru nechaj na ľudské schválenie. Asistentovi na vyhľadávanie stačí právo na čítanie.

Časté otázky

Potrebujem Apple Intelligence?

LM Studio a Ollama spúšťajú vlastné lokálne modely. Predplatné cloudovej AI netreba.

Čo ak si asistent odpoveď vymyslí?

Otvor citovanú pasáž a over, či odpoveď podporuje. Žiadaj názov súboru a oddiel. Chýbajúci zdroj má asistent priznať.

Môže sa zlepšovať každú noc?

Môžeš naplánovať schválené importy, indexovanie a testy. Opravy nech schváli človek a uchovaj staršiu verziu.

Zdroje a návody