Podzimní nabídky jsou tady! Právě teď sleva 25 € na každý nákup!

Zobrazit košík

Zeptej se Macu, jaké kontroly máš podle interního návodu provést před předáním zkušebního zařízení. Asistent najde příslušnou pasáž, uvede zdroj a sestaví seznam úkolů. Po úpravě návodu může použít novou verzi.

Pro první pokus s malým modelem často stačí Mac s čipem Apple a 16 GB. Pro pravidelnou práci s dokumenty je vyváženou volbou Mac mini M4 Pro se 48 GB a 1TB SSD. Pro modely 70B a souběh velkých modelů začni výběr u Macu Studio s 96 GB.

Co znamená lokální, autonomní a učící se AI

Lokální AI počítá odpovědi a prohledává soubory přímo na Macu. Autonomní zde znamená, že funkce po stažení programů, modelů a závislostí fungují bez internetu. Na izolovaný počítač je lze přenést pomocí zkontrolovaného média. Aktuální údaje o zásilce vyžadují aktuální místní kopii.

Asistent se učí z oprav tím, že vyhledává v aktualizovaných zdrojích. Při RAG, tedy generování s vyhledáváním, převádí model embeddingů části textu na čísla. Vyhledávání tak najde podobný význam i při odlišných slovech. Jazykový model dostane otázku i nalezené úryvky. Jeho váhy zůstávají stejné. Ověřenou opravu ulož do znalostní báze, aby ji našel i v novém chatu.

První offline test bez Terminálu

  1. Na Mac s čipem Apple nainstaluj LM Studio a ověř systémové požadavky. Stáhni malý model, například Qwen3 4B nebo 8B ve 4 bitech. Kvantizace ukládá váhy s nižší přesností, šetří paměť a může ovlivnit kvalitu.
  2. Připoj PDF, DOCX nebo TXT bez citlivých údajů. Zeptej se na kroky před předáním a požaduj odkazy na pasáže. Malý soubor se může vejít do kontextu celý, z většího se vyhledají úryvky. Pokud text v naskenovaném PDF nelze označit, proveď nejprve místní rozpoznání textu (OCR).
  3. Zkontroluj odpověď a zkus i otázku, na kterou soubor odpověď nemá. Vypni Wi-Fi, odpoj Ethernet, spusť aplikaci znovu a test zopakuj v novém chatu.

Znalostní báze s Ollama a Open WebUI

Ollama spouští modely a Open WebUI spravuje dokumenty a chat v prohlížeči. Zpočátku nech služby dostupné jen z Macu přes 127.0.0.1. Nainstaluj a spusť Ollama a při připojení k síti spusť v Terminálu:

ollama pull qwen3:8b
ollama pull qwen3-embedding:0.6b
ollama run qwen3:8b

Ukonči chat příkazem /bye. Podle návodu Ollama vlož do objektu JSON v ~/.ollama/server.json klíč "disable_ollama_cloud": true a zachovej ostatní nastavení. Restartuj Ollama. Místní adresa je obvykle http://127.0.0.1:11434.

Nainstaluj uv a otevři návod Open WebUI. Spusť první příkaz a na http://127.0.0.1:8080 založ místní účet správce. Připoj Ollama přes uvedenou adresu. Pro embeddingy vyber Ollama a model qwen3-embedding:0.6b. Nastav místní extrakci textu.

DATA_DIR="$HOME/.open-webui" uvx --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
DATA_DIR="$HOME/.open-webui" OFFLINE_MODE=true uvx --offline --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080

V Workspace → Knowledge založ kolekci, vlož schválené dokumenty a vyber ji v chatu. Po testu stiskni Ctrl+C a ze stejné složky spusť druhý příkaz. Vypni vyhledávání na webu, vzdálené poskytovatele AI a externí nástroje. Offline režim vypíná některá stahování a kontroly verzí. Pro izolaci odpoj síť nebo zablokuj odchozí spojení. Po restartu test zopakuj.

Jak asistenta učit pomocí ověřených oprav

  1. Pojmenuj soubory jednoznačně, přidej datum a verzi. Pro každé téma urči hlavní dokument a v aktivní kolekci ponech platné znění.
  2. Návod uvádí nabíjení 30 minut, odpovědná osoba potvrdí 45 minut. Uprav návod, nahraď starý soubor a zkontroluj indexování. Funguje i schválený a datovaný záznam otázky a odpovědi. Z vyhledávání odstraň zastaralé záznamy.
  3. V novém chatu ověř dobu, zdroj a datum verze. Přidej kontrolní otázku a otázku bez odpovědi. Import můžeš naplánovat ze složky se schválenými soubory. Změněné soubory aktualizuj a odstraněné stáhni i z indexu.

Připrav 10–20 testovacích otázek se správnými odpověďmi a zdroji. Po úpravách ověř nalezené úryvky, kvalitu odpovědí a čekání. Pokud pasáž chybí, zkontroluj OCR, dělení textu a výběr souborů. Pokud je pasáž správná a odpověď chybná, uprav pokyn nebo změň model. Delší kontext spotřebuje více paměti a času.

Fine-tuning upravuje chování, například formát tabulky v odpovědi. MLX LM s metodou LoRA umí na podporovaném Macu vytrénovat malý adaptér. Část ověřených příkladů nech stranou pro porovnání s původním modelem. Měnící se fakta uchovávej ve znalostní bázi. Trénování modelu od začátku vyžaduje mnohem víc dat a výkonu.

Kolik RAM, místa na SSD a propustnosti potřebuješ?

CPU, GPU, macOS i aplikace sdílejí jednotnou paměť. Musí se tam vejít model a kontext. Propustnost paměti v GB/s udává, kolik dat čip přesune za sekundu. Husté modely při psaní opakovaně čtou váhy, takže větší propustnost může pomoci. Záleží i na architektuře, GPU, softwaru, kontextu a souběhu úloh. Samotný údaj o Neural Engine nestačí.

Výchozí soubory Ollama pro Qwen3 8B, 14B a 32B zabírají asi 5,2, 9,3 a 20 GB na SSD. B značí miliardy parametrů. V provozu je potřeba více RAM. Váhy modelu 70B ve 4 bitech vyjdou hrubým výpočtem na 35 GB bez režie formátu, kontextu a systému. Začni podle úlohy se 4 000–8 000 tokeny, tedy úseky textu. Sleduj tlak paměti a swap v Monitoru aktivity.

SSD s kapacitou 256 GB může s dostatkem místa stačit na zkoušku. Při nákupu zvaž 512 GB na začátek, 1 TB pro více modelů a 2 TB pro velké sbírky. Externí SSD pomůže, pokud aplikace umí z jeho umístění číst. RAM později nezvětšíš. Z dokumentů se do kontextu načítají jen vybrané části.

Který Mac se hodí pro lokální AI?

16–32 GB: Mac mini M4 s 16 GB zvládne pokusy s 4B a 8B. S 24–32 GB máš více místa pro 14B a další aplikace. Již vlastněný Mac s 8 GB využij pro drobné pokusy. Porovnej Mac mini M4 a M4 Pro a všechny použité Mac mini.

48–64 GB: Mac mini M4 Pro je vhodný pro pravidelné dokumentové úlohy a 14B–32B. Za srovnání stojí Mac Studio M1 nebo M2 Max s 64 GB a propustností 400 GB/s. Na cesty hledej MacBook Pro s čipem Apple Pro nebo Max. Tento postup je pro Apple Silicon.

Od 96 GB: M3 Ultra s 96 GB nebo Max se 128 GB dává prostor pro 70B, delší kontext a souběh modelů. 192–512 GB má smysl při konkrétní potřebě. Podívej se na Mac Studio M4 Max a M3 Ultra, všechny použité Mac Studio a průvodce nákupem Macu pro AI. Tabulka uvádí technické parametry. Nabízené varianty najdeš v obchodě.

Mac a čipVarianty RAM (GB)Propustnost (GB/s)
Mac mini M416 / 24 / 32120
Mac mini M4 Pro24 / 48 / 64273
Mac mini M616 · 24 / 32153 · 170
Mac mini M5 Pro24 / 48 / 64307
Mac Studio M1 Max32 / 64400
Mac Studio M2 Max32 / 64 · 96 (38 jader GPU)400
Mac Studio M1 Ultra64 / 128800
Mac Studio M2 Ultra64 / 128 / 192800
Mac Studio M4 Max · 32 jader GPU36410
Mac Studio M4 Max · 40 jader GPU48 / 64 / 128546
Mac Studio M3 Ultra · 60 jader GPU96819
Mac Studio M3 Ultra · 80 jader GPU96 / 256 / 512819
Mac Studio M5 Max · 32 jader GPU36460
Mac Studio M5 Max · 40 jader GPU48 / 64 / 128614
Mac Studio M5 Ultra · 64 jader GPU961200
Mac Studio M5 Ultra · 80 jader GPU96 / 256 / 5121200
MacBook Pro 16″ M4 Pro24 / 48273
MacBook Pro 16″ M4 Max · 32 jader GPU36410
MacBook Pro 16″ M4 Max · 40 jader GPU48 / 64 / 128546

Každodenní provoz bez internetu

Pokud mají soubory zůstat na Macu, ukládej je mimo synchronizované složky. Použij FileVault a šifruj zálohy dokumentů, modelů, nastavení, oprav i databáze. Vyzkoušej obnovu. Pro více lidí odděl účty a přístup ke sbírkám. Text z dokumentů ber jako data. Odeslání e-mailu či úpravu souborů nech schválit člověkem. Vyhledávacímu asistentovi stačí čtení.

Časté otázky

Potřebuji Apple Intelligence?

LM Studio a Ollama spouštějí vlastní lokální modely. Předplatné cloudové AI není potřeba.

Co když si asistent odpověď vymyslí?

Otevři uváděnou pasáž a zkontroluj, zda odpověď potvrzuje. Požaduj název souboru a oddíl. Chybějící zdroj má systém přiznat.

Může se zlepšovat každou noc automaticky?

Naplánovat jde schválené importy, indexování a testy. Opravy nech ověřovat člověkem a ponech starší verzi pro obnovu.

Zdroje a návody