Zeptej se Macu, jaké kontroly máš podle interního návodu provést před předáním zkušebního zařízení. Asistent najde příslušnou pasáž, uvede zdroj a sestaví seznam úkolů. Po úpravě návodu může použít novou verzi.
Pro první pokus s malým modelem často stačí Mac s čipem Apple a 16 GB. Pro pravidelnou práci s dokumenty je vyváženou volbou Mac mini M4 Pro se 48 GB a 1TB SSD. Pro modely 70B a souběh velkých modelů začni výběr u Macu Studio s 96 GB.
Co znamená lokální, autonomní a učící se AI
Lokální AI počítá odpovědi a prohledává soubory přímo na Macu. Autonomní zde znamená, že funkce po stažení programů, modelů a závislostí fungují bez internetu. Na izolovaný počítač je lze přenést pomocí zkontrolovaného média. Aktuální údaje o zásilce vyžadují aktuální místní kopii.
Asistent se učí z oprav tím, že vyhledává v aktualizovaných zdrojích. Při RAG, tedy generování s vyhledáváním, převádí model embeddingů části textu na čísla. Vyhledávání tak najde podobný význam i při odlišných slovech. Jazykový model dostane otázku i nalezené úryvky. Jeho váhy zůstávají stejné. Ověřenou opravu ulož do znalostní báze, aby ji našel i v novém chatu.
První offline test bez Terminálu
- Na Mac s čipem Apple nainstaluj LM Studio a ověř systémové požadavky. Stáhni malý model, například Qwen3 4B nebo 8B ve 4 bitech. Kvantizace ukládá váhy s nižší přesností, šetří paměť a může ovlivnit kvalitu.
- Připoj PDF, DOCX nebo TXT bez citlivých údajů. Zeptej se na kroky před předáním a požaduj odkazy na pasáže. Malý soubor se může vejít do kontextu celý, z většího se vyhledají úryvky. Pokud text v naskenovaném PDF nelze označit, proveď nejprve místní rozpoznání textu (OCR).
- Zkontroluj odpověď a zkus i otázku, na kterou soubor odpověď nemá. Vypni Wi-Fi, odpoj Ethernet, spusť aplikaci znovu a test zopakuj v novém chatu.
Znalostní báze s Ollama a Open WebUI
Ollama spouští modely a Open WebUI spravuje dokumenty a chat v prohlížeči. Zpočátku nech služby dostupné jen z Macu přes 127.0.0.1. Nainstaluj a spusť Ollama a při připojení k síti spusť v Terminálu:
ollama pull qwen3:8b
ollama pull qwen3-embedding:0.6b
ollama run qwen3:8b
Ukonči chat příkazem /bye. Podle návodu Ollama vlož do objektu JSON v ~/.ollama/server.json klíč "disable_ollama_cloud": true a zachovej ostatní nastavení. Restartuj Ollama. Místní adresa je obvykle http://127.0.0.1:11434.
Nainstaluj uv a otevři návod Open WebUI. Spusť první příkaz a na http://127.0.0.1:8080 založ místní účet správce. Připoj Ollama přes uvedenou adresu. Pro embeddingy vyber Ollama a model qwen3-embedding:0.6b. Nastav místní extrakci textu.
DATA_DIR="$HOME/.open-webui" uvx --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
DATA_DIR="$HOME/.open-webui" OFFLINE_MODE=true uvx --offline --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
V Workspace → Knowledge založ kolekci, vlož schválené dokumenty a vyber ji v chatu. Po testu stiskni Ctrl+C a ze stejné složky spusť druhý příkaz. Vypni vyhledávání na webu, vzdálené poskytovatele AI a externí nástroje. Offline režim vypíná některá stahování a kontroly verzí. Pro izolaci odpoj síť nebo zablokuj odchozí spojení. Po restartu test zopakuj.
Jak asistenta učit pomocí ověřených oprav
- Pojmenuj soubory jednoznačně, přidej datum a verzi. Pro každé téma urči hlavní dokument a v aktivní kolekci ponech platné znění.
- Návod uvádí nabíjení 30 minut, odpovědná osoba potvrdí 45 minut. Uprav návod, nahraď starý soubor a zkontroluj indexování. Funguje i schválený a datovaný záznam otázky a odpovědi. Z vyhledávání odstraň zastaralé záznamy.
- V novém chatu ověř dobu, zdroj a datum verze. Přidej kontrolní otázku a otázku bez odpovědi. Import můžeš naplánovat ze složky se schválenými soubory. Změněné soubory aktualizuj a odstraněné stáhni i z indexu.
Připrav 10–20 testovacích otázek se správnými odpověďmi a zdroji. Po úpravách ověř nalezené úryvky, kvalitu odpovědí a čekání. Pokud pasáž chybí, zkontroluj OCR, dělení textu a výběr souborů. Pokud je pasáž správná a odpověď chybná, uprav pokyn nebo změň model. Delší kontext spotřebuje více paměti a času.
Fine-tuning upravuje chování, například formát tabulky v odpovědi. MLX LM s metodou LoRA umí na podporovaném Macu vytrénovat malý adaptér. Část ověřených příkladů nech stranou pro porovnání s původním modelem. Měnící se fakta uchovávej ve znalostní bázi. Trénování modelu od začátku vyžaduje mnohem víc dat a výkonu.
Kolik RAM, místa na SSD a propustnosti potřebuješ?
CPU, GPU, macOS i aplikace sdílejí jednotnou paměť. Musí se tam vejít model a kontext. Propustnost paměti v GB/s udává, kolik dat čip přesune za sekundu. Husté modely při psaní opakovaně čtou váhy, takže větší propustnost může pomoci. Záleží i na architektuře, GPU, softwaru, kontextu a souběhu úloh. Samotný údaj o Neural Engine nestačí.
Výchozí soubory Ollama pro Qwen3 8B, 14B a 32B zabírají asi 5,2, 9,3 a 20 GB na SSD. B značí miliardy parametrů. V provozu je potřeba více RAM. Váhy modelu 70B ve 4 bitech vyjdou hrubým výpočtem na 35 GB bez režie formátu, kontextu a systému. Začni podle úlohy se 4 000–8 000 tokeny, tedy úseky textu. Sleduj tlak paměti a swap v Monitoru aktivity.
SSD s kapacitou 256 GB může s dostatkem místa stačit na zkoušku. Při nákupu zvaž 512 GB na začátek, 1 TB pro více modelů a 2 TB pro velké sbírky. Externí SSD pomůže, pokud aplikace umí z jeho umístění číst. RAM později nezvětšíš. Z dokumentů se do kontextu načítají jen vybrané části.
Který Mac se hodí pro lokální AI?
16–32 GB: Mac mini M4 s 16 GB zvládne pokusy s 4B a 8B. S 24–32 GB máš více místa pro 14B a další aplikace. Již vlastněný Mac s 8 GB využij pro drobné pokusy. Porovnej Mac mini M4 a M4 Pro a všechny použité Mac mini.
48–64 GB: Mac mini M4 Pro je vhodný pro pravidelné dokumentové úlohy a 14B–32B. Za srovnání stojí Mac Studio M1 nebo M2 Max s 64 GB a propustností 400 GB/s. Na cesty hledej MacBook Pro s čipem Apple Pro nebo Max. Tento postup je pro Apple Silicon.
Od 96 GB: M3 Ultra s 96 GB nebo Max se 128 GB dává prostor pro 70B, delší kontext a souběh modelů. 192–512 GB má smysl při konkrétní potřebě. Podívej se na Mac Studio M4 Max a M3 Ultra, všechny použité Mac Studio a průvodce nákupem Macu pro AI. Tabulka uvádí technické parametry. Nabízené varianty najdeš v obchodě.
| Mac a čip | Varianty RAM (GB) | Propustnost (GB/s) |
|---|---|---|
| Mac mini M4 | 16 / 24 / 32 | 120 |
| Mac mini M4 Pro | 24 / 48 / 64 | 273 |
| Mac mini M6 | 16 · 24 / 32 | 153 · 170 |
| Mac mini M5 Pro | 24 / 48 / 64 | 307 |
| Mac Studio M1 Max | 32 / 64 | 400 |
| Mac Studio M2 Max | 32 / 64 · 96 (38 jader GPU) | 400 |
| Mac Studio M1 Ultra | 64 / 128 | 800 |
| Mac Studio M2 Ultra | 64 / 128 / 192 | 800 |
| Mac Studio M4 Max · 32 jader GPU | 36 | 410 |
| Mac Studio M4 Max · 40 jader GPU | 48 / 64 / 128 | 546 |
| Mac Studio M3 Ultra · 60 jader GPU | 96 | 819 |
| Mac Studio M3 Ultra · 80 jader GPU | 96 / 256 / 512 | 819 |
| Mac Studio M5 Max · 32 jader GPU | 36 | 460 |
| Mac Studio M5 Max · 40 jader GPU | 48 / 64 / 128 | 614 |
| Mac Studio M5 Ultra · 64 jader GPU | 96 | 1200 |
| Mac Studio M5 Ultra · 80 jader GPU | 96 / 256 / 512 | 1200 |
| MacBook Pro 16″ M4 Pro | 24 / 48 | 273 |
| MacBook Pro 16″ M4 Max · 32 jader GPU | 36 | 410 |
| MacBook Pro 16″ M4 Max · 40 jader GPU | 48 / 64 / 128 | 546 |
Každodenní provoz bez internetu
Pokud mají soubory zůstat na Macu, ukládej je mimo synchronizované složky. Použij FileVault a šifruj zálohy dokumentů, modelů, nastavení, oprav i databáze. Vyzkoušej obnovu. Pro více lidí odděl účty a přístup ke sbírkám. Text z dokumentů ber jako data. Odeslání e-mailu či úpravu souborů nech schválit člověkem. Vyhledávacímu asistentovi stačí čtení.
Časté otázky
Potřebuji Apple Intelligence?
LM Studio a Ollama spouštějí vlastní lokální modely. Předplatné cloudové AI není potřeba.
Co když si asistent odpověď vymyslí?
Otevři uváděnou pasáž a zkontroluj, zda odpověď potvrzuje. Požaduj název souboru a oddíl. Chybějící zdroj má systém přiznat.
Může se zlepšovat každou noc automaticky?
Naplánovat jde schválené importy, indexování a testy. Opravy nech ověřovat člověkem a ponech starší verzi pro obnovu.
















Sdílet:
Který použitý Mac mini se vyplatí: M1, M2, nebo M4?