Hösterbjudandena är här! Just nu får du 25 € rabatt på varje köp!

Se din kundvagn

Fråga din Mac vilka kontroller som ska göras före överlämning av en testenhet. Assistenten letar upp avsnittet i handboken och skapar en checklista med källor. Uppdaterar du handboken kan den använda den nya versionen.

En Mac med Apple-chip och 16 GB räcker ofta för att prova en liten modell. För regelbundet dokumentarbete passar Mac mini M4 Pro med 48 GB och 1 TB bra. För 70B-modeller eller flera stora modeller kan du börja jämförelsen vid 96 GB på en Mac Studio.

Vad betyder lokal, självständig och lärande?

Lokal betyder att Macen kör modellen och söker i filerna. Självständig innebär här att funktionerna kan köras utan internet efter att program, modeller och beroenden har laddats ned. En isolerad maskin kan få filerna via ett kontrollerat lagringsmedium. Färska leveransbesked kräver en aktuell lokal kopia.

Assistenten lär sig av rättelser genom att söka i uppdaterade källor. Med RAG, sökstödd textgenerering, gör en embeddingmodell om textavsnitt till tal så att sökningen hittar liknande betydelser. Språkmodellen får frågan och de valda avsnitten. Modellens vikter förblir desamma. En rättelse blir tillgänglig i nya chattar när den har kontrollerats och lagts in i kunskapsbasen.

Prova offline utan Terminal

  1. Installera LM Studio på en Mac med Apple-chip och kontrollera systemkraven. Ladda ned exempelvis Qwen3 4B eller 8B med 4 bitar. Kvantisering lagrar vikterna med lägre precision och sparar minne. Den kan påverka kvaliteten.
  2. Bifoga en PDF-, DOCX- eller TXT-fil utan känsliga uppgifter. Fråga vilka steg som krävs före överlämning och var de står. Be modellen säga till om information saknas. En liten fil kan rymmas i kontexten och i större filer söker appen efter avsnitt. Går det inte att markera text i en skannad PDF behövs ofta lokal textigenkänning (OCR).
  3. Kontrollera svaret och testa en fråga som dokumentet inte besvarar. Stäng av wifi, dra ur Ethernet, starta om appen och upprepa testet i en ny chatt.

Bygg en kunskapsbas med Ollama och Open WebUI

Ollama kör modellerna. Open WebUI ger ett gränssnitt i webbläsaren och hanterar dokumenten. Låt enbart den egna Macen nå tjänsterna via 127.0.0.1. Installera och starta Ollama och kör följande kommandon i Terminal när internet är tillgängligt.

ollama pull qwen3:8b
ollama pull qwen3-embedding:0.6b
ollama run qwen3:8b

Lämna chatten med /bye. Följ Ollamas guide och lägg till "disable_ollama_cloud": true i JSON-objektet i ~/.ollama/server.json. Behåll andra inställningar och starta om Ollama. Den lokala adressen är normalt http://127.0.0.1:11434.

Installera uv och läs Open WebUI-guiden. Kör det första kommandot nedan och skapa ett lokalt administratörskonto på http://127.0.0.1:8080. Anslut Ollama via adressen ovan. Välj Ollama för embeddings och qwen3-embedding:0.6b som modell. Välj lokal textextraktion.

DATA_DIR="$HOME/.open-webui" uvx --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
DATA_DIR="$HOME/.open-webui" OFFLINE_MODE=true uvx --offline --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080

Skapa en samling under Workspace → Knowledge, ladda upp godkända dokument och välj samlingen i chatten. Avsluta med Ctrl+C och starta från samma mapp med det andra kommandot. Stäng av webbsökning, externa AI-tjänster och externa verktyg. Offlineläget stoppar vissa hämtningar och uppdateringskontroller. Koppla bort nätet eller spärra utgående trafik för isolering, starta om och prova igen.

Låt assistenten lära av kontrollerade rättelser

  1. Ge filerna tydliga namn, datum och versioner. Utse en huvudkälla per ämne och behåll den aktuella versionen i den aktiva samlingen.
  2. Handboken säger 30 minuters laddning. Ansvarig bekräftar 45 minuter. Uppdatera dokumentet, ersätt den gamla filen och kontrollera indexeringen. En daterad och godkänd fråga med svar fungerar också. Ta bort föråldrade uppgifter från sökningen.
  3. Fråga i en ny chatt efter laddningstid, källa och version. Prova även en kontrollfråga och en fråga utan svar i samlingen. Schemalägg vid behov import från en lokal mapp med godkända filer. Uppdatera ändrade filer och ta bort raderade ur indexet.

Spara 10–20 testfrågor med rätt svar och källor. Kontrollera träffar, kvalitet och väntetid efter ändringar. Saknas ett avsnitt, kontrollera OCR, uppdelning och filval. Om källan är rätt men svaret fel, justera instruktionen eller prova en annan modell. Längre kontext kan kräva mer RAM och tid.

Finjustering ändrar beteendet, exempelvis för att alltid använda ett visst tabellformat. MLX LM med LoRA kan träna en liten adapter på kompatibla Macar. Använd kontrollerade exempel och håll testfall utanför träningen för jämförelse. Förvara änderliga fakta i kunskapsbasen. Att träna en grundmodell från början kräver mycket mer data och beräkning.

Hur mycket RAM, SSD och minnesbandbredd behövs?

CPU och GPU delar ett enhetligt minne med macOS och övriga appar. Modellvikter och tillfällig kontext ska rymmas. Minnesbandbredd i GB/s anger hur mycket data kretsen kan flytta per sekund. Täta modeller läser vikterna upprepade gånger under textgenerering. Bandbredd kan därför hjälpa, men även arkitektur, GPU, programvara, kontext och parallellt arbete påverkar. Enbart Neural Engine-specifikationen räcker inte som grund för valet.

Ollamas Qwen3 8B, 14B och 32B tar cirka 5,2, 9,3 och 20 GB på SSD:n i standardutförande. B anger miljarder parametrar. RAM-behovet är större. En 70B-modells råa vikter vid 4 bitar tar cirka 35 GB utan formatpåslag, kontext och system. Börja med cirka 4 000–8 000 token, alltså textbitar, om uppgiften ryms. Följ minnestryck och växling i Aktivitetskontroll.

En SSD på 256 GB kan räcka för små försök om det finns plats. Vid köp är 512 GB en startpunkt, 1 TB praktiskt för flera modeller och 2 TB lämpligt för stora samlingar. En extern SSD fungerar om appen stöder platsen. RAM kan inte byggas ut. Samlingen stannar på SSD:n och valda delar hamnar i kontexten.

Vilken Mac passar för lokal AI?

16–32 GB: Mac mini M4 med 16 GB passar för 4B eller 8B. Välj 24–32 GB för mer utrymme till 14B och appar. En befintlig 8 GB-Mac räcker för små försök. Jämför Mac mini M4 och M4 Pro och alla begagnade Mac mini.

48–64 GB: Mac mini M4 Pro passar för återkommande dokumentarbete och 14B–32B. Jämför även en begagnad Mac Studio M1 eller M2 Max med 64 GB och 400 GB/s. För arbete på språng, titta på en MacBook Pro med Apple-chip av typen Pro eller Max. Guiden förutsätter Apple-chip.

96 GB eller mer: M3 Ultra med 96 GB eller ett Max-chip med 128 GB ger utrymme för 70B, längre kontext och flera modeller. Överväg 192–512 GB vid konkret behov. Se Mac Studio M4 Max och M3 Ultra, alla begagnade Mac Studio och vår köpguide för Mac och AI. Tabellen är en teknisk jämförelse. I butiken visas de konfigurationer som erbjuds.

Mac och chipRAM-alternativ (GB)Minnesbandbredd (GB/s)
Mac mini M416 / 24 / 32120
Mac mini M4 Pro24 / 48 / 64273
Mac mini M616 · 24 / 32153 · 170
Mac mini M5 Pro24 / 48 / 64307
Mac Studio M1 Max32 / 64400
Mac Studio M2 Max32 / 64 · 96 (38 GPU-kärnor)400
Mac Studio M1 Ultra64 / 128800
Mac Studio M2 Ultra64 / 128 / 192800
Mac Studio M4 Max · 32 GPU-kärnor36410
Mac Studio M4 Max · 40 GPU-kärnor48 / 64 / 128546
Mac Studio M3 Ultra · 60 GPU-kärnor96819
Mac Studio M3 Ultra · 80 GPU-kärnor96 / 256 / 512819
Mac Studio M5 Max · 32 GPU-kärnor36460
Mac Studio M5 Max · 40 GPU-kärnor48 / 64 / 128614
Mac Studio M5 Ultra · 64 GPU-kärnor961200
Mac Studio M5 Ultra · 80 GPU-kärnor96 / 256 / 5121200
MacBook Pro 16″ M4 Pro24 / 48273
MacBook Pro 16″ M4 Max · 32 GPU-kärnor36410
MacBook Pro 16″ M4 Max · 40 GPU-kärnor48 / 64 / 128546

Drift utan internet i vardagen

Lagra filer utanför synkroniserade mappar om de ska stanna på Macen. Använd FileVault och krypterade säkerhetskopior av dokument, modellversioner, inställningar, rättelser och databasen. Prova återställning. Håll isär användare och åtkomst per samling. Behandla dokumenttext som data och kräv mänskligt godkännande före e-post eller ändringar av filer. Läsbehörighet räcker för en sökassistent.

Vanliga frågor

Behöver jag Apple Intelligence?

LM Studio och Ollama kör egna lokala språkmodeller. Det här upplägget kräver inget AI-abonnemang i molnet.

Vad gör jag om assistenten hittar på?

Öppna den citerade passagen och kontrollera om den stöder svaret. Be om filnamn och avsnitt. Assistenten ska säga till när källan saknas.

Kan den förbättras varje natt?

Du kan schemalägga godkända importer, indexering och tester. Låt en människa godkänna rättelser och ha en tidigare version sparad.

Källor och guider