De herfstdeals zijn er! Nu € 25 korting op elke aankoop!

Winkelwagen bekijken

Vraag je Mac welke controles een handleiding voorschrijft vóór de overdracht van een testapparaat. De assistent zoekt de passage, noemt de bron en maakt er een checklist van. Werk je de handleiding bij, dan kan hij met de nieuwe versie verder.

Een Mac met Apple silicon en 16 GB volstaat vaak om een klein model te proberen. Voor regelmatig documentwerk is een Mac mini M4 Pro met 48 GB en 1 TB een evenwichtige keuze. Bekijk voor 70B-modellen of meerdere grote modellen een Mac Studio met minstens 96 GB.

Wat betekenen lokaal, autonoom en lerend?

Lokaal betekent dat de Mac antwoorden genereert en de bestanden doorzoekt. Autonoom betekent dat die functies na het downloaden van apps, modellen en benodigdheden offline beschikbaar zijn. Op een afgesloten Mac kun je bestanden overzetten via een gecontroleerde gegevensdrager. Een actuele bezorgstatus vraagt ook offline om een actuele lokale kopie.

De assistent leert van correcties doordat hij bijgewerkte bronnen raadpleegt. Bij RAG, tekstgeneratie met opgezochte informatie, zet een embeddingmodel tekstfragmenten om in getallen. Zo vindt het systeem verwante betekenissen. Het taalmodel krijgt de vraag en gevonden passages. De gewichten blijven gelijk. Voeg een goedgekeurde correctie bewust toe aan de kennisbank om haar in een volgende chat terug te vinden.

Probeer het offline zonder Terminal

  1. Installeer LM Studio op een Mac met Apple silicon en controleer de systeemvereisten. Download bijvoorbeeld Qwen3 4B of 8B in 4 bits. Kwantisatie bewaart gewichten met minder precisie, wat ruimte bespaart en de kwaliteit kan beïnvloeden.
  2. Voeg een pdf-, DOCX- of TXT-bestand zonder gevoelige gegevens toe. Vraag welke stappen voor de overdracht nodig zijn en waar ze staan. Laat ontbrekende informatie melden. Kleine bestanden kunnen rechtstreeks in de context passen. In grote bestanden zoekt de app naar passages. Als een gescande pdf geen selecteerbare tekst heeft, gebruik dan eerst lokale tekstherkenning (OCR).
  3. Controleer de bron en stel een vraag waarop het bestand geen antwoord geeft. Zet wifi uit, koppel Ethernet los, herstart de app en probeer opnieuw in een nieuwe chat.

Bouw een kennisbank met Ollama en Open WebUI

Ollama draait de modellen. Open WebUI beheert de kennisbank en de chat in de browser. Houd de diensten in het begin alleen op de Mac beschikbaar via 127.0.0.1. Installeer en start Ollama. Voer tijdens de online voorbereiding deze opdrachten uit in Terminal.

ollama pull qwen3:8b
ollama pull qwen3-embedding:0.6b
ollama run qwen3:8b

Verlaat de chat met /bye. Volg de Ollama-handleiding en voeg "disable_ollama_cloud": true toe aan het JSON-object in ~/.ollama/server.json zonder andere instellingen te wissen. Herstart Ollama. Het adres is normaal http://127.0.0.1:11434.

Installeer uv en bekijk de Open WebUI-handleiding. Voer de eerste opdracht uit, ga naar http://127.0.0.1:8080 en maak een lokaal beheerdersaccount aan. Verbind Ollama via het bovenstaande adres. Selecteer bij de documentinstellingen Ollama voor embeddings en qwen3-embedding:0.6b als model. Gebruik lokale tekstextractie.

DATA_DIR="$HOME/.open-webui" uvx --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080
DATA_DIR="$HOME/.open-webui" OFFLINE_MODE=true uvx --offline --python 3.12 open-webui@latest serve --host 127.0.0.1 --port 8080

Maak in Workspace → Knowledge een verzameling, voeg goedgekeurde bestanden toe en selecteer haar in de chat. Stop Open WebUI na de test met Ctrl+C en start vanuit dezelfde map met de tweede opdracht. Schakel webzoeken, externe AI-diensten en externe tools uit. De offline-modus stopt bepaalde downloads en updates. Koppel het netwerk los of blokkeer uitgaand verkeer voor isolatie. Herstart en test opnieuw.

Laat de assistent van gecontroleerde correcties leren

  1. Geef bestanden duidelijke namen, versies en datums. Kies per onderwerp een gezaghebbende bron en houd de huidige versie in de actieve verzameling.
  2. In de handleiding staat 30 minuten opladen. De verantwoordelijke bevestigt 45 minuten. Werk de handleiding bij, vervang het oude bestand en controleer de indexering. Een goedgekeurd, gedateerd vraag-en-antwoorddocument kan ook. Verwijder verouderde gegevens uit de zoekverzameling.
  3. Vraag in een nieuwe chat naar de oplaadtijd, bron en versie. Test ook een oude controlevraag en een vraag zonder antwoord. Je kunt goedgekeurde bestanden automatisch uit een lokale map importeren, wijzigingen doorvoeren en verwijderde bestanden uit de index halen.

Bewaar 10–20 vragen met verwachte antwoorden en bronnen. Controleer na wijzigingen vindbaarheid, antwoordkwaliteit en wachttijd. Ontbreekt de passage, kijk dan naar OCR, documenten en tekstindeling. Is de passage juist maar het antwoord fout, pas dan de instructie aan of test een ander model. Meer context kost tijd en geheugen.

Met fine-tuning verandert het gedrag, bijvoorbeeld voor een vaste tabelindeling. MLX LM met LoRA kan op ondersteunde Macs een kleine adapter trainen. Gebruik gecontroleerde voorbeelden, houd testgevallen apart en vergelijk met het origineel. Bewaar veranderlijke feiten in de kennisbank. Een basismodel van nul trainen vergt veel meer data en rekenkracht.

Hoeveel RAM, SSD en geheugenbandbreedte zijn nodig?

CPU en GPU delen het unified memory met macOS en andere apps. Model en tijdelijke context moeten erin passen. Geheugenbandbreedte in GB/s is hoeveel data de chip per seconde kan verplaatsen. Dichte modellen lezen gewichten herhaaldelijk bij het schrijven, dus meer bandbreedte kan helpen. Architectuur, GPU, software, context en andere taken tellen mee. Neural Engine-cijfers alleen zijn onvoldoende.

Qwen3 8B, 14B en 32B nemen bij de standaarddownloads van Ollama ongeveer 5,2, 9,3 en 20 GB in op de SSD. B staat voor miljarden parameters. Het werkelijke RAM-gebruik is hoger. Ruwe gewichten van een 70B-model op 4 bits kosten circa 35 GB, nog zonder formaatkosten, context en systeem. Start indien mogelijk met 4.000–8.000 tokens, of stukjes tekst. Bekijk geheugendruk en swap in Activiteitenweergave.

Een 256 GB SSD met vrije ruimte kan volstaan om te testen. Bij aankoop is 512 GB een redelijk begin, 1 TB handig voor meerdere modellen en 2 TB geschikt voor grotere collecties. Een externe SSD helpt als de software die locatie ondersteunt. RAM is niet uitbreidbaar. De kennisbank blijft op de SSD, met alleen de relevante passages in de context.

Welke Mac past bij lokale AI?

16–32 GB: een 16 GB Mac mini M4 is geschikt voor 4B- en 8B-proeven. Met 24–32 GB is er ruimte voor 14B en meer apps. Gebruik 8 GB alleen voor kleine experimenten. Vergelijk Mac mini M4 en M4 Pro en alle gebruikte Mac mini’s.

48–64 GB: de Mac mini M4 Pro past bij regelmatige documenttaken en 14B–32B-modellen. Vergelijk ook een gebruikte Mac Studio M1 of M2 Max met 64 GB en 400 GB/s. Voor onderweg kies je een MacBook Pro met Apple silicon en een Pro- of Max-chip. Deze gids gebruikt modellen met Apple silicon.

Vanaf 96 GB: een M3 Ultra met 96 GB of Max met 128 GB biedt ruimte voor 70B, lange context of meer modellen tegelijk. Overweeg 192–512 GB bij concrete behoefte. Bekijk Mac Studio M4 Max en M3 Ultra, alle gebruikte Mac Studio’s en onze Mac-koopgids voor AI. De tabel bevat technische referenties. In de shop zie je aangeboden uitvoeringen.

Mac en chipRAM-opties (GB)Geheugenbandbreedte (GB/s)
Mac mini M416 / 24 / 32120
Mac mini M4 Pro24 / 48 / 64273
Mac mini M616 · 24 / 32153 · 170
Mac mini M5 Pro24 / 48 / 64307
Mac Studio M1 Max32 / 64400
Mac Studio M2 Max32 / 64 · 96 (GPU met 38 cores)400
Mac Studio M1 Ultra64 / 128800
Mac Studio M2 Ultra64 / 128 / 192800
Mac Studio M4 Max · GPU met 32 cores36410
Mac Studio M4 Max · GPU met 40 cores48 / 64 / 128546
Mac Studio M3 Ultra · GPU met 60 cores96819
Mac Studio M3 Ultra · GPU met 80 cores96 / 256 / 512819
Mac Studio M5 Max · GPU met 32 cores36460
Mac Studio M5 Max · GPU met 40 cores48 / 64 / 128614
Mac Studio M5 Ultra · GPU met 64 cores961200
Mac Studio M5 Ultra · GPU met 80 cores96 / 256 / 5121200
MacBook Pro 16″ M4 Pro24 / 48273
MacBook Pro 16″ M4 Max · GPU met 32 cores36410
MacBook Pro 16″ M4 Max · GPU met 40 cores48 / 64 / 128546

Dagelijks offline werken

Plaats bestanden buiten synchronisatiemappen als alles lokaal moet blijven. Gebruik FileVault en versleutelde back-ups van documenten, modelversies, instellingen, correcties en de database. Test herstel. Scheid accounts en toegangsrechten per verzameling. Behandel documenttekst als data en laat een mens uitgaande e-mails en bestandswijzigingen goedkeuren. Een zoekassistent heeft genoeg aan leesrechten.

Veelgestelde vragen

Heb ik Apple Intelligence nodig?

LM Studio en Ollama draaien aparte lokale modellen. Dit werkt zonder abonnement op een cloud-AI.

Wat als de assistent iets verzint?

Open de vindplaats en controleer of die het antwoord ondersteunt. Vraag naar bestand en onderdeel. Ontbreekt de bron, dan moet de assistent dat melden.

Kan het systeem elke nacht verbeteren?

Je kunt goedgekeurde imports, indexering en controles plannen. Laat mensen correcties goedkeuren en bewaar een eerdere versie.

Bronnen en handleidingen