So betreibst du ein KI-Modell auf deinem eigenen Rechner
Läuft ein Modell lokal, verlassen deine Daten nie den Rechner, es funktioniert ohne Internet und kostet keine Monatsgebühr. Du brauchst nur einen ausreichend starken Rechner und etwa 15 Minuten.
01 · Hardware prüfen
Entscheidend ist der Speicher der Grafikkarte (VRAM). Unter Windows: Task-Manager → Leistung → GPU → „Dedizierter GPU-Speicher“. Bei einem Mac mit M-Chip ist etwa drei Viertel des Arbeitsspeichers nutzbar.
Faustregel für die übliche komprimierte Version (Q4): 0,6 GB pro Milliarde Parameter plus 1,5 GB. Ein 7B-Modell braucht etwa 6 GB und passt damit auf eine Karte mit 8 GB. Unser Finder prüft das für dich, wenn du „lokal“ wählst.
02 · Der einfache Weg: LM Studio
LM Studio ist eine kostenlose Desktop-App für Windows, macOS und Linux mit einem normalen Chatfenster – ganz ohne Kommandozeile.
- LM Studio von lmstudio.ai herunterladen und installieren.
- Die Suche (Lupe) öffnen und den Modellnamen eingeben. Die Modelle kommen von Hugging Face.
- Eine Version mit Q4_K_M wählen – ein guter Kompromiss aus Größe und Qualität. LM Studio zeigt an, ob sie in deinen Speicher passt.
- Auf Download klicken, danach das Modell laden und loschatten.
03 · Für Bastler: Ollama
Ollama startet Modelle über die Kommandozeile und bietet eine lokale Schnittstelle (API), die andere Programme nutzen können.
- Ollama von ollama.com installieren.
- Ein Terminal öffnen und ein Modell aus der Ollama-Bibliothek starten, zum Beispiel:
ollama run <modellname>. Auf unseren Modellseiten steht der genaue Befehl, wo wir ihn geprüft haben. - Modelle von Hugging Face im GGUF-Format lassen sich direkt starten:
ollama run hf.co/<nutzer>/<repository>:Q4_K_M
04 · Modelle auf Hugging Face finden
Hugging Face ist die größte Bibliothek offener Modelle. Tipps:
- Nach GGUF filtern – das Format, das LM Studio und Ollama nutzen.
- Die Modellkarte lesen: Dort steht die Lizenz. Manche Modelle dürfen nur privat oder für Forschung genutzt werden.
- Dateien vom ursprünglichen Hersteller oder bekannten Uploadern bevorzugen.
05 · Was dich erwartet
Lokale Modelle sind meist etwas schwächer als die größten Cloud-Modelle, für Schreiben, Zusammenfassen und Übersetzen aber oft gut genug. Die erste Antwort dauert ein paar Sekunden, weil das Modell geladen wird. Ohne Grafikkarte geht es auch – nur deutlich langsamer.