KI lokal auf dem eigenen Rechner betreiben

Werbehinweis: Die Produktliste rechts enthält Affiliate-Links (Anzeige). Wenn du darüber kaufst, erhalte ich eine kleine Provision. Die Inhalte bleiben davon unabhängig.

Sprachmodelle laufen nicht nur in der Cloud. Mit frei verfügbaren Modellen und einem Programm wie Ollama kannst du sie auf dem eigenen Rechner betreiben. Deine Eingaben verlassen dabei nicht das Gerät, und du brauchst keine Internetverbindung für die Nutzung.

Vor- und Nachteile

Vorteile	Nachteile
Daten bleiben auf deinem Gerät	Kleinere Modelle sind in der Regel schwächer als die größten Cloud-Modelle
Keine laufenden Nutzungsgebühren	Hardware und Strom kosten Geld
Funktioniert offline	Einrichtung und Pflege liegen bei dir
Volle Kontrolle über Modell und Einstellungen	Gute Modelle brauchen viel Arbeits- oder Grafikspeicher

Wie viel Speicher braucht ein Modell?

Entscheidend ist die Zahl der Parameter. Meist laufen lokale Modelle quantisiert, das heißt mit verringerter Zahlengenauigkeit (häufig 4 Bit). Das spart Speicher bei moderatem Qualitätsverlust. Grobe Richtwerte für 4-Bit-Modelle, zuzüglich Platz für den Kontext:

Grobe Richtwerte, keine Messwerte. Der tatsächliche Bedarf hängt von Modell, Quantisierung und Kontextlänge ab.

Faustregel: Passt das Modell vollständig in den Grafikspeicher (VRAM), läuft es schnell. Muss es teilweise im normalen Arbeitsspeicher liegen, läuft es spürbar langsamer. Für den Einstieg reichen kleine Modelle mit 3 bis 8 Milliarden Parametern auf einem normalen Rechner mit 16 GB RAM.

Anleitung: Ollama einrichten

Ollama installieren
Lade das Installationsprogramm für dein Betriebssystem (Windows, macOS oder Linux) von der offiziellen Webseite ollama.com und installiere es.
Terminal öffnen
Unter Windows etwa PowerShell, unter macOS und Linux das Terminal. Prüfe die Installation mit: ollama --version
Ein Modell laden und starten
Suche in der Modellbibliothek auf ollama.com ein kleines Modell aus und starte es, hier mit llama3.2 als Beispiel. Beim ersten Mal wird das Modell heruntergeladen (mehrere GB).

ollama run llama3.2

Chatten
Tippe deine Frage ein und bestätige mit Enter. Beenden mit /bye.
Modelle verwalten

ollama list          # installierte Modelle anzeigen
ollama pull <name>   # Modell herunterladen
ollama rm <name>     # Modell löschen, um Platz zu schaffen

Hinweis zu Modellnamen

Die Auswahl an Modellen ändert sich schnell. Schau in der Bibliothek nach aktuellen, gut bewerteten Modellen, die zur Größe deines Speichers passen, und beachte die jeweilige Lizenz.

Optional: Komfortable Oberfläche oder eigene Programme

Ollama stellt auf deinem Rechner eine Schnittstelle bereit (standardmäßig unter http://localhost:11434). Darüber können grafische Chat-Oberflächen oder eigene Skripte mit dem Modell sprechen. Beispiel für eine einfache Anfrage per Terminal:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Erkläre in zwei Sätzen, was ein Token ist.",
  "stream": false
}'

Sicherheit und Lizenzen

Lade Modelle nur aus vertrauenswürdigen Quellen und halte die Software aktuell.
Öffne die Schnittstelle nicht ungeschützt ins Internet. Standardmäßig lauscht sie nur auf deinem eigenen Rechner. Das sollte so bleiben, solange du keine Absicherung eingerichtet hast.
Offene Modelle haben unterschiedliche Lizenzen. Für gewerbliche Nutzung die Bedingungen lesen.
Auch lokale Modelle halluzinieren. Siehe Sprachmodelle.