Dein erstes lokales Modell, Schritt für Schritt
Von null bis zu einem Modell, das auf deinem eigenen Rechner antwortet: welche Größe du wählst, vier Befehle, wie du siehst, was es belegt, und wie du es wieder entfernst.
Bisher ging es in diesem Kurs darum, wie Dinge funktionieren. Diese Lektion ist anders: Am Ende läuft ein Sprachmodell auf deinem eigenen Rechner, ohne Konto und ohne Abo. Du brauchst dafür keine besondere Grafikkarte. Ein kleines Modell läuft auch auf einem normalen Laptop, nur langsamer.
Ich nehme hier ein Werkzeug namens Ollama, weil es die Details der Einrichtung übernimmt und unter Windows, macOS und Linux läuft. Meine eigene Engine, imp, ist nicht der richtige Einstieg: Sie ist für eine bestimmte Karte gebaut. Wenn du lieber klickst als tippst, erledigt LM Studio dieselbe Aufgabe mit Fenster und Knöpfen.
Schritt 1: Wähl eine passende Größe#
Entscheidend ist nur eine Frage: Wie viel Speicher hast du? Auf einem Rechner mit passender Grafikkarte ist das der VRAM der Karte. Ohne eine ist es dein normaler RAM, und das Modell läuft auf dem Prozessor. Wie ein Modell auf eine Karte passt erklärt, warum die Größe der entscheidende Faktor ist.
| Dein Speicher | probier | Download |
|---|---|---|
| 4 GB | qwen3:1.7b |
1,4 GB |
| 8 GB | qwen3:4b |
2,5 GB |
| 16 GB | qwen3:8b |
5,2 GB |
| 24 GB | qwen3:14b |
9,3 GB |
| 32 GB oder mehr | qwen3:30b |
18,6 GB |
Das sind vorsichtige Startpunkte, die Größen stammen aus Ollamas Bibliothek vom 7. November 2026. Qwen3 ist nur ein Beispiel, und die Bibliothek ändert sich ständig. Mit dem, was du aus Namen und Specs lesen weißt, kannst du jeden anderen Eintrag genauso beurteilen. Im Zweifel fang eine Zeile tiefer an. Und wenn das Modell für die Arbeit gedacht ist, prüf vorher seine Lizenz: Was „offen“ bei einem Modell heißt erklärt, worauf du achten musst.
Schritt 2: Installieren#
Unter Windows und macOS lädst du das Installationsprogramm von ollama.com/download und führst es aus. Für Linux gibt es ein Skript:
curl -fsSL https://ollama.com/install.sh | sh
Das führt ein Skript aus dem Internet mit deinen Rechten aus, lies es also vorher, wenn dich das stört. Wenn du schon Docker nutzt, kannst du die Installation überspringen:
docker run -d --name ollama -p 127.0.0.1:11434:11434 ollama/ollama
Dann setzt du docker exec -it ollama vor die ollama-Befehle unten.
Schritt 3: Starte ein Gespräch#
Öffne ein Terminal und tippe das hier, mit dem Namen aus Schritt 1:
ollama run qwen3:8b
Beim ersten Mal lädt das die Datei herunter, dieser Schritt dauert also so lange, wie deine
Leitung braucht. Danach bekommst du eine Eingabezeile. Tipp etwas und drück Enter. Qwen3 ist
ein Modell, das nachdenkt, bevor es antwortet,
du siehst also vielleicht zuerst seine Überlegungen. Mit /bye beendest du es.
Das Modell läuft jetzt aus einer Datei auf deiner eigenen Festplatte und funktioniert auch ohne Netzwerkverbindung.
Schritt 4: Schau nach, was es belegt#
Während ein Modell geladen ist, öffne ein zweites Terminal und frag, was läuft:
ollama ps
Das habe ich für das kleinste Qwen3 auf einer Maschine ohne genutzte GPU bekommen, leicht gekürzt:
NAME SIZE PROCESSOR CONTEXT RUNNER
qwen3:0.6b 1.0 GB 100% CPU 4096 llamacpp
Drei Dinge lohnen sich hier:
- SIZE ist der belegte Speicher, und der ist größer als der Download. Die Datei hatte 522 MB. Der Rest ist Arbeitsspeicher, vieles davon für das Kontextfenster.
- PROCESSOR sagt, wo es läuft.
100% GPUwillst du auf einer Grafikkarte sehen. Eine Aufteilung wie40%/60% CPU/GPUheißt, das Modell passte nicht hinein und wird viel langsamer. Nimm ein kleineres. - CONTEXT ist, wie viel Text es auf einmal halten kann, hier 4096 Tokens. Das ist weniger, als das Modell kann. Es ist ein Standardwert, der Speicher spart.
Schritt 5: Nutz es aus anderen Programmen#
Ollama antwortet auch auf einer lokalen Adresse, im selben Format wie die großen Cloud-APIs. Viele Werkzeuge können damit reden, wenn du ihnen diese Adresse gibst, und du kannst es von Hand ausprobieren:
curl http://localhost:11434/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Reply with the word ok."}]}'
Eine Sache solltest du hier beachten. Mit "max_tokens": 40 kam die Antwort leer zurück: Das
Modell verbrauchte alle 40 Tokens fürs Nachdenken und kam nie zur Antwort. Wenn du ein Limit
setzt, lass Luft.
Was du erwarten kannst#
- Es kann weniger als die großen Dienste. Ein Modell, das zu Hause passt, ist viel kleiner und erfindet häufiger Dinge. Probier es an deinen eigenen Aufgaben aus, bevor du ihm vertraust.
- Es weiß nichts Neues. Es hat hier keinen Webzugriff, und sein Lesen endete an einem Cutoff.
- Dein Text bleibt bei dir, solange du ein normales lokales Modell nutzt. Ollamas Bibliothek listet auch Cloud-Modelle, die auf fremden Servern laufen, schau also, was du wählst.
- Es kann langsam sein. Ohne Grafikkarte sind ein paar Wörter pro Sekunde bei einem mittelgroßen Modell normal. Warum eine GPU hilft ist eine eigene Lektion.
Aufräumen#
Modelle sind große Dateien, und sie zu entfernen, ist einfach:
ollama list
ollama rm qwen3:8b
Ich habe diese Befehle mit Ollama 0.40.15 in einem Linux-Container auf dem Prozessor ausgeführt,
mit qwen3:0.6b. Die größeren Modelle in der Tabelle sind Größen aus der Bibliothek, die ich für
diese Lektion nicht getestet habe.
Damit hast du ein lauffähiges lokales Modell. Von hier aus lohnt sich warum du selbst ein Modell betreiben solltest, jetzt, wo du eins zum Vergleichen hast.