# Dein erstes lokales Modell, Schritt für Schritt > Von null bis zu einem Modell, das auf deinem eigenen Rechner antwortet: welche Größe du wählst, vier Befehle, wie du siehst, was es belegt, und wie du es wieder entfernst. Source: https://rfriedmann.de/de/blog/your-first-local-model/ · English: https://rfriedmann.de/blog/your-first-local-model/ Published: 2026-11-07 · Track: learn · Level: Beginner Bisher ging es in diesem Kurs darum, wie Dinge funktionieren. Diese Lektion ist anders: Am Ende läuft ein Sprachmodell auf deinem eigenen Rechner, ohne Konto und ohne Abo. Du brauchst dafür keine besondere Grafikkarte. Ein kleines Modell läuft auch auf einem normalen Laptop, nur langsamer. Ich nehme hier ein Werkzeug namens Ollama, weil es die Details der Einrichtung übernimmt und unter Windows, macOS und Linux läuft. Meine eigene Engine, [imp](https://github.com/kekzl/imp), ist nicht der richtige Einstieg: Sie ist für eine bestimmte Karte gebaut. Wenn du lieber klickst als tippst, erledigt [LM Studio](https://lmstudio.ai/) dieselbe Aufgabe mit Fenster und Knöpfen. ## Schritt 1: Wähl eine passende Größe Entscheidend ist nur eine Frage: Wie viel Speicher hast du? Auf einem Rechner mit passender Grafikkarte ist das der VRAM der Karte. Ohne eine ist es dein normaler RAM, und das Modell läuft auf dem Prozessor. [Wie ein Modell auf eine Karte passt](/de/blog/how-a-big-model-fits-on-one-card/) erklärt, warum die Größe der entscheidende Faktor ist. | Dein Speicher | probier | Download | |---|---|---:| | 4 GB | `qwen3:1.7b` | 1,4 GB | | 8 GB | `qwen3:4b` | 2,5 GB | | 16 GB | `qwen3:8b` | 5,2 GB | | 24 GB | `qwen3:14b` | 9,3 GB | | 32 GB oder mehr | `qwen3:30b` | 18,6 GB | Das sind vorsichtige Startpunkte, die Größen stammen aus Ollamas Bibliothek vom 7. November 2026. Qwen3 ist nur ein Beispiel, und die Bibliothek ändert sich ständig. Mit dem, was du aus [Namen und Specs lesen](/de/blog/reading-model-specs/) weißt, kannst du jeden anderen Eintrag genauso beurteilen. Im Zweifel fang eine Zeile tiefer an. Und wenn das Modell für die Arbeit gedacht ist, prüf vorher seine Lizenz: [Was „offen“ bei einem Modell heißt](/de/blog/open-weights-and-licenses/) erklärt, worauf du achten musst. ## Schritt 2: Installieren Unter Windows und macOS lädst du das Installationsprogramm von [ollama.com/download](https://ollama.com/download) und führst es aus. Für Linux gibt es ein Skript: ```bash curl -fsSL https://ollama.com/install.sh | sh ``` Das führt ein Skript aus dem Internet mit deinen Rechten aus, lies es also vorher, wenn dich das stört. Wenn du schon Docker nutzt, kannst du die Installation überspringen: ```bash docker run -d --name ollama -p 127.0.0.1:11434:11434 ollama/ollama ``` Dann setzt du `docker exec -it ollama` vor die `ollama`-Befehle unten. ## Schritt 3: Starte ein Gespräch Öffne ein Terminal und tippe das hier, mit dem Namen aus Schritt 1: ```bash ollama run qwen3:8b ``` Beim ersten Mal lädt das die Datei herunter, dieser Schritt dauert also so lange, wie deine Leitung braucht. Danach bekommst du eine Eingabezeile. Tipp etwas und drück Enter. Qwen3 ist ein Modell, das [nachdenkt, bevor es antwortet](/de/blog/why-models-think-before-answering/), du siehst also vielleicht zuerst seine Überlegungen. Mit `/bye` beendest du es. Das Modell läuft jetzt aus einer Datei auf deiner eigenen Festplatte und funktioniert auch ohne Netzwerkverbindung. ## Schritt 4: Schau nach, was es belegt Während ein Modell geladen ist, öffne ein zweites Terminal und frag, was läuft: ```bash ollama ps ``` Das habe ich für das kleinste Qwen3 auf einer Maschine ohne genutzte GPU bekommen, leicht gekürzt: ```text NAME SIZE PROCESSOR CONTEXT RUNNER qwen3:0.6b 1.0 GB 100% CPU 4096 llamacpp ``` Drei Dinge lohnen sich hier: - **SIZE** ist der belegte Speicher, und der ist größer als der Download. Die Datei hatte 522 MB. Der Rest ist Arbeitsspeicher, vieles davon für das [Kontextfenster](/de/blog/the-context-window/). - **PROCESSOR** sagt, wo es läuft. `100% GPU` willst du auf einer Grafikkarte sehen. Eine Aufteilung wie `40%/60% CPU/GPU` heißt, das Modell passte nicht hinein und wird viel langsamer. Nimm ein kleineres. - **CONTEXT** ist, wie viel Text es auf einmal halten kann, hier 4096 Tokens. Das ist weniger, als das Modell kann. Es ist ein Standardwert, der Speicher spart. ## Schritt 5: Nutz es aus anderen Programmen Ollama antwortet auch auf einer lokalen Adresse, im selben Format wie die großen Cloud-APIs. Viele Werkzeuge können damit reden, wenn du ihnen diese Adresse gibst, und du kannst es von Hand ausprobieren: ```bash curl http://localhost:11434/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Reply with the word ok."}]}' ``` Eine Sache solltest du hier beachten. Mit `"max_tokens": 40` kam die Antwort leer zurück: Das Modell verbrauchte alle 40 Tokens fürs Nachdenken und kam nie zur Antwort. Wenn du ein Limit setzt, lass Luft. ## Was du erwarten kannst - **Es kann weniger als die großen Dienste.** Ein Modell, das zu Hause passt, ist viel kleiner und [erfindet häufiger Dinge](/de/blog/why-models-make-things-up/). Probier es an deinen eigenen Aufgaben aus, bevor du ihm vertraust. - **Es weiß nichts Neues.** Es hat hier keinen Webzugriff, und sein [Lesen endete an einem Cutoff](/de/blog/why-models-dont-know-yesterday/). - **Dein Text bleibt bei dir,** solange du ein normales lokales Modell nutzt. Ollamas Bibliothek listet auch Cloud-Modelle, die auf fremden Servern laufen, schau also, was du wählst. - **Es kann langsam sein.** Ohne Grafikkarte sind ein paar Wörter pro Sekunde bei einem mittelgroßen Modell normal. [Warum eine GPU hilft](/de/blog/what-is-a-gpu/) ist eine eigene Lektion. ## Aufräumen Modelle sind große Dateien, und sie zu entfernen, ist einfach: ```bash ollama list ollama rm qwen3:8b ``` Ich habe diese Befehle mit Ollama 0.40.15 in einem Linux-Container auf dem Prozessor ausgeführt, mit `qwen3:0.6b`. Die größeren Modelle in der Tabelle sind Größen aus der Bibliothek, die ich für diese Lektion nicht getestet habe. Damit hast du ein lauffähiges lokales Modell. Von hier aus lohnt sich [warum du selbst ein Modell betreiben solltest](/de/blog/why-run-ai-locally/), jetzt, wo du eins zum Vergleichen hast.