# Wann ein heruntergeladenes Modell sicher ist
> Eine Modelldatei sieht aus wie eine Menge Zahlen, und manche Formate sind genau das. Andere führen Code aus, sobald du sie lädst. Welche Formate welche sind, was schon schiefgegangen ist und was ich prüfe, bevor ein Modell auf einen Arbeitsrechner kommt.
Source: https://rfriedmann.de/de/blog/is-a-downloaded-model-safe/ · English: https://rfriedmann.de/blog/is-a-downloaded-model-safe/
Published: 2026-11-08 · Track: learn · Level: Ops
Wenn jemand im Team ein neues Modell ausprobieren will, geht es im Gespräch meist um
Größe, Geschwindigkeit und [Lizenz](/de/blog/open-weights-and-licenses/). Kaum jemand
stellt die Frage, die ich bei jeder anderen Datei aus dem Internet stellen würde:
*Führt das Code auf meinem Rechner aus?* Die Intuition sagt, ein Modell seien nur
Gewichte, ein paar Gigabyte Zahlen, und Zahlen können nichts anrichten.
Für manche Formate stimmt das. Für andere ist es falsch, und den
Unterschied macht eine Dateiendung, auf die die meisten nie schauen. In dieser
Lektion geht es darum, sie auseinanderzuhalten, und um die billigen Gewohnheiten, mit
denen sich die Frage größtenteils erledigt.
## Wo Code ausgeführt werden kann
Es gibt drei Wege, wie ein „Modell“ mehr tut, als Zahlen zu liefern.
**Pickle-Checkpoints.** Die klassischen PyTorch-Formate (`.bin`, `.pt`, `.pth`,
`.ckpt`) sind darunter Pickle. Ein Pickle kann beim Laden jede beliebige
Python-Funktion aufrufen, also kann eine Modelldatei eine Reverse Shell öffnen, bevor du
einen einzigen Prompt getippt hast. Das ist bereits vorgekommen: Im Februar 2024
meldete JFrog rund 100 Modelle auf Hugging Face, die beim Laden Code ausführten,
einige davon mit Verbindung zurück zu einer echten IP-Adresse. PyTorch hat
`torch.load` mit Version 2.6 auf `weights_only=True` als Standard umgestellt, das nur
Tensoren und eine kurze Liste sicherer Typen lädt. Vor 2.6 ließ sich sogar dieser Schalter
umgehen, um Code auszuführen (CVE-2025-32434), also mindestens 2.6 verwenden. Das hilft,
aber alter Code, alte Versionen
und jedes Tutorial, das sagt „füg einfach `weights_only=False` hinzu, dann ist der
Fehler weg“, öffnen die Tür weiterhin.
**`trust_remote_code=True`.** Manche Modelle auf Hugging Face bringen eigene
Python-Dateien für Architekturen mit, die die `transformers`-Bibliothek noch nicht
kennt. Dieses Flag weist die Bibliothek an, diesen Code herunterzuladen und
auszuführen. Die Dokumentation sagt es deutlich: nur für Repositories, denen du
vertraust und deren Code du gelesen hast. Das ist überhaupt kein Formatproblem, das ist
Codeausführung mit Absicht.
**Der Lader selbst.** Formate wie GGUF sind reine Daten, aber irgendein C-Code muss sie
trotzdem parsen, und Parser haben Bugs. Im Januar 2024 meldete Databricks fünf
Heap-Overflows im GGUF-Parser der `ggml`-Bibliothek, auf der llama.cpp aufbaut
(CVE-2024-25664 bis CVE-2024-25668), in llama.cpp innerhalb einer Woche gepatcht.
Ein paar Monate später tauchte eine andere Lücke eine Ebene höher auf: GGUF-Dateien
tragen ein Chat-Template, und `llama-cpp-python` hat es mit einer Jinja2-Engine ohne
Sandbox gerendert, also konnte ein präpariertes Template Code ausführen
(CVE-2024-34359, Versionen 0.2.30 bis 0.2.71, behoben in 0.2.72). Datenformate sind nur
so sicher, wie das Programm aktuell ist, das sie liest.
Modellformate, von „nur Daten“ bis „führt mit Absicht Code aus“
[diagram omitted — see the page for the chart]
Die linken beiden sind Datenformate: Das Risiko ist ein Bug im Programm, das sie liest, und den behebt ein Update. Die rechten beiden führen konstruktionsbedingt Code aus: Die einzige Abwehr ist Vertrauen in den Urheber, oder die Datei nur in einer Sandbox zu laden.
## Scanner helfen, sie entscheiden nicht
Hugging Face scannt hochgeladene Pickle-Dateien auf gefährliche Importe und markiert,
was es findet. Das fängt einfache Angriffe ab, aber nicht ausgefeiltere: Im Februar 2025
fand ReversingLabs zwei Modelle (die Technik nannten sie *nullifAI*), die am Scanner
vorbeikamen, weil die PyTorch-Datei mit 7z statt ZIP gepackt war und der Pickle-Strom
*nach* der Schadfunktion absichtlich kaputt war. Der Scanner weigerte sich, eine
kaputte Datei zu analysieren; Pythons Lader führte die Anweisungen bis zur Bruchstelle
trotzdem aus, Schadcode inklusive. Hugging Face hat die Modelle innerhalb eines Tages
entfernt und den Scanner aktualisiert, aber die Lehre bleibt: Ein grünes Häkchen heißt
„nichts Bekanntes gefunden“, nicht „sicher“.
## Prüfen, wer es hochgeladen hat
Jeder kann ein Konto anlegen und ein Repository nennen, wie er will. Eine Kopie eines
beliebten Modells unter einem Organisationsnamen, der sich um einen Buchstaben
unterscheidet, oder ein „quantisierter“ Re-Upload von einem Konto ohne Vorgeschichte
ist der einfachste Supply-Chain-Angriff, den es gibt. Die Prüfungen sind einfach
und schnell:
- **Beim Hersteller anfangen, nicht bei der Suche.** Folge dem Link von der Website,
dem Blogpost oder der Modellkarte des Herstellers zur Organisationsseite und lade
dort herunter.
- **safetensors oder GGUF bevorzugen.** Wenn es nur einen Pickle-Checkpoint gibt, frag
nach dem Grund. Die meisten aktuellen Veröffentlichungen kommen als safetensors.
- **Festhalten, was du getestet hast.** Ein Repository kann sich ändern, nachdem du es
angesehen hast. Lade per Commit herunter (das Argument `revision` in
`transformers` oder ein fester Tag in deinem Werkzeug) und notier dir den SHA256, den
Hugging Face für jede große Datei anzeigt.
- **Lesen vor `trust_remote_code`.** Wenn ein Modell das braucht, liest jemand die
Python-Dateien genau dieser Revision, oder das Modell wartet, bis die Bibliothek es
selbst unterstützt.
- **Die Laufzeit aktuell halten.** llama.cpp, Ollama, vLLM und ähnliche Werkzeuge sind Parser für
Dateien aus dem Internet. Patch sie, wie du einen Browser patchst.
## Mehrere Verteidigungslinien, weil eine Prüfung versagen kann
Selbst mit all dem betreibe ich neue Modelle so, [wie ich jeden unbekannten Dienst
betreiben würde](/de/blog/self-hosting-an-llm-for-your-team/): im Container, als
Nicht-Root-Benutzer, das Modellverzeichnis nur lesend eingebunden, ohne Zugriff auf
Zugangsdaten, Home-Verzeichnisse oder das Firmenlaufwerk, und ohne ausgehendes Netz,
solange es nicht gebraucht wird. Halte auch die Container-Runtime und das NVIDIA Container
Toolkit aktuell: Eine Lücke dort (CVE-2025-23266) ließ ein präpariertes Image den Host
übernehmen. Eine Reverse Shell, die nichts erreicht, ist ein
Logeintrag, kein Vorfall. Die [Schritt-für-Schritt-Einrichtung](/de/blog/your-first-local-model/)
aus diesem Kurs funktioniert im Container genauso, sie braucht nur eine Zeile mehr.
Riskant
Den ersten Suchtreffer von einem unbekannten Konto nehmen
Eine .bin oder .pt laden, weil „das sind ja nur Gewichte“
weights_only=False ergänzen, damit der Fehler verschwindet
trust_remote_code=True, ohne den Code zu lesen
Das Modell als eigener Benutzer starten, neben den SSH-Schlüsseln
Sicher
Download über den Link des Herstellers
safetensors oder GGUF, mit aktueller Laufzeit
Feste Revision und notierter SHA256
Container, Gewichte nur lesend, keine Geheimnisse, kein Netz
Lizenz im selben Schritt geprüft
## Fazit
Der sichere Weg ist inzwischen der Standardweg. Große
Veröffentlichungen kommen als safetensors und GGUF, PyTorch lehnt beliebige Pickles
von Haus aus ab, und die bekannten Parser-Lücken sind gepatcht. Das verbleibende Risiko
steckt in den Abkürzungen: der ungeprüfte Re-Upload, das Flag, das einen Fehler
verschwinden lässt, die Laufzeit, die seit dem Frühjahr niemand aktualisiert hat.
Behandle eine Modelldatei wie jeden anderen Download, der am Ende auf deiner Hardware
ausgeführt wird. Es ist dieselbe Disziplin wie bei [Prompt
Injection](/de/blog/prompt-injection/), eine Ebene tiefer: Geh davon aus, dass
irgendwann etwas Feindseliges geladen wird, und sorg dafür, dass es dann nichts findet,
was sich zu nehmen lohnt.