Raphael Friedmann
← KI verstehen

Wann ein heruntergeladenes Modell sicher ist

Eine Modelldatei sieht aus wie eine Menge Zahlen, und manche Formate sind genau das. Andere führen Code aus, sobald du sie lädst. Welche Formate welche sind, was schon schiefgegangen ist und was ich prüfe, bevor ein Modell auf einen Arbeitsrechner kommt.

Wenn jemand im Team ein neues Modell ausprobieren will, geht es im Gespräch meist um Größe, Geschwindigkeit und Lizenz. Kaum jemand stellt die Frage, die ich bei jeder anderen Datei aus dem Internet stellen würde: Führt das Code auf meinem Rechner aus? Die Intuition sagt, ein Modell seien nur Gewichte, ein paar Gigabyte Zahlen, und Zahlen können nichts anrichten.

Für manche Formate stimmt das. Für andere ist es falsch, und den Unterschied macht eine Dateiendung, auf die die meisten nie schauen. In dieser Lektion geht es darum, sie auseinanderzuhalten, und um die billigen Gewohnheiten, mit denen sich die Frage größtenteils erledigt.

Wo Code ausgeführt werden kann#

Es gibt drei Wege, wie ein „Modell“ mehr tut, als Zahlen zu liefern.

Pickle-Checkpoints. Die klassischen PyTorch-Formate (.bin, .pt, .pth, .ckpt) sind darunter Pickle. Ein Pickle kann beim Laden jede beliebige Python-Funktion aufrufen, also kann eine Modelldatei eine Reverse Shell öffnen, bevor du einen einzigen Prompt getippt hast. Das ist bereits vorgekommen: Im Februar 2024 meldete JFrog rund 100 Modelle auf Hugging Face, die beim Laden Code ausführten, einige davon mit Verbindung zurück zu einer echten IP-Adresse. PyTorch hat torch.load mit Version 2.6 auf weights_only=True als Standard umgestellt, das nur Tensoren und eine kurze Liste sicherer Typen lädt. Vor 2.6 ließ sich sogar dieser Schalter umgehen, um Code auszuführen (CVE-2025-32434), also mindestens 2.6 verwenden. Das hilft, aber alter Code, alte Versionen und jedes Tutorial, das sagt „füg einfach weights_only=False hinzu, dann ist der Fehler weg“, öffnen die Tür weiterhin.

trust_remote_code=True. Manche Modelle auf Hugging Face bringen eigene Python-Dateien für Architekturen mit, die die transformers-Bibliothek noch nicht kennt. Dieses Flag weist die Bibliothek an, diesen Code herunterzuladen und auszuführen. Die Dokumentation sagt es deutlich: nur für Repositories, denen du vertraust und deren Code du gelesen hast. Das ist überhaupt kein Formatproblem, das ist Codeausführung mit Absicht.

Der Lader selbst. Formate wie GGUF sind reine Daten, aber irgendein C-Code muss sie trotzdem parsen, und Parser haben Bugs. Im Januar 2024 meldete Databricks fünf Heap-Overflows im GGUF-Parser der ggml-Bibliothek, auf der llama.cpp aufbaut (CVE-2024-25664 bis CVE-2024-25668), in llama.cpp innerhalb einer Woche gepatcht. Ein paar Monate später tauchte eine andere Lücke eine Ebene höher auf: GGUF-Dateien tragen ein Chat-Template, und llama-cpp-python hat es mit einer Jinja2-Engine ohne Sandbox gerendert, also konnte ein präpariertes Template Code ausführen (CVE-2024-34359, Versionen 0.2.30 bis 0.2.71, behoben in 0.2.72). Datenformate sind nur so sicher, wie das Programm aktuell ist, das sie liest.

Modellformate, von „nur Daten“ bis „führt mit Absicht Code aus“
safetensorsGGUF.bin .pt .ckpttrust_remote_codenur Tensoren,kein CodepfadDaten, aber derParser mussaktuell seinPickle: Codeläuft beim LadenPython aus demRepo läuft mitAbsichtmehr Vertrauen in den Urheber der Datei nötig
Die linken beiden sind Datenformate: Das Risiko ist ein Bug im Programm, das sie liest, und den behebt ein Update. Die rechten beiden führen konstruktionsbedingt Code aus: Die einzige Abwehr ist Vertrauen in den Urheber, oder die Datei nur in einer Sandbox zu laden.

Scanner helfen, sie entscheiden nicht#

Hugging Face scannt hochgeladene Pickle-Dateien auf gefährliche Importe und markiert, was es findet. Das fängt einfache Angriffe ab, aber nicht ausgefeiltere: Im Februar 2025 fand ReversingLabs zwei Modelle (die Technik nannten sie nullifAI), die am Scanner vorbeikamen, weil die PyTorch-Datei mit 7z statt ZIP gepackt war und der Pickle-Strom nach der Schadfunktion absichtlich kaputt war. Der Scanner weigerte sich, eine kaputte Datei zu analysieren; Pythons Lader führte die Anweisungen bis zur Bruchstelle trotzdem aus, Schadcode inklusive. Hugging Face hat die Modelle innerhalb eines Tages entfernt und den Scanner aktualisiert, aber die Lehre bleibt: Ein grünes Häkchen heißt „nichts Bekanntes gefunden“, nicht „sicher“.

Prüfen, wer es hochgeladen hat#

Jeder kann ein Konto anlegen und ein Repository nennen, wie er will. Eine Kopie eines beliebten Modells unter einem Organisationsnamen, der sich um einen Buchstaben unterscheidet, oder ein „quantisierter“ Re-Upload von einem Konto ohne Vorgeschichte ist der einfachste Supply-Chain-Angriff, den es gibt. Die Prüfungen sind einfach und schnell:

  • Beim Hersteller anfangen, nicht bei der Suche. Folge dem Link von der Website, dem Blogpost oder der Modellkarte des Herstellers zur Organisationsseite und lade dort herunter.
  • safetensors oder GGUF bevorzugen. Wenn es nur einen Pickle-Checkpoint gibt, frag nach dem Grund. Die meisten aktuellen Veröffentlichungen kommen als safetensors.
  • Festhalten, was du getestet hast. Ein Repository kann sich ändern, nachdem du es angesehen hast. Lade per Commit herunter (das Argument revision in transformers oder ein fester Tag in deinem Werkzeug) und notier dir den SHA256, den Hugging Face für jede große Datei anzeigt.
  • Lesen vor trust_remote_code. Wenn ein Modell das braucht, liest jemand die Python-Dateien genau dieser Revision, oder das Modell wartet, bis die Bibliothek es selbst unterstützt.
  • Die Laufzeit aktuell halten. llama.cpp, Ollama, vLLM und ähnliche Werkzeuge sind Parser für Dateien aus dem Internet. Patch sie, wie du einen Browser patchst.

Mehrere Verteidigungslinien, weil eine Prüfung versagen kann#

Selbst mit all dem betreibe ich neue Modelle so, wie ich jeden unbekannten Dienst betreiben würde: im Container, als Nicht-Root-Benutzer, das Modellverzeichnis nur lesend eingebunden, ohne Zugriff auf Zugangsdaten, Home-Verzeichnisse oder das Firmenlaufwerk, und ohne ausgehendes Netz, solange es nicht gebraucht wird. Halte auch die Container-Runtime und das NVIDIA Container Toolkit aktuell: Eine Lücke dort (CVE-2025-23266) ließ ein präpariertes Image den Host übernehmen. Eine Reverse Shell, die nichts erreicht, ist ein Logeintrag, kein Vorfall. Die Schritt-für-Schritt-Einrichtung aus diesem Kurs funktioniert im Container genauso, sie braucht nur eine Zeile mehr.

Riskant

  • Den ersten Suchtreffer von einem unbekannten Konto nehmen
  • Eine .bin oder .pt laden, weil „das sind ja nur Gewichte“
  • weights_only=False ergänzen, damit der Fehler verschwindet
  • trust_remote_code=True, ohne den Code zu lesen
  • Das Modell als eigener Benutzer starten, neben den SSH-Schlüsseln

Sicher

  • Download über den Link des Herstellers
  • safetensors oder GGUF, mit aktueller Laufzeit
  • Feste Revision und notierter SHA256
  • Container, Gewichte nur lesend, keine Geheimnisse, kein Netz
  • Lizenz im selben Schritt geprüft

Fazit#

Der sichere Weg ist inzwischen der Standardweg. Große Veröffentlichungen kommen als safetensors und GGUF, PyTorch lehnt beliebige Pickles von Haus aus ab, und die bekannten Parser-Lücken sind gepatcht. Das verbleibende Risiko steckt in den Abkürzungen: der ungeprüfte Re-Upload, das Flag, das einen Fehler verschwinden lässt, die Laufzeit, die seit dem Frühjahr niemand aktualisiert hat. Behandle eine Modelldatei wie jeden anderen Download, der am Ende auf deiner Hardware ausgeführt wird. Es ist dieselbe Disziplin wie bei Prompt Injection, eine Ebene tiefer: Geh davon aus, dass irgendwann etwas Feindseliges geladen wird, und sorg dafür, dass es dann nichts findet, was sich zu nehmen lohnt.