# Ein Modell an der eigenen Arbeit testen > Leaderboards messen die Leistung auf öffentlichen Benchmarks. Vierzig echte Fälle aus deinem eigenen Backlog, einheitlich bewertet, zeigen, wie ein Modell bei deiner Arbeit abschneidet. Source: https://rfriedmann.de/de/blog/testing-a-model-on-your-own-work/ · English: https://rfriedmann.de/blog/testing-a-model-on-your-own-work/ Published: 2026-09-15 · Track: learn · Level: Ops Ein neues Modell erscheint, die Benchmark-Kurve zeigt nach oben rechts, und jemand fragt, ob wir wechseln sollen. Diese Frage kann die Kurve nicht beantworten. Sie misst eine Verteilung von Aufgaben, die nicht deine ist, bewertet auf eine Art, wie du nicht bewerten würdest, an Problemen, die das Modell im Training gut gesehen haben kann. Die Alternative kostet etwa einen Tag: ein paar Dutzend echte Fälle aus deiner eigenen Arbeit, ein Bewerter, dem du vertraust, und die Disziplin, das Ganze erneut laufen zu lassen. Das ist derselbe Schritt wie [das eigene Orakel bauen](/de/blog/the-oracle-you-build-yourself/), wenn es keine Testsuite gibt, nur auf das Modell gerichtet statt auf den Renderer. ## Warum die öffentlichen Zahlen sich nicht übertragen lassen Drei getrennte Probleme, und sie verstärken sich gegenseitig. **Die Aufgabe ist nicht deine.** Ein Coding-Benchmark misst in sich geschlossene Probleme mit angehängtem Test-Harness. Deine Aufgabe ist vielleicht „lies diesen Alarmsturm und sag, welcher Dienst kaputt ist“, und dafür baut niemand einen Benchmark. Stärke beim einen sagt erstaunlich wenig über das andere. **Kontamination.** Öffentliche Testsätze stehen im öffentlichen Internet, und Modelle werden auf dem öffentlichen Internet trainiert. Vollständig löst das niemand. Ein hoher Wert kann Können bedeuten, oder dass die Antworten in den Trainingsdaten standen, und von außen kannst du das nicht unterscheiden. **Kleine Unterschiede sind keine Unterschiede.** Zwei Punkte zwischen Modellen auf einem Leaderboard liegen deutlich im Rauschen der Messung, und ganz sicher im Rauschen *deiner* Arbeitslast. Ein so kleiner Abstand übersteht womöglich keinen erneuten Lauf und ist daher keine Grundlage, den Stack umzubauen. Wertlos macht das Benchmarks nicht. Sie sind ein grober Filter: Sie sagen dir, welche Handvoll Modelle in der richtigen Liga spielt. Sie sagen dir nicht, welches davon du hinter deine Ticket-Triage setzen solltest. ## Vierzig Fälle, aus der Arbeit, die du schon hast Geh die Tickets, Log-Auszüge, Dokumente und Support-Threads des letzten Monats durch, was auch immer das Modell tatsächlich vorgesetzt bekommen soll, und zieh 30 bis 50 davon heraus. Keine erfundenen Beispiele. Echte Eingaben, mit ihrem echten Durcheinander intakt, aber mit ersetzten Namen, Mailadressen und IDs, bevor sie in Git oder zu einem Anbieter gehen, und nur zu Anbietern, mit denen du einen Auftragsverarbeitungsvertrag hast. Schreib zu jedem auf, wie eine gute Antwort aussieht. Nicht den genauen Wortlaut, sondern das *Ergebnis*: welchen Dienst es nennen soll, welche Felder es extrahieren soll, dass es ablehnen soll, dass es sagen soll, dass es etwas nicht weiß. Die Mischung zählt mehr als die Anzahl: - **Der typische Fall**, mehrfach. Das ist der Großteil deines Volumens. - **Die schwierigen.** Das Ticket mit drei Problemen darin, die Log-Zeile mit einer falschen Fährte, das Dokument mit einem Widerspruch. Hier trennen sich die Modelle. - **Die ohne gute Antwort.** Die Frage, die deine Daten nicht beantworten können. Du prüfst, dass es das sagt, statt [sich etwas auszudenken](/de/blog/why-models-make-things-up/). - **Die, die es nicht anfassen darf.** Alles, wo der richtige Schritt die Eskalation an einen Menschen ist. Leg das Ganze neben dem Prompt in git ab. Prompt, Modellname, Tool-Definitionen und Falldatei sind ein einziges versioniertes Artefakt, denn wenn sich eins davon ändert, ändern sich die Ergebnisse. ## Bewerten, in drei Stufen Nimm den billigsten Bewerter, der tatsächlich funktioniert, und greif nur dann zu einem aufwendigeren, wenn du musst. 1. **Maschinell prüfbar.** Lässt sich das JSON parsen und passt es zum Schema? Läuft der vorgeschlagene Befehl? Ist die extrahierte ID die richtige ID? Das ist kostenlos und deterministisch, und du solltest so viel der Evaluierung wie möglich in diese Stufe schieben, auch wenn das heißt, vom Modell strukturierte Ausgaben zu verlangen, die du dann mechanisch prüfst. 2. **Ein Mensch mit Bewertungsraster.** Fünfzig Prosa-Antworten zu lesen dauert eine Stunde. Schreib pro Fall drei Ja/Nein-Kriterien statt einer Note von 1-10, denn Noten driften zwischen Sitzungen, Ja/Nein nicht. Mach das mindestens einmal selbst, bevor du es wegautomatisierst: Genau dabei lernst du, worin dein Modell wirklich schlecht ist. 3. **Ein Modell als Richter.** Bei großen Mengen nötig, und es bringt bekannte Verzerrungen mit: Richter bevorzugen längere Antworten, bevorzugen Antworten, die wie ihre eigenen aussehen, und lassen sich bei Paarvergleichen davon beeinflussen, welcher Kandidat zuerst kam. Lass es eine Antwort nach der anderen gegen eine Referenz und ein ausdrückliches Raster bewerten, tausch die Reihenfolge, wenn du doch vergleichst, und prüf zwanzig seiner Urteile stichprobenartig gegen deine eigenen. Liegt der Richter bei einem Fünftel davon anders als du, sind seine Zahlen nicht aussagekräftig. ## Was vierzig Fälle dir sagen können und was nicht Dieser Schritt wird oft übersprungen, deshalb hier mit Zahlen. Die Bestehensquote ist ein Anteil, und Anteile aus kleinen Stichproben sind verrauscht. Bei einer Bestehensquote um 80 % auf 40 Fällen liegt ein Standardfehler bei etwa sechs Punkten.
Zwei Modelle auf demselben Satz mit 40 Fällen
[diagram omitted — see the page for the chart]
85 % gegen 77,5 % sieht nach einem klaren Sieg aus und ist keiner: Drei Fälle trennen die beiden, und die Klammern überlappen schon bei einem einzigen Standardfehler stark. Einen Abstand dieser Größe mit einiger Sicherheit aufzulösen braucht mehrere hundert Fälle pro Arm; einen Abstand von fünf Punkten eher tausend. Vierzig Fälle können Fast-Gleichstände nicht ordnen, und das ist in Ordnung, denn dafür sind sie nicht da.
Benutz einen kleinen Satz also nicht, um einen Sieger zu bestimmen. Benutz ihn für die zwei Dinge, in denen er gut ist: **Regressionen finden, die zählen.** Bringt dich eine Prompt-Änderung oder ein Modellwechsel von 34/40 auf 19/40, ist das kein Rauschen, sondern ein kaputtes System, und du hast es vor deinen Nutzern gefunden. **Dir die Form der Fehler zeigen.** Das ist der Hauptnutzen, und er braucht keine Statistik. Sortier die Fehler in Kategorien und lies sie. Zwölf Fehler, die alle mit Datumsangaben zu tun haben, sind ein lösbares Problem. Zwölf Fehler, gleichmäßig über alles verteilt, sind ein Modell, das nicht zur Aufgabe passt. Wenn du schon dabei bist, erfass mehr als die Bestehensquote: Latenz im Median und im Ausläufer, Kosten pro Fall und vor allem, *wie* die falschen Antworten falsch waren. Eine offensichtlich falsche Antwort kostet einen Reviewer zwei Sekunden. Eine [plausibel falsche](/de/blog/when-not-to-use-ai/) kostet einen Incident. Die beiden sollten sich nie eine Spalte teilen. ## Mach es zum Gate, nicht zum Ereignis Lass den Satz nach Zeitplan laufen und bei jeder Änderung am Prompt, am Modell, an den Tool-Schemas oder an der Retrieval-Schicht. Wo die API es noch annimmt, setz die Temperatur auf null, um die Streuung zu senken (viele aktuelle Modelle erlauben das nicht mehr), im Wissen, dass [identische Ausgaben selbst dann nicht garantiert sind](/de/blog/why-different-answers/), weil sich Batching und die Reihenfolge der Gleitkomma-Operationen auf der Serverseite unter dir verschieben. Wenn ein Anbieter dein Modell mit sechs Wochen Vorlauf abkündigt oder ein neues erscheint, das ein Drittel kostet, wird aus der Frage „Können wir gefahrlos wechseln?“ statt einer Woche Anekdoten ein Nachmittag: Datei laufen lassen, Fehler lesen, entscheiden. Ein Tag Arbeit zahlt sich bei jedem Upgrade aus, solange das System läuft.