Raphael Friedmann

Glossar63 Begriffe

Alle „Einfach gesagt“-Kästen aus den Beiträgen an einem Ort. Ein Klick auf den Beitrag springt direkt zur Erklärung im Zusammenhang. KI verstehen →

A

Anbieter

Anbieter ist, wer ein KI-System oder -Modell entwickelt und unter eigenem Namen auf den Markt bringt. Betreiber ist, wer eines in eigener Verantwortung beruflich einsetzt. Eine Firma, die einen gekauften Chatbot für ihre Belegschaft ausrollt, ist Betreiber. Setzt du deinen eigenen Namen auf ein Hochrisiko-System oder änderst die Zweckbestimmung eines Systems so, dass es hochriskant wird, wirst du selbst zum Anbieter (Art. 25), mit deutlich mehr Pflichten.

KI und Recht: was DSGVO und AI Act von deinem Team verlangen

Arithmetische Intensität

Wie viel du für jedes aus dem Speicher geladene Byte rechnest. Hohe Intensität heißt, du nutzt geladene Daten oft wieder; niedrige heißt, du fasst sie kaum an, bevor du neue brauchst.

Prefill, Decode und die Roofline, die alles erklärt

B

Backpropagation

Training, bei dem ein Fehlersignal rückwärts durch das ganze Netz geschickt wird, Layer für Layer. Es funktioniert außerordentlich gut und nutzt üblicherweise eine Trennung von Training und Betrieb; sein biologisch unplausibler Teil ist der Weight Transport (der Rückwärtsdurchlauf braucht ein exaktes Spiegelbild jedes Vorwärtsgewichts), und das ist nichts, was ein biologisches Gehirn plausibel leisten könnte.

axo: Lernen ohne Backprop

Basismodell (Base Model)

Das Ergebnis des Pretrainings. Es hat verinnerlicht, wie Sprache funktioniert, und eine Menge Weltwissen aufgesogen, kann aber nur Text fortsetzen, nicht einer Anweisung folgen oder ein Gespräch führen.

Pretraining, Fine-Tuning und RLHF

Batching

Mehrere Requests zusammen in einem Durchlauf durchs Modell schicken, damit sie sich die Kosten für das Laden der Gewichte aus dem Speicher teilen. Weil Decode nach Arbeit hungert, nicht nach Rechenleistung, bringt dir jede weitere Sequenz im Batch nahezu linear mehr Durchsatz, bis dir schließlich Speicher oder Rechenleistung ausgehen.

Continuous Batching: wie eine GPU viele auf einmal bedient

Blast Radius (Schadensradius)

Wie viel Schaden eine Aktion anrichtet, wenn sie schiefgeht, und wie schwer sie rückgängig zu machen ist. Eine Datei lesen: winzig, sofort behoben. Eine Datenbanktabelle löschen: enorm, vielleicht nicht wiederherstellbar. Autonomie sollte nach Schadensradius zugeteilt werden, nach nichts anderem.

Wann man einen Agent selbstständig handeln lässt: ein Blick aus dem Betrieb

D

Das Urheberrecht

Das Urheberrecht schützt den schöpferischen Ausdruck eines Menschen, keine Ideen, keine Fakten und keinen Fleiß. Es entsteht automatisch, in der EU ohne Anmeldung. Für KI folgen daraus drei getrennte Fragen: Ist die Ausgabe überhaupt geschützt, kopiert sie ein fremdes geschütztes Werk, und war das Training mit fremden Werken erlaubt?

Urheberrecht und KI-Ausgaben: wem gehört, was das Modell schreibt

Destillation (Distillation)

Ein kleines Modell (den Schüler) darauf trainieren, ein großes, fertig trainiertes Modell (den Lehrer) nachzuahmen. Statt nur aus von Menschen geschriebenem Text zu lernen, lernt der Schüler aus den Vorhersagen des Lehrers über diesen Text. Heraus kommt ein Modell, das billiger im Betrieb ist, aber einen großen Teil der Fähigkeiten des Lehrers behält.

Wie ein kleines Modell von einem großen lernt

Die DSGVO

Die DSGVO (Verordnung (EU) 2016/679) schützt Daten über Menschen: Sobald ein Name, eine E-Mail-Adresse oder ein Kundenticket in einem Prompt landet, verarbeitest du personenbezogene Daten, und die DSGVO gilt. Der AI Act (Verordnung (EU) 2024/1689, deutsch „KI-Verordnung“) regelt KI-Systeme nach ihrem Einsatz: Ein Chatbot, der E-Mails entwirft, und einer, der Bewerbungen sortiert, laufen auf demselben Modell und landen in völlig verschiedenen Regelwerken.

KI und Recht: was DSGVO und AI Act von deinem Team verlangen

Differential Testing

Statt festzulegen, wie die Ausgabe aussehen sollte, lässt du zwei Versionen laufen und vergleichst sie miteinander. Die erwartete Antwort musst du nie aufschreiben, deshalb funktioniert das auch bei einer Codebasis, für die niemand Assertions geschrieben hat. Der Haken: Es sagt dir nur, was sich geändert hat, nie, ob das alte Verhalten überhaupt richtig war.

Das Oracle, das du dir selbst baust

Diffusionsmodell

Ein Modell, das darauf trainiert ist, bei einem leicht verrauschten Bild zu erraten, was das Rauschen war, damit man es abziehen kann. Wiederhol das ein paar Dutzend Mal, ausgehend von reinem Rauschen, und ein sauberes Bild entsteht. Dein Prompt lenkt jeden dieser Schritte, also wird das Rauschen in Richtung dessen aufgeräumt, was du beschrieben hast.

Wie ein Bildgenerator aus Rauschen ein Bild erzeugt

Diffusionsmodell (Diffusion Model)

Ein Bild- oder Videogenerator, der lernt, zufälliges Rauschen in vielen kleinen Entrauschungsschritten in ein sauberes Bild zu verwandeln. Der Text-Prompt lenkt, worauf hin entrauscht wird. Das ist der Motor hinter Werkzeugen wie Stable Diffusion, Midjourney und den meisten KI-Videos.

KI, die kein LLM ist

Draft-Modell

Ein kleines, schnelles Modell (oft eine winzige Version derselben Familie), dessen einzige Aufgabe es ist, Kandidaten-Tokens vorzuschlagen. Es darf falsch liegen; das große Modell ist der Richter. Billige Tipps, die das teure Modell im Block benotet.

Speculative Decoding: Lass ein kleines Modell raten

E

Embedding

Eine Liste von Zahlen fester Länge, die ein Modell für ein Stück Text berechnet. Das Modell ist so trainiert, dass Texte mit ähnlicher Bedeutung ähnliche Listen bekommen und damit nah beieinander liegen. Ein Satz, ein Absatz oder eine Seite wird jeweils zu einem Vektor derselben Länge.

Embeddings: wie aus Text eine Liste von Zahlen wird

Embedding (Einbettung)

Eine Liste von Zahlen, die die Bedeutung einer Eingabe darstellt. „Hund“ und „Welpe“ bekommen nahe Zahlen, „Hund“ und „Steuerrecht“ weit entfernte. Über den Vergleich von Embeddings misst ein Computer „diese beiden Dinge handeln vom selben Thema“.

KI, die kein LLM istAuch in: Ein LLM auf die eigenen Dokumente ansetzen (RAG)

F

Feedback Alignment

Statt der exakten transponierten Gewichte, die Backprop braucht, wird der Ausgabefehler durch eine feste zufällige Matrix zurückprojiziert. Erstaunlicherweise lernt das Netz, sich daran auszurichten. Jede Synapse aktualisiert sich weiter mit einer rein lokalen Regel; das zufällige Feedback sagt jedem verborgenen Neuron nur, in welche Richtung es „besser“ wird. Tiefes Credit Assignment, kein Weight Transport.

axo: Lernen ohne Backprop

Fine-Tuning (Instruction Tuning)

Ein Basismodell auf einem kleineren, gezielten Datensatz weitertrainieren, um ihm ein Verhalten oder ein Fachgebiet beizubringen. Billig im Vergleich zum Pretraining, weil die Schwerarbeit schon erledigt ist; du drehst an den Reglern, statt sie von null einzustellen.

Pretraining, Fine-Tuning und RLHF

G

Gewichte

Die Milliarden Zahlen im Modell, eine auf jeder Verbindung seines neuronalen Netzes. Sie starten als zufälliges Rauschen. Training ist der Prozess, sie langsam auf nützliche Werte einzustellen. Die trainierten Gewichte sind das Modell.

Wie ein Modell lernt: Training, einfach erklärtAuch in: Wie imp aus einer Modelldatei Wörter macht

GPU (Grafikkarte)

Ein Chip, der dafür gebaut ist, eine riesige Menge einfacher Rechnungen gleichzeitig auszuführen. Ursprünglich für Spielegrafik gedacht, heute die wichtigste Hardware für KI.

Was eine GPU ist, und warum KI eine brauchtAuch in: Wie imp aus einer Modelldatei Wörter macht

Gradient Descent (Gradientenabstieg)

Die Strategie, immer in die Richtung zu gehen, in der der Loss bergab führt. „Gradient“ ist einfach das mathematische Wort für „wo geht es runter, und wie steil“. Mach das oft genug, und du driftest zum Grund eines Tals, wo das Modell zuverlässig richtig liegt.

Wie ein Modell lernt: Training, einfach erklärt

H

Halluzination

Wenn ein Modell etwas Falsches mit voller Überzeugung behauptet. Das passiert, weil das Modell plausiblen Text vorhersagt, nicht wahren Text. Einen Faktenprüfer hat es nicht eingebaut.

Was ein LLM ist und wie daraus Wörter entstehenAuch in: Warum Modelle sich Dinge ausdenken

K

KI-Agent

Ein großes Sprachmodell in einer Schleife, ausgestattet mit Werkzeugen (Tools): kleinen Programmen, die es ausführen lassen kann, etwa „liste die Dateien in einem Ordner“ oder „durchsuche das Web“. Das Modell entscheidet, welches Werkzeug es nutzt, etwas führt es aus, das Ergebnis kommt zurück, und das Modell entscheidet, was als Nächstes passiert. Immer im Kreis, bis die Aufgabe erledigt ist.

Was ein KI-Agent ist

Knowledge Cutoff

Der Zeitpunkt, an dem die Trainingsdaten eines Modells enden. Was danach passiert oder geschrieben wurde, steckt nicht im Modell, es sei denn, jemand gibt es ihm im Gespräch mit.

Warum ein Modell nicht weiß, was gestern passiert ist

Kontextfenster

Wie viel Text das Modell gleichzeitig im Kopf behalten kann, gemessen in Tokens. Ein Kontext von 128k entspricht ungefähr einem durchschnittlichen Roman. Gehst du darüber hinaus, vergisst das Modell langsam den Anfang.

Wie man Namen und Specs eines Modells liest

Kontextfenster (Context Window)

Die maximale Textmenge, die ein Modell auf einmal betrachten kann, gemessen in Tokens. Alles, was der Agent gerade weiß, das Ziel, die Werkzeugergebnisse, seine eigenen früheren Schritte, muss hineinpassen. Was außerhalb des Fensters liegt, existiert für das Modell nicht.

Wie ein Agent Werkzeuge und Gedächtnis nutztAuch in: Was sich das Modell merkt: das Kontextfenster

KV-Cache

Das Kurzzeitgedächtnis des Modells für die aktuelle Unterhaltung. Es erspart dem Modell, jedes Mal alles von vorn zu lesen, wenn es ein neues Wort schreibt.

Wie imp aus einer Modelldatei Wörter macht

L

LLM (Large Language Model, großes Sprachmodell)

Ein Computerprogramm, das eine riesige Menge Text gelesen und dessen Muster so gut gelernt hat, dass es jeden Text glaubwürdig fortsetzen kann. Large = riesig (sowohl der Text, aus dem es gelernt hat, als auch es selbst), Language = es arbeitet mit Text, Model = ein System, das Muster erfasst.

Was ein LLM ist und wie daraus Wörter entstehen

Lokale KI (oder „On-Device“-KI)

Das Modell läuft auf Hardware, die dir gehört. Dein Text wird auf deinem Rechner verarbeitet, statt an einen entfernten Server geschickt zu werden.

Wann sich KI auf dem eigenen Rechner lohnt

LoRA (Low-Rank Adaptation)

Die ursprünglichen Gewichte bleiben eingefroren. Neben jeder großen Gewichtsmatrix trainierst du zwei schmale Matrizen, deren Produkt eine kleine Korrektur dazu ist. Nur diese schmalen Matrizen lernen. Heraus kommt eine kleine Adapter-Datei, die auf dem unveränderten Basismodell sitzt, wie ein Aufsteckobjektiv.

Fine-Tuning auf eigenen Daten, mit LoRA

Loss (Verlust)

Eine Zahl, die sagt, wie falsch das Modell gerade lag. Das ganze Ziel des Trainings ist, diese Zahl klein zu machen, gemittelt über den gesamten Datensatz.

Wie ein Modell lernt: Training, einfach erklärt

M

MCP (Model Context Protocol)

Ein offener Standard, um KI-Anwendungen mit Werkzeugen und Daten zu verbinden. Ein System wird einmal als MCP-Server verpackt; jeder Assistent, der MCP spricht, kann es dann nutzen. Für KI-Werkzeuge leistet es ungefähr das, was USB für Peripheriegeräte geleistet hat: eine Steckerform, sodass N Assistenten und M Systeme N + M Adapter brauchen statt N mal M.

MCP: ein Stecker für jedes Werkzeug, das ein Agent nutzt

MTP-Head (Multi-Token Prediction)

Ein zusätzlicher Transformer-Layer, der zusammen mit dem Modell trainiert wurde. Er nimmt den letzten Hidden State des Modells plus das gerade erzeugte Token und sagt das Token danach voraus. Er ist billig, weil er nur ein einzelner Layer ist, und gut, weil er den internen Zustand des großen Modells sieht und nicht nur den Text.

Speculative Decoding, wenn sich die Chats überlappen

Multimodales Modell

Ein Modell, das mehr als eine Art von Eingabe verarbeitet, Text plus Bilder, manchmal Audio oder Video. „Modalität“ heißt einfach Datentyp. Die Grundidee ist, jede Modalität in die eine interne Sprache zu übersetzen, die das Modell spricht: Listen von Zahlen.

Wie ein Modell ein Bild sieht

N

Neuronales Netz

Ein Geflecht aus einfachen Einheiten („Neuronen“), lose vom Gehirn inspiriert und in Schichten angeordnet. Jede Einheit ist über Verbindungen mit der nächsten Schicht verdrahtet, und jede Verbindung trägt eine Zahl, das Gewicht.

Was ein LLM ist und wie daraus Wörter entstehen

O

Offene Gewichte (Open Weights)

Die fertig trainierte Modelldatei ist veröffentlicht, und du darfst sie herunterladen und ausführen. Mehr verspricht der Begriff nicht. Er sagt nichts darüber, wie das Modell trainiert wurde, mit welchen Daten oder was du damit tun darfst. Diese Antworten stehen in der Lizenz.

Offene Gewichte, Open Source und Modelllizenzen

P

Parameter (das „30B“)

Die Anzahl der Zahlen im Modell, hier 30 Milliarden. Größer heißt meistens leistungsfähiger und immer mehr Speicherbedarf. Das ist die eine Zahl, die am häufigsten genannt wird.

Wie man Namen und Specs eines Modells liest

Preis pro Million Tokens

Der Zähler der API. Jede Anfrage wird in Tokens gezählt, Eingabe (dein Prompt, der Verlauf, Dokumente) und Ausgabe (die Antwort) getrennt, und beide haben ihren eigenen Preis pro Million. Eine Antwort mit 500 Tokens kostet bei 10 USD pro Million Ausgabe-Tokens einen halben Cent.

Lokal oder API: was eine Million Tokens wirklich kostet

Prompt Injection (Einschleusen von Anweisungen)

Ein Angriff, bei dem bösartige Anweisungen in Inhalte geschmuggelt werden, die das Modell verarbeitet (eine Webseite, eine E-Mail, ein PDF, ein Code-Kommentar), sodass deine KI beim Lesen dieses Inhalts dem Angreifer gehorcht statt dir. Die Daten werden zum Befehl.

Prompt Injection: das Sicherheitsrisiko in LLM-Anwendungen

Q

Quantisierung

Jede Zahl eines Modells mit weniger Bits speichern, damit das Ganze weniger Platz braucht (und schneller läuft), im Tausch gegen einen winzigen Verlust an Genauigkeit.

Wie ein Modell mit 30 Milliarden Parametern auf eine Karte passt

R

R-STDP (Reward-Modulated STDP)

Dieselbe lokale Timing-Regel, aber die Änderung bleibt nur, wenn ein Belohnungssignal sagt: „Das war gut.“ Weil die Belohnung meist deutlich nach dem Spike-Paar kommt, stützt sich R-STDP auf einen Eligibility Trace: eine langsam abklingende Markierung an der Synapse, die diese Verzögerung überbrückt, damit die spätere Belohnung auf die richtige Änderung wirken kann. So macht axo aus „zusammen feuern“ ein „zusammen feuern, wenn es sich lohnt“, und genau das braucht es, um Handeln zu lernen.

axo: Lernen ohne Backprop

RAG (Retrieval-Augmented Generation, abrufgestützte Generierung)

Statt zu hoffen, dass das Modell deine Dokumente auswendig gelernt hat, holst du zum Zeitpunkt der Frage die passenden Ausschnitte aus deinen eigenen Daten, fügst sie in den Prompt ein und lässt das Modell aus diesem Text antworten. Erst abrufen, dann generieren. Das Modell liefert die Sprache, deine Dokumente liefern die Fakten.

Ein LLM auf die eigenen Dokumente ansetzen (RAG)

Reasoning-Modell

Ein Modell, das darauf trainiert ist, seinen Rechenweg aufzuschreiben, bevor es antwortet. Der Rechenweg ist ganz normaler generierter Text, Token für Token erzeugt, genau wie die Antwort. Meist ist er versteckt oder eingeklappt, und du zahlst dafür.

Warum ein Modell nachdenkt, bevor es antwortet

Refuted (widerlegt)

Imps Wort für eine Idee, die auf einem benannten Modell und einer benannten Karte getestet wurde und sich als falsch herausstellte. Das Urteil landet in einem Ledger, die Daten und meist auch der Diff landen im Repo. So lässt sich die Idee gezielt wieder aufgreifen, statt sie aus Versehen neu zu entdecken.

Der Kernel, der nullmal lief

RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback)

Statt einer „richtigen“ Antwort zum Abschreiben bekommt das Modell ein Belohnungssignal für Antworten, die Menschen besser bewerten, und wird so geschoben, mehr Belohnung einzusammeln. So wird aus roher Hilfsbereitschaft ein konsistenter, wohlerzogener Ton.

Pretraining, Fine-Tuning und RLHF

Runtime

Das Programm, das eine Modelldatei lädt und die Berechnungen ausführt. Das Modell ist das Wissen, eine große Datei voller Zahlen. Die Runtime macht aus diesen Zahlen Antworten. Ollama ist eine Runtime, imp auch.

Dein erstes lokales Modell, Schritt für Schritt

S

Sampling (Stichprobenziehung)

Statt immer das am höchsten bewertete Wort zu nehmen, zieht das Modell eines zufällig, aber gewichtet nach den Bewertungen. Ein Wort mit 41 % wird ungefähr in 41 % der Fälle gezogen, ein Wort mit 8 % ungefähr in 8 % der Fälle. Wahrscheinliche Wörter gewinnen meistens; unwahrscheinliche schlüpfen gelegentlich durch. Dieser gewichtete Würfelwurf ist der Grund für die Abwechslung.

Warum du jedes Mal eine andere Antwort bekommst

Schatten-KI

KI-Tools, die ohne Wissen des Unternehmens für die Arbeit genutzt werden: ein kostenloses privates Chatbot-Konto, eine Browser-Erweiterung, eine Transkriptions-App auf dem privaten Handy. Kein Vertrag, keine Kontrolle darüber, ob deine Eingaben fürs Training genutzt werden, kein Protokoll, keine Möglichkeit, etwas zu löschen, wenn jemand geht.

Eine KI-Richtlinie für dein Unternehmen: eine Seite, an die man sich halten kann

Serialisierung

Objekte aus dem Arbeitsspeicher in eine Datei schreiben und wieder zurückholen. Pythons eingebauter Weg dafür heißt Pickle, und eine Pickle-Datei ist nicht einfach Daten: Sie ist ein kleines Programm, das der Lader ausführt, um die Objekte wieder aufzubauen. Was dieses Programm tut, entscheidet, wer die Datei geschrieben hat. Ein Pickle von einem Fremden laden heißt, den Code eines Fremden ausführen.

Wann ein heruntergeladenes Modell sicher ist

Single Source of Truth

Eine Tatsache steht an genau einer Stelle, und alles andere leitet sich daraus ab. Hier liest make build das Tag aus dieser Datei und reicht es in den Docker-Build hinein, entlang des make-Pfads kann der Container also nicht von der Build-Konfiguration abweichen. Der Haken: Das Dockerfile behält seinen eigenen passenden Default (eine zweite Kopie der Version), damit ein nacktes docker build weiter funktioniert. Die Single-Source-Garantie gilt für den make-Pfad; ein nacktes docker build, das diese Datei ignoriert, kann trotzdem abweichen, die beiden Kopien müssen also zusammen gebumpt werden.

Eine Abhängigkeit bumpen, die du nicht lesen kannst

Spektrogramm

Ein Bild von Klang. Die Zeit läuft von links nach rechts, die Tonhöhe von unten nach oben, und die Helligkeit zeigt, wie laut jede Tonhöhe in diesem Moment ist. Ein Vokal erscheint als ein paar helle waagrechte Streifen, ein zischendes „s“ als Schleier weit oben, Stille als dunkle Lücke. Sprachmodelle nutzen ein Log-Mel-Spektrogramm: Die Tonhöhenachse ist so gestaucht wie das menschliche Gehör (tiefe Töne unterscheiden wir besser als hohe), und die Lautstärke ist logarithmisch, so wie wir sie wahrnehmen.

Wie ein Modell hört und spricht

STDP (Spike-Timing-Dependent Plasticity)

Das klassische „Neuronen, die zusammen feuern, verdrahten sich“, durch Timing präzisiert. Feuert Neuron A kurz vor B, wird ihre Verbindung stärker; feuert es kurz danach, wird sie schwächer. Rein lokal und völlig unüberwacht.

axo: Lernen ohne Backprop

Subnormal

Die winzigen Zahlen, die ein Float-Format unterhalb seines normalen Bereichs noch speichern kann, indem es Genauigkeitsbits statt Exponentenbereich opfert. Sie lassen einen Wert allmählich ausklingen, statt ihn auf null springen zu lassen, aber jeder Schritt nach unten kostet Genauigkeit.

Quantisierung lebt in den Skalierungsfaktoren

T

Temperatur (Temperature)

Ein Regler, meist von 0 bis etwa 2, der steuert, wie viel Zufall in die Wahl einfließt. Niedrig schärft die Chancen in Richtung der Top-Wahl (sicher, fokussiert, repetitiv). Hoch glättet sie, sodass unwahrscheinliche Wörter eine echte Chance bekommen (abwechslungsreich, kreativ, riskanter). Bei 0 ist es praktisch Greedy: immer das oberste Wort.

Warum du jedes Mal eine andere Antwort bekommst

Token

Das Modell arbeitet nicht ganz mit ganzen Wörtern. Es arbeitet mit Tokens, kurzen Textstücken, oft ein Wort, manchmal ein Teil davon. Für diesen Artikel kannst du einfach „Wort“ denken.

Was ein LLM ist und wie daraus Wörter entstehenAuch in: Warum ein LLM die r in „strawberry“ falsch zählt, Wie imp aus einer Modelldatei Wörter macht

Tokens pro Sekunde (tok/s)

Wie schnell es schreibt. Zur Einordnung: Ein Mensch liest etwa 5 bis 8 Wörter pro Sekunde, alles darüber kommt also schon schneller an, als du lesen kannst. 300 tok/s fühlen sich sofort an.

Wie man Namen und Specs eines Modells liest

Tool (Werkzeug)

Ein kleines, gewöhnliches Programm, das der Agent ausführen lassen darf, etwa eine Datei lesen, eine Suche starten, eine E-Mail senden, eine Datenbank abfragen. Nichts davon kann das Modell selbst. Es kann nur per Name darum bitten.

Was ein KI-Agent ist

Tool Calling (auch „Function Calling“, Werkzeugaufruf)

Das Modell bekommt eine Liste von Werkzeugen und ihren erwarteten Argumenten gezeigt und antwortet mit einer strukturierten Anfrage, die eines davon benennt. Das Modell erzeugt immer nur Text; Tool Calling ist das vereinbarte Format, mit dem ein ganz normales Programm diesen Text lesen und das Richtige ausführen kann.

Wie ein Agent Werkzeuge und Gedächtnis nutzt

Training

Bevor du es je benutzt, bekommt das Modell Berge von Text vorgesetzt und muss milliardenfach „Rate das nächste Wort“ spielen. Bei jedem falschen Tipp wird jedes Verbindungsgewicht ein kleines Stück in die Richtung geschoben, die geholfen hätte. Macht man das lange genug, saugen diese Gewichte still und leise Grammatik, Fakten und Stile auf.

Was ein LLM ist und wie daraus Wörter entstehen

Transmission

Dünne Dinge sind nicht undurchsichtig. Ein Grashalm mit der Sonne im Rücken fällt nicht in den Schatten, er leuchtet von innen auf, weil das Licht durch das Blatt hindurchgeht, statt davon abzuprallen. Deshalb wirkt eine Wiese bei Sonnenuntergang wie von innen beleuchtet und dieselbe Wiese am Mittag flach.

Kein Oracle für eine Wiese

U

Unabhängiges Oracle

Eine zweite, einfachere Implementierung derselben Berechnung, abgeleitet aus der Spezifikation statt aus dem Code unter Test kopiert. Wenn die schnelle Version und das Oracle sich uneinig sind, stimmt etwas nicht. Der Haken: Das funktioniert nur, wenn das Oracle wirklich unabhängig ist.

Eine Abhängigkeit bumpen, die du nicht lesen kannst

V

VRAM

Der eingebaute Speicher der Grafikkarte. Das Modell muss hier hineinpassen, damit es schnell läuft. Ein Modell, das nicht passt, läuft entweder sehr langsam oder lädt gar nicht erst.

Was eine GPU ist, und warum KI eine braucht

W

Watt (W)

Watt (W) ist, wie schnell ein Gerät gerade Strom zieht. Wattstunde (Wh) ist die verbrauchte Energie: 1 W eine Stunde lang. Einen Liter Wasser von 20 auf 100 °C zu erhitzen braucht allein im Wasser etwa 93 Wh. Daneben sind 0,24 Wh ungefähr ein Vierhundertstel Wasserkocher.

Wie viel Strom braucht eine KI-Antwort?

Z

Zero Data Retention (ZDR)

Eine Vertragsoption, bei der der Anbieter deine Prompts und Antworten nach der Verarbeitung nicht speichert, auch nicht im Abuse-Monitoring-Log. Das ist kein Schalter, den du selbst umlegst: Bei OpenAI, Anthropic und Microsoft braucht es die Freigabe des Anbieters oder eine eigene Vereinbarung, und manche Funktionen, die Zustand auf dem Server halten, sind ausgenommen.

Was mit deinen Prompts beim Anbieter passiert