# axo: Lernen ohne Backprop
> Ein von Grund auf gebautes Spiking Neural Network in C++/CUDA auf einer RTX 5090, das mit lokalen Regeln lernt, ohne Backprop, und zu einem Wesen heranwächst, das jagen lernt.
Source: https://rfriedmann.de/de/blog/axo-learning-without-backprop/ · English: https://rfriedmann.de/blog/axo-learning-without-backprop/
Published: 2026-06-17 · Track: log · Level: Advanced
Das ist axo: ein kleines künstliches Wesen mit einem Gehirn, das lernt, während es lebt.
Es ist ein von Grund auf gebautes **Spiking Neural Network** in C++23 und CUDA, und über
ein durchgehendes Leben hinweg, in dem es hungrig wird, jagt und Gefahren ausweicht,
verändert sich sein Gehirn ständig, auf einer einzelnen RTX 5090. Was du live gerendert
siehst, Place Cells für das Auge, Motorneuronen, einen Hungertrieb, ist Lernen in
Echtzeit. Und all das schafft es ohne das eine Ding, mit dem jedes andere Modell auf
dieser Site trainiert ist: Backpropagation.
[Wie ein Modell lernt](/de/blog/how-a-model-learns/) hat Backprop erklärt: ein globales
Fehlersignal, rückwärts durch jeden Layer gefädelt, das jedes Gewicht bergab schubst. So
wird im Wesentlichen jede moderne KI trainiert, auch die Modelle, die
[imp](https://github.com/kekzl/imp) ausliefert. axo ist das Experiment, das zu verweigern.
Warum das wegwerfen, was funktioniert? Weil Backprop seine Stärke mit Annahmen erkauft,
die ein lebendes Gehirn nicht machen kann: ein eingefrorenes Netz, eine saubere Trennung
von erst Trainieren, dann Ausführen, ein zentraler Optimierer mit globalem Wissen. axo
setzt aufs Gegenteil, auf Regeln, die **lokal** sind (eine Synapse ändert sich nur anhand
dessen, was ihre eigenen zwei Neuronen getan haben, plus einem Spritzer Neuromodulator),
online und nie abgeschaltet.
## Die Regeln, alle lokal
Das bringt dir Einzelmerkmal-Detektoren und einfache Reflexe. Die schwierige Frage, die
entscheidet, ob lokale Regeln ein Spielzeug oder eine echte Alternative sind, ist Tiefe.
## Können lokale Regeln Tiefe lernen? Der XOR-Test
XOR ist die Lehrbuchaufgabe, die ein einzelner Layer beweisbar nicht lösen kann, und rein
lokales STDP löst sie auch nicht, es bildet immer nur Einzelmerkmal-Detektoren. Tiefe
braucht Credit Assignment: Einem *verborgenen* Neuron muss man sagen, wie es hätte feuern
sollen. Backprop macht das, indem es Gewichte rückwärts transportiert. axo kann das
nicht, also nutzt es einen Trick:
Das saubere Experiment trennt *Lernen* von *Größe*. Nimm einen gleich großen Hidden Layer
und friere ihn entweder zufällig ein oder lass ihn per Feedback Alignment trainieren:
Hidden Layer: zufällig eingefroren
Ein eingefrorenes lineares Readout löst nur 2 der 4 XOR-Zeilen
Tiefe gibt es gratis, und sie reicht nicht
Hidden Layer: per FA gelernt
Vorher: 2 von 4 Zeilen. Nach dem Lernen: 4 von 4
Die nutzbare Tiefe wurde gelernt, lokal
Gleiche Zahl an Neuronen, gleiches Verdrahtungsbudget. Der einzige Unterschied ist, ob
der Hidden Layer lernen durfte, und das ist der Unterschied zwischen Scheitern und XOR
lösen.
## Ein ehrlicher Größencheck: MNIST
Hochskaliert auf handgeschriebene Ziffern (784 → 200 hidden → 10) erzählen drei gleich
große Konfigurationen die wahre Geschichte:
| Netz (gleiche Größe, H=200) | Testgenauigkeit |
|---|---:|
| Flach: lineares Readout auf Spike-Rate-kodierten Pixeln | 82 % |
| Tief: Hidden Layer zufällig eingefroren | 15 % |
| Tief: Hidden Layer per FA gelernt | 45 % |
Zwei ehrliche Lesarten zugleich. Die gute: Bei identischer Größe schlägt die *gelernte*
Tiefe die zufällig eingefrorene um etwa 3x, dieselbe Logik, mit der große gelernte Netze
große zufällige vernichten, reproduziert aus lokalen Regeln. Die ehrliche: Tief verliert
hier immer noch gegen flach, durch eine Mischung aus Rate Coding plus Underfitting der
lokalen Regeln, und weil MNIST nahezu linear separierbar ist, was die flache Baseline
begünstigt. Beachte, dass die flachen 82 % ein Spike-Rate-kodiertes lineares Readout sind,
kein normaler linearer Klassifikator: Eine lineare Standard-Softmax auf rohen
MNIST-Pixeln schafft etwa 92 %, die 82 % spiegeln also die verlustbehaftete Spike-Kodierung
wider, nicht die Obergrenze linearer Klassifikation. Und 45 % sind meilenweit von einem
MNIST-Leaderboard entfernt. Das ist in Ordnung. Das Ergebnis war nie die Genauigkeit. Es
ist, dass *lokales* Deep Learning überhaupt funktioniert.
## Ein Gehirn, das nicht vergisst
Trainiere ein normales Netz auf Aufgabe B, und es neigt dazu, Aufgabe A zu überschreiben.
Das ist **Catastrophic Forgetting**, und genau da scheitert Standard-KI still daran,
gehirnähnlich zu sein. axo bekommt kontinuierliches Lernen aus einem lokalen Mechanismus,
den es schon hat, der Homöostase: Ein Neuron, das ständig feuert, wird „müde“, also
rekrutiert jedes neue Muster *untätige* Neuronen aus dem vorhandenen Pool, statt
beschäftigte zu überschreiben (zur Laufzeit wachsen keine Neuronen nach, und es kommen
keine dazu). Vierzehn Muster nacheinander gezeigt, jedes danach nie wieder, auf nur
fünfzig Neuronen:
| Musterstrom (14 Muster, 50 Neuronen) | Noch gehaltene Konzepte |
|---|---:|
| Mit homöostatischer Rekrutierung | ~10 / 14 |
| Ohne (Kontrolle) | ~6 / 14 |
Wissen wächst, statt überschrieben zu werden, mit nichts als lokalen Regeln.
## Der Lohn: ein Wesen, das leben lernt
Der Höhepunkt ist der Clip ganz oben. Diesmal kein einzelner Mechanismus, sondern alles
in einer lebenden Schleife: ein Wesen in einer kleinen Welt, ein durchgehendes Leben von
24.000 Schritten ohne Episoden-Resets, das allein aus den Folgen seiner eigenen
Handlungen jagen lernt.
egozentrische Place Cells (wo ist Futter?) → Motorneuronen (4 Aktionen)
→ Belohnung fürs Annähern und Fressen → belohnungsmodulierte Plastizität
| Agent | Futter pro 3000 Schritte |
|---|---:|
| Zufalls-Baseline (untrainiert) | 4 |
| Nach einem Leben voller Lernen | ~400 |
Es beginnt praktisch hilflos und fängt am Ende etwa 95x häufiger Futter, und es löst
97,7 % aller Kombinationen aus Start und Futter, hat also die *Regel* „geh zum Futter“
gelernt, nicht einen auswendig gelernten Weg. Wahrnehmen, Handeln und Lernen in einer
einzigen durchgehenden lokalen Schleife. Kein Backprop, kein zentraler Optimierer, kein
Reset.
## Es lernt zu sehen, und zu leben
Diese Schleife hat axo seine Augen noch in die Hand gegeben: einen eingebauten Sinn dafür,
wo das Futter liegt. Der nächste Schritt nimmt selbst das weg. Mit nichts als einer rohen
egozentrischen Retina **lernt axo seine eigene
Wahrnehmung**, zwei getrennte räumliche Karten (links-rechts und oben-unten), die sich
per STDP ohne Lehrer selbst organisieren, und lernt dann, auf diesem selbstgebauten Code
zu jagen, mit einer Futterrate von etwa 52x über Zufall. Es lernt zu sehen und handelt
dann nach dem, was es sich selbst zu sehen beigebracht hat.
Und es hört auf, ein einzelner Reflex zu sein. Eine umfassendere Fassung von axo läuft
mit mehreren lokalen Trieben gleichzeitig: Sie jagt, wenn sie hungrig ist,
**erkundet aus Neugier, wenn sie satt ist**, statt immer dieselbe Ecke abzugrasen, und
lernt aus den Folgen, **Gefahr und Gift zu meiden**. Hunger, Neugier, Wert, ein Hauch
Vorhersage, alles lokal, alles in einem ununterbrochenen Leben.
## Was es ist und was es nicht ist
axo ist ein Forschungswesen, kein Produkt und kein Weg zu AGI, und das sage ich lieber
offen, als es größer darzustellen, als es ist. Echte Mauern bleiben: generisches tiefes
Credit Assignment über einen Hidden Layer hinaus, das Clustern vieler verankerter
Symbole, neue Neuronen zur Laufzeit wachsen lassen. Die MNIST-Zahl ist bewusst bescheiden,
und ich habe dir gesagt, warum. Und jede Zahl hier (die XOR-Zeilen, die
MNIST-Genauigkeiten, die 95x, 97,7 % und 52x des Wesens) ist eine
Proof-of-Mechanism-Zahl aus einem einzelnen Lauf, kein über Seeds gemittelter Benchmark,
lies sie also als „der Mechanismus funktioniert“, nicht als konkurrenzfähige Werte.
Was es *ist*, ist die Gegenwette zu [imp](https://github.com/kekzl/imp). imp lässt das
trainierte Modell von jemand anderem so schnell laufen, wie es eine Consumer-Karte
erlaubt; axo lässt sein eigenes kleines Gehirn aus lokalen Regeln wachsen, online,
verkörpert, kontinuierlich, auf derselben einzelnen RTX 5090. Fast alle eingesetzte KI ist
mit Backprop trainiert, aber Lernen ohne Backprop ist etablierter Stand der Technik, kein
unbeschriebenes Feld: Feedback Alignment, R-STDP, Predictive Coding und die breitere
Neuromorphic-/SNN-Community verfolgen es seit Jahren, oft mit stärkeren veröffentlichten
Zahlen als axo. axo ist mein Versuch, diesen anderen Weg von Grund auf zu bauen, in C++
und CUDA, um ihn praktisch zu verstehen. Der Code, jede Phase und jeder Test, ist
öffentlich auf [github.com/kekzl/axo](https://github.com/kekzl/axo).