Claude Mythos: Das Modell, das in Schleifen denkt

Claude Mythos denkt nicht einmal und antwortet dann. Es denkt nochmal. Und nochmal. Bis es selbst entscheidet, fertig zu sein.

Jede KI, die du bisher benutzt hast, funktioniert gleich: Du stellst eine Frage, das Modell liest sie einmal durch, sagt Wort für Wort voraus, gibt eine Antwort aus. Ein Durchlauf. Fertig. Claude Mythos soll komplett anders funktionieren: gleiche Gewichte, in einer Schleife, jeder Durchlauf verbessert, was der vorherige noch nicht gelöst hat. Wie über ein schwieriges Problem schlafen, nur dass das Modell 16 Nickerchen in einer einzigen Sekunde macht, alles unsichtbar, bevor es das erste Wort schreibt.

Das ist die Hypothese. Im April 2026 hat ein Entwickler namens Kye Gomez das vermutete Design aus geleakten Anthropic-Dokumenten rückentwickelt und auf GitHub veröffentlicht, bevor Anthropic öffentlich ein Wort dazu sagte. Dieser Post erklärt, wie das funktioniert, und wie du das heute selbst ausprobieren kannst.

Was normale KI-Modelle tatsächlich tun

Stell dir jede KI, die du kennst, als gerade Linie vor.

Du tippst eine Frage. Das Modell leitet sie durch Schicht 1, dann Schicht 2, dann Schicht 3. Jede Schicht ist ein eigener Satz trainierter Gewichte, einmalig und in Reihenfolge verwendet. GPT-4 hat rund 120 solcher Schichten. Jede Schicht vergrößert die Modelldatei, den Speicherbedarf und die Rechenkosten. Schlauere Modelle? Mehr Schichten. Mehr Schichten bedeuten mehr Parameter. Mehr Parameter bedeuten mehr GPUs.

Das ist die Mauer, gegen die jedes Frontier-Modell läuft. Nicht "wie denken wir besser?" sondern "wie passen mehr Schichten rein?". Claude Mythos scheint um eine völlig andere Frage herum entworfen zu sein: Was, wenn eine einzige Schicht die Arbeit von vielen übernehmen könnte?

Die Kernidee: eine Schicht, immer wieder

Die Mythos-Hypothese läuft auf eine einzige Architekturänderung hinaus.

Statt 6 einzigartiger Schichten mit 6 Gewichtssätzen hat das Modell 1 Schicht mit 1 Gewichtssatz. Diese Schicht läuft 5 Mal (oder so oft, wie die Eingabe es braucht). Gleiche Gewichte bei jedem Durchlauf. Der Output jedes Durchlaufs wird zum Input des nächsten.

Das Modell braucht weniger Speicher. Aber es ist genauso tief in Bezug auf die Verarbeitungsschritte, die die Eingabe durchläuft.

Diese Architekturklasse heißt Recurrent-Depth. Das Wort "rekurrent" bedeutet dasselbe wie bei RNNs: ein Prozess, der seinen Output als eigenen Input zurückspeist. Der Unterschied: Mythos wendet dieses Konzept auf die komplette Transformer-Schicht an, nicht nur auf den Hidden State.

LTI-Stabilität hält diese wiederholten Durchläufe davon ab, zu explodieren. LTI steht für Linear Time-Invariant, ein Konzept aus der Regelungstechnik für Systeme, bei denen die gleiche Eingabe immer die gleiche Ausgabe erzeugt, unabhängig vom Zeitpunkt. In einem schleifen-basierten Modell summieren sich ohne Stabilitätsbeschränkungen Fehler über die Durchläufe, und Aktivierungen steigen ins Unendliche. LTI-Stabilität verhindert das. Die Schicht ist so gestaltet, dass wiederholtes Ausführen Werte in einem begrenzten Bereich hält.

Jeder Durchlauf verfeinert die Antwort

Stell dir die Durchläufe wie Entwürfe vor.

Durchlauf 1 ist der erste grobe Gedanke. Das Modell liest die Eingabe und erzeugt eine frühe Repräsentation. Nicht falsch genau, aber flach.

Durchlauf 2 nimmt diese Repräsentation und verarbeitet sie erneut. Er kann Dinge auffangen, die der erste Durchlauf übersehen hat. Widersprüche werden markiert. Die Antwort beginnt sich zu schärfen.

Jeder folgende Durchlauf läuft die gleichen Gewichte über eine zunehmend verfeinerte Repräsentation des Problems. Bei Durchlauf N hat das Modell N Chancen gehabt, die Frage durchzuarbeiten. Der Output ist das Ergebnis des letzten Durchlaufs.

Depth-wise LoRA passt hier rein. LoRA (Low-Rank Adaptation) ist eine Technik, um Modelle mit weniger Parametern trainierbar zu machen. Bei einem Recurrent-Depth-Modell fügt depth-wise LoRA kleine Anpassungen bei jedem Durchlauf hinzu, sodass die gleiche Basisschicht sich bei Durchlauf 2 leicht anders verhält als bei Durchlauf 1, obwohl die Kerngewichte geteilt werden. So vermeidet das Modell, jede Schleife exakt dasselbe zu tun.

MLA-Attention (Multi-head Latent Attention) ist der Attention-Mechanismus, der vermutlich in jedem Durchlauf läuft. Standard-Multi-Head-Attention ist teuer: Key- und Value-Matrizen wachsen mit dem Kontextfenster, und man muss sie für jede Schicht cachen. MLA komprimiert den Key-Value-Cache durch Projektion in einen kleineren latenten Raum. In einem Modell, das die gleiche Schicht wiederholt ausführt, ist das entscheidend. Ohne Komprimierung multiplizieren sich Speicherkosten mit jedem Durchlauf. MLA hält sie handhabbar.

MoE FFN (Mixture of Experts Feed-Forward Network) verarbeitet den Feed-Forward-Teil jedes Durchlaufs. Im Standard-Transformer aktiviert jedes Token alle Parameter im Feed-Forward-Block. MoE nutzt einen Router, um nur eine Teilmenge von "Experten"-Teilnetzwerken pro Token zu aktivieren. Das Modell kann also im FFN-Block eine hohe Parameteranzahl haben, während es pro Forward-Pass nur einen Bruchteil nutzt. Im Mythos-Kontext fügt MoE jedem Schleifendurchlauf Kapazität hinzu, ohne die Rechenkosten proportional zu erhöhen.

Schwierige Fragen bekommen mehr Schleifen

Das ist der Teil, der Recurrent-Depth wirklich anders macht als einfach ein größeres Modell.

Ein Standardmodell leitet jede Eingabe durch jede Schicht, jedes Mal. Ob du "Hi" tippst oder "Erkläre die thermodynamische Grundlage des Zeitpfeils" — die Rechenkosten sind gleich. Die Schichtenanzahl ist fix.

In einem Recurrent-Depth-Modell mit ACT-Halting stimmt das nicht mehr.

ACT steht für Adaptive Computation Time. Ein Mechanismus, der das Modell selbst entscheiden lässt, wie viele Durchläufe es vor der Ausgabe machen soll. Bei jedem Durchlauf gibt das Modell neben seiner Repräsentation eine "Haltungswahrscheinlichkeit" aus. Sobald die kumulative Haltungswahrscheinlichkeit einen Schwellenwert überschreitet, stoppt die Schleife, und die aktuelle Repräsentation wird zur Ausgabe.

Das Ergebnis ist ein Modell, das Rechenressourcen entsprechend der Schwierigkeit zuteilt:

Einfache Tokens bekommen 2 Schleifen. Schwere bekommen 10. Nichts wird verschwendet. Das Modell verbringt keine 10 Schleifen auf "Hi", nur weil die Architektur das erlaubt.

Das ist auch einer der Gründe, warum der US-Finanzminister und der Fed-Vorsitzende innerhalb von 24 Stunden nach Anthropics öffentlicher Ankündigung eine geschlossene Notfallsitzung mit den CEOs großer Banken zu den Cybersicherheitsimplikationen dieses Modells einberiefen. Ein Modell, das seine eigene Rechenauslastung steuert und selbst entscheidet, wie tief es über etwas nachdenkt, ist eine andere Systemklasse als eines, das immer die gleiche feste Durchlaufanzahl ausführt.

Jemand hat es Open Source nachgebaut

Anthropic hat die Architektur nie öffentlich bestätigt. Aber Kye Gomez hat das Nächstbeste getan: die verfügbaren Hinweise gelesen, das Design abgeleitet und eine funktionierende Implementierung rückentwickelt.

Das Projekt ist kyegomez/OpenMythos auf GitHub, veröffentlicht 2026.

Die Architektur passt zu allen Hinweisen, die aus Anthropics Forschung durchgesickert sind. Das Modell-Spec-Leak Anfang 2026 enthüllte Entwürfe von Blog-Posts und interne Dokumente mit Verweisen auf Schleifengewicht-Designs. Der Source-Map-Leak aus @anthropic-ai/claude-code Version 2.1.88 legte interne Feature-Flags und Architekturnotizen offen, die mit Recurrent-Depth-Reasoning übereinstimmen. Nichts davon war ein direkter Bauplan. Kye Gomez hat die Lücken gefüllt.

Die Community hat es ausgeliefert, bevor Anthropic öffentlich ein Wort gesagt hat.

Eigene Version ausführen

OpenMythos ist der schnellste Weg, ein Recurrent-Depth-Modell lokal laufen zu lassen. Das brauchst du mindestens.

Voraussetzungen:

• Python 3.10+
• PyTorch 2.1+
• 8 GB+ VRAM für kleine Konfigurationen, 24 GB+ für sinnvolle Skalierung
• Git

Klonen und installieren:

git clone https://github.com/kyegomez/OpenMythos
cd OpenMythos
pip install -r requirements.txt

Die Kernschleife in einfachen Worten. OpenMythos definiert einen einzelnen Transformer-Block und wickelt ihn in eine Schleife mit einem ACT-Halting-Head. Der Halting-Head ist eine kleine lineare Schicht, die den aktuellen Hidden State liest und einen Skalar zwischen 0 und 1 ausgibt. Sobald der kumulative Halting-Score einen Schwellenwert überschreitet (typischerweise 0,99), beendet sich die Schleife. So sieht das konzeptionell aus:

# Simplified recurrent-depth forward pass
hidden = embed(input_tokens)

halt_acc = 0.0
n_steps = 0

while halt_acc < 0.99 and n_steps < max_loops:
    hidden = transformer_block(hidden)          # same weights every pass
    halt_prob = halt_head(hidden).sigmoid()     # how confident to stop?
    halt_acc += halt_prob * (1 - halt_acc)
    n_steps += 1

output = lm_head(hidden)

Der transformer_block läuft bei jedem Durchlauf mit den gleichen Gewichten. Der halt_head entscheidet, wann zu stoppen ist. Das Modell macht nie mehr Durchläufe als max_loops, der Rechenaufwand ist also nach oben begrenzt.

Depth-wise LoRA in der Praxis. Damit sich das Modell bei jedem Durchlauf anders verhält, ohne separate Gewichte zu haben, injiziert OpenMythos vor dem Transformer-Block Pass-Index-Embeddings. Jeder Durchlauf bekommt einen kleinen gelernten Offset, der die Repräsentation leicht verschiebt. Die Basisgewichte bleiben geteilt; die Offsets geben jedem Durchlauf seinen eigenen Charakter:

# Pass index conditioning
pass_embed = self.pass_embeddings(torch.tensor(n_steps))
hidden = hidden + pass_embed
hidden = self.transformer_block(hidden)

Das ist eine leichtgewichtige Version von depth-wise LoRA. Eine vollständige Implementierung würde Low-Rank-Adapter pro Durchlauf statt gelernter Offsets verwenden, aber das Prinzip ist dasselbe.

Training mit ACT. Der Trainingsverlust fügt einen Regularisierungsterm hinzu, der unnötige Durchläufe bestraft. Ohne ihn würde das Modell lernen, unabhängig von der Eingabeschwierigkeit immer die maximale Anzahl von Schleifen zu laufen. Der Ponder-Cost drängt es zum frühen Stopp, wenn die Repräsentation bereits gut genug ist:

loss = cross_entropy_loss + lambda_ponder * n_steps.float().mean()

Der lambda_ponder-Koeffizient steuert den Kompromiss zwischen Antwortqualität und Recheneffizienz. Höhere Werte erzeugen schnellere, flachere Modelle. Niedrigere Werte erzeugen tiefere Denker, die mehr Durchläufe brauchen.

Warum diese Architektur wichtig ist

Drei Dinge ändern sich, wenn Recurrent-Depth zum Standardansatz für Frontier-Modelle wird.

Tiefe ohne Ballast. Ein Modell kann so tief denken wie eines mit 6-facher Schichtenanzahl, während es nur die Gewichte von 1 Schicht speichert. Kleinere Modelldateien, niedrigere Speicheranforderungen, billiger zu betreiben. Du bekommst die Ausgabequalität eines großen Modells zu den Speicherkosten eines kleinen.

Variabler Rechenaufwand pro Token. Das Modell investiert Rechenleistung, wo das Problem tatsächlich schwer ist. Ein Prompt, der zu 90% aus leichtem Kontext und zu 10% aus hartem Reasoning besteht, zahlt nicht die gleichen Pro-Token-Kosten wie ein gleichmäßig schwieriger Prompt. Das verändert, was "effiziente Inferenz" bedeutet.

Eine neue Designachse für Fähigkeiten. Der Standardansatz, Modelle klüger zu machen, ist das Training größerer Modelle auf mehr Daten. Recurrent-Depth fügt eine andere Achse hinzu: Reasoning-Tiefe pro Forward-Pass. Ein Modell kann "klüger" gemacht werden, indem mehr Schleifen erlaubt werden, nicht nur durch mehr Parameter. Schleifen, nicht Schichten.

Wenn Anthropic das richtig gemacht hat, hat sich das Playbook für die Skalierung von Intelligenz gerade verändert. Nicht mehr Gewichte. Mehr Durchläufe.

Was wir nicht wissen

Es lohnt sich, klar zu sein, was das ist und was nicht.

Anthropic hat nicht öffentlich bestätigt, dass Claude Mythos Recurrent-Depth-Architektur verwendet. Die Belege sind indirekt: geleakte Modell-Spec-Dokumente, Source-Map-Inhalte, Benchmark-Verhalten, das mit adaptiver Berechnung übereinstimmt, und Kye Gomez' Rückentwicklungsarbeit. Die Architektur passt. Sie wurde nicht verifiziert.

OpenMythos ist eine Community-Implementierung eines vermuteten Designs. Es ist kein Anthropic-Produkt und reproduziert keinen echten Trainings-Code oder Gewichte von Anthropic.

Das praktische Mythos-Modell, falls es wie beschrieben existiert, ist Anthropics eingeschränkteste Veröffentlichung. Es ist nicht öffentlich zugänglich. Was du heute ausführen kannst, ist OpenMythos: die Architektourhypothese als ausführbarer Code.

Dieser Unterschied zählt. OpenMythos auszuführen lehrt dich, wie Recurrent-Depth funktioniert. Es gibt dir nicht Claude Mythos.

Wo das Muster sich wiederfindet

Die Recurrent-Depth-Idee ist nicht einzigartig für Mythos-Spekulationen. Derselbe Ansatz ist in der akademischen Forschung unter verschiedenen Namen aufgetaucht: Universal Transformers (Dehghani et al., 2018), Pondering (Banino et al., 2021) und jüngst in effizienzorientierten Arbeiten zur depth-adaptiven Inferenz.

Was Mythos repräsentiert, wenn die Hypothese stimmt, ist Anthropic, das diese Forschungsrichtung auf Frontier-Skala mit produktionsreifem Engineering anwendet. Das zählt, weil bisherige Recurrent-Depth-Arbeiten meist im Forschungslabor blieben. Das auf ein Modell zu skalieren, das so fähig ist, dass Anthropic seinen Zugang eingeschränkt hat, ist ein Ergebnis anderer Klasse.

Der Open-Source-Weg existiert. Kye Gomez hat ihn gebaut. Die Architektur ist verständlich. Die Einzelteile — ACT-Halting, MoE FFN, depth-wise LoRA, MLA-Attention — sind jedes für sich in der Forschungsliteratur dokumentiert.

Eine Schleife nach der anderen wird die Repräsentation besser. Das ist die ganze Idee.

Gepostet von @speedy_devv