Claude Mythos: ループで考えるモデル

Claude Mythosは一度考えて答えを出す、というわけではありません。もう一度考えます。さらにもう一度。自分が終わったと判断するまで、それを繰り返します。

これまで使ってきたすべてのAIは同じ仕組みで動いています。質問すると、モデルはその質問を一度読み、単語を一つずつ予測して答えを出力する。1パス、以上。Claude Mythosはこれとは全く異なる動き方をすると考えられています。同じ重みを、ループして繰り返し実行する。各パスが前のパスの誤りを修正していく。難しい問題を一晩寝かせるようなものですが、1秒の間に16回のうたた寝をして、しかもそれがすべて見えないところで行われてから、最初の一文字が書かれます。

これが仮説です。2026年4月、Kye Gomezというある開発者が、リークされたAnthropicのドキュメントから設計を推定してリバースエンジニアリングし、Anthropicが公式に何も発表しない前にGitHubに公開しました。この記事では、その仕組みと今すぐ自分で動かす方法を解説します。

通常のAIモデルが実際にやっていること

これまで使ってきたすべてのAIを、一本の直線として想像してください。

質問を入力すると、モデルはそれをレイヤー1、レイヤー2、レイヤー3と順番に通過させます。各レイヤーは独立した学習済み重みのセットで、順番に一度だけ使われます。GPT-4はこうしたレイヤーを約120層持っています。レイヤーを増やすほど、モデルのファイルサイズ、メモリ使用量、計算コストが上がります。モデルを賢くするには、レイヤーを追加するしかない。レイヤーが多いほどパラメーターが増え、パラメーターが増えるほどGPUが必要になります。

これがあらゆるフロンティアモデルが直面している壁です。「どうすれば上手く考えられるか?」ではなく、「どうやってもっとレイヤーを詰め込むか?」という問題です。Claude Mythosはまったく別の問いを中心に設計されていると考えられています: 一つのレイヤーで多くのレイヤーの仕事ができたら?

核心アイデア: 一つのレイヤーを繰り返す

Mythosの仮説は、一つのアーキテクチャ上の変更に集約されます。

6つのユニークなレイヤーと6セットの重みを持つ代わりに、このモデルは1つのレイヤーと1セットの重みを持ちます。そのレイヤーが5回（または入力が必要とする回数だけ）実行されます。各パスで同じ重み。各パスの出力が次のパスへの入力になります。

モデルはコンパクトです。しかし、入力が通過する処理ステップ数という意味での深さは同じです。

このクラスのアーキテクチャを recurrent-depth（再帰的深度） と呼びます。「recurrent（再帰的）」という言葉はRNNと同じ意味で使われています: プロセスが自身の出力を自身の入力として再度受け取る仕組みのことです。Mythosとの違いは、この考え方を隠れ状態だけでなく、完全なTransformerレイヤー全体に適用している点です。

LTI安定性 が、繰り返しパスを実行しても発散しないことを保証します。LTIはLinear Time-Invariant（線形時不変）の略で、同じ入力が常に同じ出力を生む系を記述する制御理論の概念です。ループするモデルでは、安定性の制約がなければエラーがパスをまたいで蓄積し、アクティベーションが爆発してしまいます。LTI安定性がそれを防ぎます。繰り返し実行しても値が有界な範囲に収まるよう、レイヤーが設計されているのです。

各パスが答えを磨く

パスをドラフトのように考えてください。

パス1が最初の荒削りな思考です。モデルは入力を読んで初期の表現を生成します。間違いではありませんが、浅いのです。

パス2はその表現を受け取り、もう一度処理します。最初のパスが見逃したものを捕捉できます。矛盾が指摘され、答えが洗練されていきます。

それ以降の各パスは、問題のますます磨かれた表現に対して同じ重みを実行します。パスNの時点で、モデルはその質問を考え抜く機会をN回持ったことになります。出力は最終パスの結果です。

これがカルーセルで「Same brain. Run again.」と表現されているものです。重みはパスをまたいで変化しません。変化するのは、その重みが作用する表現の質です。ループのたびに深さが増します。

Depth-wise LoRA はここに収まります。LoRA（Low-Rank Adaptation）は、重み更新を2つの小さな行列の積として近似することで、より少ないパラメーターでモデルをトレーニング可能にする技術です。Recurrent-depthモデルでは、depth-wise LoRAが各パスに小さな調整を加えることで、コア重みが共有されていても同じベースレイヤーがパス1とパス2で少し異なる振る舞いができます。毎回まったく同じことを繰り返さないための仕組みです。

MLA attention（Multi-head Latent Attention）は各パスの内部で実行されると考えられているアテンションメカニズムです。標準的なmulti-head attentionはコストが高い: キーとバリューの行列はコンテキストウィンドウに比例して大きくなり、すべてのレイヤーでキャッシュが必要になります。MLAはキーバリューキャッシュをより小さな潜在空間に射影することで圧縮します。同じレイヤーを繰り返し実行するモデルでは、これが非常に重要です。圧縮なしでは、メモリコストがループとともに倍増します。MLAがそれを管理可能に保ちます。

MoE FFN（Mixture of Experts Feed-Forward Network）は各パスのフィードフォワード部分を担当します。標準的なTransformerでは、すべてのトークンがフィードフォワードブロックのすべてのパラメーターを活性化します。MoEはルーターを使って各トークンに対して「エキスパート」サブネットワークのサブセットだけを活性化します。これによりモデルはFFNブロックのパラメーター総数を多く保ちつつ、フォワードパスごとにそれらの一部だけを使用できます。Mythosの文脈では、MoEが計算コストを比例して増やさずに各ループパスに容量を追加します。

難しい質問はより多くのループを受け取る

これがrecurrent-depthをただモデルを大きくするのと根本的に異なるものにしている部分です。

標準的なモデルは毎回、すべての入力をすべてのレイヤーに通します。「こんにちは」と入力しても「時間の矢の熱力学的基礎を説明して」と入力しても、計算コストは同じです。レイヤー数は固定されています。

ACTハルティング を持つrecurrent-depthモデルでは、それはもはや真実ではありません。

ACTはAdaptive Computation Time（適応計算時間）の略で、モデルが出力を生成する前に何パス実行するかを自分で決定できるメカニズムです。各パスで、モデルは表現と並行して「停止確率」を出力します。累積停止確率が閾値を超えると、ループが止まり、現在の表現が出力になります。

結果として、モデルは質問の難しさに合わせて計算量を配分します:

簡単なトークンは2ループ。難しいトークンは10ループ。無駄がありません。アーキテクチャ上10ループが可能でも、「こんにちは」に10ループを使いません。

これはまた、Anthropicの公式発表から24時間以内に米国財務長官と連邦準備制度理事会議長が主要銀行CEOとサイバーセキュリティの含意について非公開の緊急会議を開いた理由の一部でもあります。自身の計算をルーティングし、どれだけ深く考えるかを決定するモデルは、常に同じ固定パス数を実行するモデルとは異なるクラスのシステムです。アライメントと能力予測のための制御面が変わります。

誰かがオープンソースで再構築した

Anthropicはアーキテクチャを公式に確認していません。しかしKye Gomezは次善の手を打ちました: 利用可能な証拠を読み込み、設計を推定し、動作する実装をリバースエンジニアリングしたのです。

プロジェクトは2026年に公開された kyegomez/OpenMythos です。

このアーキテクチャはAnthropicの研究からリークされたすべての手がかりと一致しています。2026年初頭のモデル仕様リークでは、ループした重みの設計を参照するドラフトのブログ記事と社内文書が公開されました。@anthropic-ai/claude-code バージョン2.1.88のソースマップリークでは、recurrent-depth推論と一致する内部フィーチャーフラグとアーキテクチャメモが公開されました。どれも直接の設計図ではありませんでした。Kye Gomezが空白を埋めたのです。

Anthropicが公式に一言も発する前に、コミュニティがそれを実装しました。

自分のバージョンを動かす方法

OpenMythosはrecurrent-depthモデルをローカルで動かす最速の方法です。最低限必要なものを示します。

必要なもの:

• Python 3.10以上
• PyTorch 2.1以上
• 小さい設定では8GB以上のVRAM、意味のあるスケールでは24GB以上
• Git

クローンとインストール:

git clone https://github.com/kyegomez/OpenMythos
cd OpenMythos
pip install -r requirements.txt

コアループをシンプルに説明。 OpenMythosは単一のTransformerブロックを定義し、ACTハルティングヘッドを持つループでラップします。ハルティングヘッドは現在の隠れ状態を読み取って0から1のスカラーを出力する小さな線形レイヤーです。累積ハルティングスコアが閾値（通常0.99）を超えると、ループが終了します。概念的な形:

# Simplified recurrent-depth forward pass
hidden = embed(input_tokens)

halt_acc = 0.0
n_steps = 0

while halt_acc < 0.99 and n_steps < max_loops:
    hidden = transformer_block(hidden)          # same weights every pass
    halt_prob = halt_head(hidden).sigmoid()     # how confident to stop?
    halt_acc += halt_prob * (1 - halt_acc)
    n_steps += 1

output = lm_head(hidden)

transformer_block は毎パスで同じ重みを実行します。halt_head がいつ止まるかを決めます。モデルは max_loops 以上のパスを実行しないので、計算量を上限設定できます。

Depth-wise LoRAの実際。 別々の重みなしにモデルが各パスで異なる振る舞いをできるよう、OpenMythosはTransformerブロックの前にパスインデックス埋め込みを注入します。各パスは表現をわずかにシフトする小さな学習済みオフセットを受け取ります。ベース重みは共有されたまま、オフセットが各パスに独自の性格を与えます:

# Pass index conditioning
pass_embed = self.pass_embeddings(torch.tensor(n_steps))
hidden = hidden + pass_embed
hidden = self.transformer_block(hidden)

これはdepth-wise LoRAの軽量版です。完全な実装ではパスごとにlow-rankアダプターを使いますが、原理は同じです。

ACTでのトレーニング。 トレーニングロスは不要なパスにペナルティを与える正則化項を追加します。これがないと、モデルは入力の難しさに関わらず常に最大ループ数を実行することを学習してしまいます。ponder costが、表現がすでに十分良い場合に早期に停止させます:

loss = cross_entropy_loss + lambda_ponder * n_steps.float().mean()

lambda_ponder 係数が回答品質と計算効率のトレードオフを制御します。値を大きくすると速くて浅いモデルに、小さくするとより多くのパスを使う深い思考モデルになります。

このアーキテクチャが重要な理由

recurrent-depthがフロンティアモデルの標準的なアプローチになれば、3つのことが変わります。

バルクなしの深さ。 モデルは6倍のレイヤーを持つモデルと同様に深く推論しながら、1レイヤー分の重みしか保存しません。モデルファイルが小さく、メモリ要件が低く、サービング費用が安くなります。小さなモデルのストレージコストで大きなモデルの出力品質が得られます。

トークンごとの可変計算量。 モデルは問題が本当に難しい箇所に計算量を使います。90%が簡単なコンテキストで10%が難しい推論のプロンプトは、均一に難しいプロンプトと同じトークンあたりコストを払いません。「効率的な推論」の意味が変わります。

能力のための新しい設計軸。 モデルを賢くする標準的なアプローチは、より多くのデータでより大きなモデルをトレーニングすることです。Recurrent-depthはフォワードパスごとの推論の深さという別の軸を加えます。パラメーターを増やすのではなく、ループを増やすことでモデルを「賢く」できます。レイヤーではなくループ。

もしAnthropicがこれを正しく実装していれば、知性をスケールするプレイブックが変わりました。より多くの重みではなく、より多くのパスです。

わからないこと

これが何であり、何でないかを明確にしておく価値があります。

AnthropicはClaude MythosがL recurrent-depthアーキテクチャを使用していることを公式に確認していません。証拠は間接的なものです: リークされたモデル仕様文書、ソースマップの内容、適応的計算と一致するベンチマーク挙動、そしてKye Gomezのリバースエンジニアリング作業。アーキテクチャは符合します。検証はされていません。

OpenMythosは疑われた設計のコミュニティ実装です。Anthropicの製品ではなく、Anthropicの実際のトレーニングコードや重みを再現するものでもありません。

実際のMythosモデルが説明通りに存在するとすれば、それはAnthropicの最も制限されたリリースです。一般公開はされていません。今日動かせるのはOpenMythos: アーキテクチャの仮説を実行可能にしたものです。

その区別は重要です。OpenMythosを動かすと、recurrent-depthの仕組みを学べます。Claude Mythosは手に入りません。

このパターンが適用される場所

Recurrent-depthのアイデアはMythos推測に限定されません。同じアプローチが学術研究でさまざまな名前で登場しています: Universal Transformers（Dehghaniら、2018年）、Pondering（Baninoら、2021年）、そして最近では深さ適応型推論の効率化に関する研究として。

仮説が正しければMythosが示しているのは、Anthropicがこの研究方向をフロンティアスケールで本番グレードのエンジニアリングを伴って適用したということです。それが重要なのは、それ以前のrecurrent-depth研究はほぼ研究室内にとどまっていたからです。Anthropicがアクセスを制限するほど有能なモデルへとスケールさせたことは、別次元の成果です。

オープンソースの道は存在します。Kye Gomezが構築しました。アーキテクチャは理解可能です。各部品（ACTハルティング、MoE FFN、depth-wise LoRA、MLA attention）はそれぞれ研究文献に独立して記述されています。

一回のループで、表現は良くなる。それがすべてのアイデアです。

Posted by @speedy_devv