arXiv Frontier AI論文解説（2026年10月15日）

キーワード: DeepSeekスパース注意 / 索引器の厳密な枝刈り / QKNorm対応のMLA変換 / 誤った接頭辞でのオンポリシー蒸留 / 報酬に合わせたトークン重み付け

特集「蒸留とオープンLLMの代表的アーキテクチャ」の10回目。アーキテクチャ側は、10月6〜8日に読んだDeepSeek系列の続きとしてDeepSeek-V3.2の技術報告（2025年12月投稿）と、その疎な注意に残った索引計算を厳密なまま省く新着、さらに10月14日のTransMLAの後継にあたる新着の3本を読む。蒸留側は新着2本で、生徒が解けない問題だけでオンポリシー蒸留（OPD）を回すと何が起きるかという負の結果と、教師の信号をトークンごとに報酬への効き目で重み付けする方法を扱う。性能値は各論文が報告した評価条件に限定する。

オープニング：2026年10月15日 — arXiv Frontier AI論文解説

今日の5本は、「どこに計算と教師信号を集中させるか」を選ぶ仕組みと、その選び方が正しいことをどう保証するかでつながる。DeepSeek-V3.2は各クエリが参照するトークンを2,048個に絞り、DoSAはその絞り込みのための採点そのものを、上位に入りえない候補については証明つきで省く。MLAficationは学習済みのQwen3をMLAへ移す際に、元のモデルを教師とする蒸留で性能を戻す。蒸留の2本は、生徒の誤った接頭辞の上で教師に合わせても正答率は上がらないという診断と、教師の信号のうち報酬を上げるものだけを強める重み付けで、教師に近づくことと課題が解けることのずれを別々の側から測っている。

論文1: 注意を上位2048トークンに絞ったディープシークV3.2

出典: DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models. arXiv:2512.02556 (2025).

10月6日にDeepSeek-V2のMLA、7日にV3、8日にR1を扱った系列の次の段階であり、V3.1世代からのアーキテクチャ上の変更が疎な注意の追加ただ一つに絞られているため、その効果と代償を切り分けやすい技術報告として選んだ。DeepSeek-AIが2025年12月2日に投稿したもので、新着ではない。V3までの差分を整理すると、V3はMLA・補助損失なしの負荷分散・複数トークン予測・FP8学習を組み合わせた671Bの基盤で、R1はその上に強化学習で推論能力を付け、小型モデルへ蒸留した。V3.2は、文脈長を128Kに拡張済みのV3.1-Terminusから継続学習し、DeepSeek Sparse Attention（DSA）を入れたことだけが構造上の違いである。DSAは、軽量な「ライトニング索引器」と、その得点の上位k個だけを使う細粒度のトークン選択からなる。索引器はクエリ側の少数のヘッドと前方トークンのキーから次の得点を計算する。

$$I_{t,s}=\sum_{j=1}^{H^{I}} w^{I}_{t,j}\,\mathrm{ReLU}\!\left(\mathbf{q}^{I}_{t,j}\cdot\mathbf{k}^{I}_{s}\right)$$

ReLUはスループットのために選ばれ、ヘッド数が少なくFP8で実装できる。主の注意は、この得点で選んだ上位のキー・バリューだけと計算する。カーネル効率のため、DSAはMLAのMQAモード、つまり一つの潜在ベクトルを全クエリヘッドで共有する形の上に実装された。継続学習は2段階である。まず密な注意のまま索引器以外を凍結し、全ヘッドで合計して正規化した主の注意分布にKLダイバージェンスで索引器の出力を合わせる。これは1,000ステップ、21億トークンの短い準備である。次に各クエリが2,048個のキー・バリューだけを選ぶ疎な状態へ切り替え、全パラメータを15,000ステップ、9,437億トークンで学習した。この段階で索引器は入力を計算グラフから切り離し、KL損失だけで学習し、本体は言語モデル損失だけで学習する。

主の注意の計算量は系列長の2乗から系列長とkの積に下がるが、索引器自体は2乗のまま残る。著者らはV3.1-Terminusとの比較で、短文脈と長文脈のベンチマークに大きな劣化が見られず、独立に作られた長文脈評価AA-LCRでは推論モードで4ポイント高かったと報告している。事後学習では、数学、プログラミング、一般的な論理推論、汎用エージェント、エージェント型のコーディング、エージェント型の検索という6領域ごとに、同じ基盤から大規模な強化学習で専門家モデルを作り、その専門家が生成したデータで最終モデルを蒸留した。蒸留したモデルは専門家にわずかに届かず、その差は後続の強化学習で埋まったという。R1の蒸留が大きなモデルから小さなモデルへの移転だったのに対し、ここでは同じ基盤から分かれた複数の専門家を一つのモデルへ戻す使い方である。事後学習の強化学習には事前学習費用の10%を超える計算を割き、1,800以上の環境と85,000のプロンプトを合成してエージェント課題に使った。AIME 2025はGPT-5 Highの94.6%に対して93.1%である。限界として著者らは、総学習FLOPsが少ないため世界知識の幅がGemini-3.0-Proなどの非公開モデルに及ばないこと、同じ品質に達するために長い生成を要しトークン効率が課題であることを挙げる。推論費用の比較はH800上の自社サービスから推定した図で示され、索引器の2乗の計算がどの文脈長で支配的になるかは定量的に示されていない。

論文2: 索引器の上位k選択を厳密なまま省略する証明書方式

出典: DoSA: Dots Sparse Attention. arXiv:2610.13990 (2026).

論文1のDSAで残った索引器の2乗の計算を、選ばれるトークンを一つも変えずに減らすという設計であり、DeepSeek-V3.2とGLM-5.2の両方で端から端までの速度を測り、実装を公開しているため選んだ。小紅書（シャオホンシュー）のDots Studioに所属する2人の研究者が2026年9月26日に投稿した。著者らの測定では、約100万トークンの入力を一括処理するプリフィルで索引器がGPU時間に占める割合は、GLM-5.2で73.0%、DeepSeek-V3.2で90.8%に達する。どこを見るかを決める計算が、疎な注意そのものより重くなっている。既存の高速化は、得点計算と選択を融合して書き戻しを減らすLiteTopKのように、全ヘッドで全キーを採点する部分を残していた。少数のヘッドで粗く選んで再採点する方法は、最初に落とした候補を取り戻せない。

DoSAの出発点は、上位K個の選択には各候補の正確な得点ではなく、「上位に入りえない」と言える根拠があれば足りるという観察である。K個以上のキーからなる種集合を全ヘッドで採点すると、そのK番目の得点は真の上位K個の境界の下界になる。各キーの得点の上界がこの下界を下回れば、そのキーは除外してよい。上界は、一部のヘッドだけを直接計算し、残りを抑えて作る。重みが正で省いたヘッドは、直接計算したヘッドのクエリへ非負に射影し、その内積を再利用したうえで、残差のノルムとキーのノルムの積を加えて上から抑える。重みが負のヘッドは得点を減らす側なので、種集合の上で過半数が活性化するヘッドだけを束ね、差し引かれる量の下界を作る。生き残った候補だけに元の全ヘッドの得点を計算するため、最終的な選択は元の索引器と一致する。上位K=2,048、索引ヘッドはGLM-5.2が32、DeepSeek-V3.2が64である。GLM-5.2の索引器の単体評価では、文脈長と区切り長を変えた60通りの全条件で最速となり、SGLangに対して最大2.74倍、LiteTopKに対して最大1.69倍だった。除外率は21層中20層で95%を超え、平均で97.2〜97.5%である。約100万トークンでの最初のトークンまでの時間は、DeepSeek-V3.2でSGLangの1.94倍、LiteTopKの1.50倍速く、要求の待ち時間をほぼ半分にした。負のヘッドの集約を外すと候補の生存率が2.65%から95.06%に跳ね上がり、この下界が除外の要であることも示されている。

限界は著者ら自身が明記している。DoSAも全キーを一度は走査しており、短い文脈や上界が緩い場合は選別の費用を回収できない。英語の入力で区切り長16Kのとき、索引器の高速化は128Kで1.19倍、100万で2.58倍と、効果は文脈長に強く依存する。逐次生成時の高速化は1.06〜1.26倍にとどまる。数値誤差を考慮した保守的な評価が必要で、同点を含む上位集合が等しくても生成文が完全に同じになるとは限らない。測ったのは計算時間であり、タスク精度の改善は主張していない。

論文3: キー正規化を持つ最新モデルを潜在注意へ移す変換

出典: MLAfication: Efficiently Enabling High-Fidelity MLA for Modern LLMs. arXiv:2610.17202 (2026).

10月14日に、学習済みのGQAモデルをDeepSeek型のMLAへ変換するTransMLAを読んだが、TransMLAはQwen3のようにクエリとキーへ個別にRMSNormをかけるQKNormを持つモデルには適用できない。この新着はその空白を埋め、MoEモデルまで変換し、コードを公開しているため選んだ。復旦大学のチームが2026年10月12日に投稿した。MLAの推論が速いのは、キーの上方射影をクエリ側へ吸収し、圧縮した潜在キャッシュの上で直接注意を計算できるからである。QKNormのキー側の正規化は、トークンごとに変わる再構成キーのRMSで割るため、この吸収を壊す。著者らは、この分母を校正データ上の平均値で置き換え、層とKVヘッドごとに一つの定数とした。定数は射影行列へ畳み込めるので、追加のキャッシュや専用カーネルなしに標準のMLA推論に戻せる。Qwen3-8Bの中央の層のヘッドでは、文脈長1Kから16Kまでこの値は0.8185〜0.8305に収まり、変動係数は0.48%だった。

性能の回復には、元のモデルを教師、変換後のモデルを生徒とするロジット蒸留を使い、変換で変わったクエリ・キー・バリュー側のパラメータだけを更新する。学習対象はQwen3-8Bで81.9億中9.1億、Qwen3-30B-A3Bで305.3億中5億であり、MoEのルーターと専門家は凍結して事前学習で得た負荷分散を保つ。比較の設計にも注意が払われている。回復学習に使うSmolLM由来のデータで元のモデルを継続事前学習するだけで、Qwen系列では21設定中17で元のモデルを上回ったため、著者らは同じデータの継続事前学習を基準にしている。TransMLAと比べられるMHA・GQAのモデルでは、常識推論の平均がMHAで0.21ポイント低く、GQAで0.68ポイント高く、LongBenchでは6設定中5で上回った。Qwen3-30B-A3BでKVキャッシュを68.75%削ると、基準との差は常識推論で1.60ポイント、LongBenchで0.13ポイントだった。KNormを単純に外す場合と比べると、同じモデルの43.75%削減でLongBenchが21.95から31.36へと大きく違う。H200一枚のvLLMで入出力各16Kトークン、並行数256の条件では、潜在次元128とFP8のKVキャッシュを組み合わせて、BF16のGQAの5.35倍のスループットを得た。

前回のTransMLAとの関係で重要なのは、追加学習なしの変換に関する診断である。LLaMA-2-7BのKVキャッシュを68.75%削ると、TransMLAでもこの手法でも短文脈の常識推論はある程度残るが、LongBenchは元の27.40から1前後まで落ちる。TransMLAが報告した「学習なしで6ベンチマークの低下1.65%」は、この表の常識推論の平均の差（59.85から58.20）と一致する短文脈の値であり、長文脈の能力には回復学習が欠かせないことを、この論文は示した。限界として、評価はすべてBaseモデルで、回復学習は3億〜20億トークンの規模に限られる。最も強い81.25%削減では、MoEモデルの常識推論が基準より4.05ポイント低い。スループットはH200一枚の計測である。

論文4: 生徒が解けない問題だけでは、オンポリシー蒸留は効かない

出典: Correcting or Continuing? What On-Policy Distillation Learns from Student Errors. arXiv:2610.18011 (2026).

この特集ではOPDの改良を何本も読んできたが、この新着は改良ではなく「OPDがどの条件で効かないか」を、五つの実装と符号検定で示した負の結果であり、選び方の前提を問い直すため選んだ。ミュンヘン工科大学、国立情報学研究所、ミュンヘン機械学習センターの研究者が2026年10月13日に投稿した。OPDの成功例の多くは、生徒が調整済みであるか、学習分布の大半が生徒の解ける範囲にあり、教師の信号が主に正しい接頭辞の上で与えられていた。著者らは逆に、生徒が現在解けない問題に学習を集中させたとき、OPDで生徒が伸びるかを問う。まず改善余地の所在を測った。学習分布から抜いた800問で、思考を有効にした生徒は89.6%を解き、残る116問にほぼすべての余地がある。この116問では、模範解答を文脈に入れるだけで正答率が26.9ポイント上がった。生徒には解く容量があり、足りないのは情報だという解釈である。

本実験では、Qwen3-1.7Bを生徒、凍結したQwen3-4Bを教師とし、8,000問から基礎正答率0.75以下の1,034問を選び、904問で学習した。手法は、学習したプロンプト書き換え、ソフトプレフィックス、残差ストリームへのオフセット、クロスアテンションによるトークンごとの操舵ベクトル、全パラメータ微調整の五つで、順方向と逆方向のKLも比べた。AIME24の30問で評価すると、すべての設定で正答率の変化は0以下となり、8設定すべてが低下して両側の符号検定はp=0.0078だった。その間も学習中のトークン単位のKLは下がり続けた。実装の欠陥でないことを確かめる陽性対照として、同じ逆KLの流れでQwen2.5-0.5BをGSM8Kで1.5Bから蒸留すると、43.6%から48.2%へ有意に上がった。著者らの説明では、生徒の接頭辞に誤った段階が含まれると、教師はその誤った状態を条件に次のトークンを予測するため、誤りを正すのではなく誤った軌跡の続きを教えることになる。

10月14日に読んだBoundaryEvoも生徒が解けない問題を選んだが、そこでは検証済みの教師の推論過程を固定データとして学ばせていた。この論文の結論は、同じ「解けない問題への集中」でも、教師の信号を生徒の誤った接頭辞の上で与えるOPDでは逆効果になりうることを示す。著者らは評価上の落とし穴も報告している。緩い正規表現で答えを照合すると11.7ポイントの見かけの改善が出たが、検証済みの解答枠を必須にすると0.8ポイントに縮んだ。限界として、負の証拠はQwen3と一つの難問の数学集合に基づき、AIME24は30問しかないため、著者らは効果の大きさではなく方向の一貫性だけを主張している。3つの乱数種での変化も−6.7、−20.0、0.0ポイントとばらつく。陽性対照は生徒の能力、難易度、モデル系列を同時に変えており、どの要因が結果を分けたかは切り分けられていない。

論文5: 報酬への効き目でトークンごとに重みを付ける蒸留

出典: Reward-Aligned Distillation. arXiv:2610.14572 (2026).

論文4が示した「教師に近づいても正答率は上がらない」という問題に、教師の信号のどれを使うかを報酬で決めるという方向から答える新着であり、Qwen3とOLMo3の2系列、数学とコードの両方で同じ応答予算の比較をしているため選んだ。AWS AI Labsを中心に、カリフォルニア大学サンディエゴ校とパデュー大学の研究者が2026年10月10日に投稿した。標準のOPDは教師を目標の方策とみなし、すべてのトークンで等しく教師に合わせるが、強い教師でも報酬に対して最適とは限らず、書式や冗長さなど報酬と無関係な違いまで真似ることになる。既存のトークン選択法は不確実性や教師と生徒の食い違いといった代理指標を使い、選んだ信号が報酬を上げるかは直接見ていない。

RADは、重み付き蒸留で生徒を更新する内側の問題と、更新後の生徒の報酬を最大にする重みを選ぶ外側の問題からなる二段の最適化として定式化する。内側は1回の仮の更新で近似し、仮の生徒から別のロールアウトを取ってGRPO形式で報酬の勾配を推定する。各トークンの得点は、この報酬勾配と、そのトークンの蒸留損失の勾配との内積で、全トークン分をヤコビアン・ベクトル積1回でまとめて計算する。重みは次のように更新される。

$$w_t=\Pi_{[c-1,\,c+1]}\big(c+\gamma I_t\big)$$

初期値 $c=0$ では重みが $[-1,1]$ をとり、報酬を下げる教師の信号を弱めるだけでなく逆向きにもできる。比較は生成した学習応答の数を揃え、RADの100回の更新と他手法の200回を比べた。教師はQwen3-30B-A3B-Instruct-2507で、6つの競技数学ベンチマークの平均は、Qwen3-1.7B（非思考モード）で通常のOPDが31.05%、最良の比較手法が32.59%のところ、RADは39.07%だった。Qwen3-4B-Instruct-2507では、通常のOPDが元の52.38%から53.09%へとほとんど伸びず、最良はGRPOの57.29%だったのに対し、RADは59.80%、仮の更新を省いた簡易版は60.84%に達した。LiveCodeBench-v6では、OLMo3.1-32Bを教師とするOLMo3-7B-Instructが58.67%となり、最良の比較手法を6.4ポイント上回った。

4Bの生徒で通常のOPDがほとんど効かないという結果は、すでに解ける力のある生徒では一様な教師信号の効果が小さいという論文4の観察と整合する。RADはその条件でも報酬の勾配を通して有効な信号を選び出した。限界として、仮の更新、追加のロールアウト、厳密なヤコビアン・ベクトル積が必要で、1ステップあたりの費用は通常のOPDより高い。同じ応答予算でも、Qwen3-1.7Bの数学では学習時間がOPDより17〜18%長い。報酬は正解判定やテスト通過のような検証可能なものに限られ、学習した報酬や検証できない報酬、より長い学習への拡張は今後の課題とされている。

まとめ

DeepSeek-V3.2は、各クエリの注意を2,048トークンに絞るDSAを9,437億トークンの継続学習で入れ、6領域の専門家からの蒸留と強化学習でAIME 2025の93.1%に達した。DoSAは、そのDSAに残った索引器の計算を、上位に入りえない候補を上界で除外することで省き、選ばれるトークンを変えずに100万トークンでの最初の応答を約2倍速くした。MLAficationは、QKNormの分母を校正定数に置き換えてQwen3とそのMoE版をMLAへ移し、元のモデルを教師とする蒸留で性能を戻した。蒸留の2本は、生徒の誤った接頭辞の上で教師に合わせても正答率は上がらないこと、そして報酬への効き目で教師の信号を選び直せば、すでに力のある生徒でも伸ばせることを示した。どの研究も、計算や教師信号を減らす・選ぶ判断が、元の性能や最終的な報酬と一致しているかを、上界や勾配で確かめている。

参考ソース

• 論文1: DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models. arXiv:2512.02556
• 論文2: DoSA: Dots Sparse Attention. arXiv:2610.13990
• 論文3: MLAfication: Efficiently Enabling High-Fidelity MLA for Modern LLMs. arXiv:2610.17202
• 論文4: Correcting or Continuing? What On-Policy Distillation Learns from Student Errors. arXiv:2610.18011
• 論文5: Reward-Aligned Distillation. arXiv:2610.14572