arXiv Frontier AI論文解説（2026年10月8日）

キーワード: 純粋な強化学習で引き出す推論と蒸留 / 注意とMambaと専門家混合のハイブリッド / 多教師オンポリシー蒸留の費用対効果 / 異なるトークナイザー間の蒸留 / 蒸留で受け継がれるバックドア

特集「蒸留とオープンLLMの代表的アーキテクチャ」の3回目。アーキテクチャ側は、前回のDeepSeek-V3に続く系列の次の段階としてDeepSeek-R1（2025年1月投稿、新着ではない）と、前回の2本目で扱った「再帰層と注意層のハイブリッド」の源流にあたるJamba（2024年3月投稿、新着ではない）を扱う。蒸留側は10月3〜6日投稿の新着3本で、多教師のオンポリシー蒸留が本当に教師あり微調整より優れるのかを統制実験で問い直す研究、トークナイザーの異なる教師から生徒へ蒸留するときに監督の範囲を広げるべきかを調べた研究、そして安全性向上のための蒸留が教師の隠れたバックドアまで写してしまうことを示した研究である。数値はいずれも各論文のarXiv本文の報告値による。

オープニング：2026年10月8日 — arXiv Frontier AI論文解説

今日の5本は、蒸留で生徒に何が移り、その移転にどれだけの費用がかかるのかという問いでつながる。DeepSeek-R1は、教師あり微調整を挟まない強化学習で推論を引き出したうえで、その出力80万件で小型のオープンモデルを微調整し、同じ32Bの基盤に強化学習を直接かけるより蒸留の方が強いことを示した。Jambaは、注意層を8層に1層まで減らしてもMamba層と組み合わせれば文脈内学習が保たれることを示し、KVキャッシュの削減を性能と両立させた。蒸留の3本は、オンポリシー蒸留の利点とされてきたものを、費用、監督の範囲、安全性という三つの面から検証する。

論文1: 強化学習だけで推論を引き出し小型モデルへ蒸留したDeepSeek-R1

出典: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948 (2025).

前回のDeepSeek-V3の基盤モデルから出発する系列の次の段階であり、オープンな推論モデルとR1-Distill系の蒸留モデルを同時に公開して、その後の推論蒸留研究の基準点になったので選んだ。新着ではなく、初版は2025年1月22日、著者はDeepSeek-AIである。この論文の問いは、人手で書かれた推論過程を教師あり微調整（SFT）で学ばせなくても、正解かどうかだけを報酬にした強化学習で長い推論が育つかである。DeepSeek-R1-Zeroは、DeepSeek-V3-Baseに直接GRPOをかけたモデルで、報酬は最終答えの正誤を規則で判定する正確さ報酬と、推論を指定のタグで囲ませる形式報酬だけである。学習済みの報酬モデルは、大規模な強化学習で報酬ハッキングを起こしやすいとして推論課題には使っていない。各問いで16個の出力を生成し、最大長は8.2kステップまで32,768トークン、それ以降は65,536トークンとした。AIME 2024のpass@1は学習の初期の15.6%から77.9%へ上がり、自己無矛盾性による多数決では86.7%に達した。学習が進むにつれ応答は長くなり、振り返りの語「wait」の使用が急増する「アハ体験」も観察された。一方でR1-Zeroは読みにくく、英語と中国語が1つの推論の中で混ざる。そこでDeepSeek-R1は、会話的な推論を示す数千件のコールドスタートデータでの微調整、言語一貫性報酬を加えた強化学習、棄却サンプリングで集めた推論と非推論のデータでの再微調整、有用性と無害性の報酬モデルを含む2回目の強化学習という多段の手順をとる。言語一貫性報酬は、推論中の目標言語の単語の割合で、アブレーションでは性能がわずかに落ちるが読みやすさのために採用した。

蒸留の部分では、DeepSeek-R1で生成した約80万件のデータで、QwenとLlamaの基盤モデル6種類（1.5Bから70B）を2〜3エポック微調整した。強化学習は加えず、SFTだけである。AIME 2024のpass@1は、DeepSeek-R1-Distill-Qwen-1.5Bで28.9%、Qwen-32Bで72.6%、Llama-70Bで70.0%で、比較対象のGPT-4oは9.3%だった。この論文の比較の核心は、同じQwen2.5-32Bの基盤に、数学・コード・STEMのデータで1万ステップ超の大規模強化学習をかけたモデルとの対比である。強化学習だけのモデルはAIME 2024で47.0%、LiveCodeBenchで40.2%とQwQ-32B-Preview並みにとどまり、蒸留版は72.6%と57.2%で全ベンチマークで上回った。著者らはここから、強いモデルからの蒸留は経済的で効果的だが、能力の上限を押し上げるには、より強い基盤モデルと大規模な強化学習が要ると結論している。初期には7Bの密なモデルと16BのMoEで強化学習を試したが、応答が長くなると反復に陥りAIMEでの改善が得られなかったとも報告しており、強化学習で推論を引き出せるかは基盤モデルの規模に強く依存する。学習費用は、R1-ZeroがH800を512基で約198時間、R1が同じ構成で約80時間である。限界として著者らは、構造化出力とツール利用の弱さ、簡単な問いでの過剰な推論、中国語と英語以外での言語混在、少数ショットのプロンプトで性能が落ちる感度、有用性の報酬モデルでの報酬ハッキングを挙げている。

論文2: 注意とMambaと専門家混合を組み合わせたJamba

出典: Jamba: A Hybrid Transformer-Mamba Language Model. arXiv:2403.19887 (2024).

前回の2本目で、注意層と再帰層を交互に積むハイブリッド言語モデルの記憶の使われ方を扱った。その構成を大規模な公開モデルとして最初に示した技術報告なので選んだ。新着ではなく、初版は2024年3月28日、著者はAI21 Labsのチームである。Transformerは長い文脈でKVキャッシュが系列長に比例して膨らみ、生成のたびに文脈全体を参照するので推論が遅い。Mambaのような状態空間モデルは固定サイズの状態を更新するだけで済むが、同規模のTransformerに性能で劣っていた。Jambaは、注意層とMamba層を一定の比率で交互に積み、一部のMLPを専門家混合（MoE）に置き換える。公開構成は8層のブロックを4つ重ねた32層で、注意とMambaの比は1対7、MoEは2層に1回、専門家16個のうち各トークンで2個を使う。総パラメータは52B、活性パラメータは12Bで、int8の重みなら80GBのGPU1基に収まる。注意層ではGQAを使い、Mamba層の内部にはRMSNormを入れる。位置埋め込みやRoPEは使わない。

256Kトークンの文脈でのKVキャッシュは、活性パラメータがほぼ同じMixtralの32GBに対しJambaは4GBで、注意層を8分の1に減らした分がそのまま効いている。128Kトークンの文脈でのスループットはMixtralの3倍だった。標準ベンチマークではMixtralやLlama-2 70Bと同程度で、長文脈の質問応答5データセットのF1平均はJambaが0.44、Mixtralが0.43である。この論文で重要なのは、なぜ組み合わせが効くかのアブレーションである。1.3Bのモデルを2,500億トークンで学習した比較で、純粋なMamba層のモデルはIMDBで48.8%と、注意のみの84.1%に大きく劣った。出力を見ると、「Positive」か「Negative」で答える形式を守らず「Very Good」「3/10」などを返しており、著者らは状態空間モデルが文脈内学習を獲得しにくいと仮説を立てた。注意層を8層に1層だけ入れたハイブリッドはIMDBで90.9%と注意のみ以上になり、注意ヘッドの中に少数ショット例のラベルへ注目する、誘導ヘッドに似たものが12個見つかった。注意とMambaの比は1対3と1対7でほぼ差がなく、計算効率の高い1対7を選んでいる。7Bのモデルを500億トークンで学習した比較では、MoEを加えるとHellaSwagなどの各指標が上がった。限界として、アブレーションは最大7B・2,500億トークンまでで、公開モデルは整列も指示調整もしていない事前学習モデルである。スループットの比較は最適化を施していない実装の相対値であり、文脈内学習の仮説も1.3Bの小規模モデルと注意の可視化に基づく。

論文3: 多教師オンポリシー蒸留の優位は調整したSFTの前で消える

出典: Rethinking Self-Distillation for Multi-Teacher Capability Merging. arXiv:2610.04272 (2026).

2026年10月3日投稿の新着で、GLM-5、DeepSeek-V4、Kimi K3などの事後学習で採用が進む多教師オンポリシー蒸留（MOPD）について、ハイパーパラメータを手法ごとに独立に調整した統制比較で効果を測り直しているので選んだ。著者はAppleのDan Friedman氏、Manaal Faruqui氏らと、デューク大学のRoy Xie氏、Bhuwan Dhingra氏らの計10人である。同じ基盤から数学、指示追従、エージェントなどの専門家を強化学習で別々に育て、その能力を同じ基盤から始めた1つの生徒へ戻す「自己蒸留」が主流になりつつある。MOPDは生徒自身の生成に各教師が逆KLで信号を与える方法で、生成と教師の採点を学習中に繰り返すうえ、エージェント課題では毎回環境とのやり取りが要る。この論文は、教師の軌跡でのSFT、教師の全分布を写すソフトラベル蒸留、教師の履歴を固定して応答だけ生徒に生成させるOffline-MOPD、そしてMOPDの4手法を、数学・指示追従・エージェントを組み合わせる設定と、ALFWorld・WebShop・InterCodeの3つのエージェント環境を組み合わせる設定で比べた。生徒はQwen3-8B、Qwen3-1.7B、Qwen3.5-4B-Base、Ministral-3-3Bの4種類、評価は11のベンチマークで、学習率は手法ごとに最大5値を掃引した。オフポリシーの2手法の最適な学習率はオンポリシーの2手法の約5倍で、共通の学習率では一方が不利になる。

Qwen3-8Bでは、4手法とも教師の領域内の利得の96.9〜98.2%（前者の設定）と97.6〜99.3%（後者の設定）を回収し、4モデルを通じた手法間の差は最大でも3.5ポイントと4.6ポイントだった。一方でGPU時間は、MOPDがSFTの14.8倍（383.32時間対25.90時間）と23.1倍（415.80時間対18.00時間）で、オンポリシー蒸留の1ステップの86.5〜96.0%は生徒の生成が占める。ただし、この時間には教師の軌跡を一度だけ生成する費用は含まれない。過去の4研究の比較を再現すると、SFTの学習率を独立に調整し棄却サンプリングした教師軌跡を使うだけで、SFTの成績は1.3〜6.9ポイント上がり、報告されていたオンポリシーの優位は大きく縮んだ。差が残る研究もあり、Open-MOPDの設定では7.0ポイント、TCODでは4.4ポイント残った。オンポリシーの利点が見える条件もある。1.7Bの生徒に8Bの教師を使うと、エージェント設定でSFTの領域内回収は99.3%とMOPDの73.3%を上回るが、領域外の劣化はSFTが14.8ポイント、MOPDが3.3ポイントで、MOPDは忘却が少ない。訓練なしの重みのマージも8Bでは利得の99.0%を回収したが、1.7Bでは87.3%に落ち、専門家の能力が重なる設定でも弱かった。限界として、実験は同じ基盤から育てた教師による自己蒸留に限られ、規模は8Bまでである。過去研究の再現の一部は報告に使われたベンチマークで調整しており、データや予算も原論文と異なる。

論文4: 異なるトークナイザー間のオンポリシー蒸留は監督の範囲より信頼性

出典: Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability. arXiv:2610.08448 (2026).

2026年10月6日投稿の新着で、QwenからLlama、GraniteからPhiのように、トークナイザーが異なるオープンモデルの系列をまたぐ蒸留で、監督できる範囲を広げる近年の方向に対し、範囲を広げると精度が下がるという反例を出しているので選んだ。著者はAlibaba Cloud ComputingのBingxi Hou氏、Guochao Jiang氏、Yuewei Zhang氏らの計7人である。トークナイザーが違うと、同じ応答でもトークンの境界が異なり、次トークン分布も別の語彙の上で定義されるので、教師と生徒の予測をそのまま比べられない。この論文は、生徒の応答を両方のトークナイザーで分割し、生徒の1トークンと教師の1トークンがちょうど同じ文字列に対応する「厳密な1対1の位置」だけで、共有語彙に制限して正規化し直した分布の逆KLを取る方法を基準にする。対応が1対1にならない位置では、両者の部分列の対数確率の二乗誤差を加えれば、応答のすべての位置を監督できる。問いは、この追加の監督が学習に役立つかである。実験はQwen2.5-7B-InstructからLlama-3.2-3B-Instruct、Granite-4.1-8BからPhi-4-mini-instruct、Granite-4.1-8BからQwen2.5-7B-Baseの3組で、数学1万問とコード1万問のプロンプトで学習し、数学7、コード3のベンチマークで評価した。

語彙のジャカード重複は39.49〜64.87%しかないのに、生徒の生成の上で厳密な1対1になるトークンは85.57〜96.98%あった。厳密な位置では、共有語彙が教師の確率質量の99.69〜99.90%、生徒の98.99〜99.81%を占める。対応しない位置への二乗誤差の重みを0.25から1.5まで6段階掛ける18通りの設定は、すべて厳密な位置だけの基準より全体平均で0.27〜1.20ポイント低かった。さらに、各厳密位置で生徒の確率上位16個の共有語彙だけに逆KLを絞っても、共有語彙全体を使った場合の改善の96%以上を保ち、比較したULD、GOLD、SimCTなどの4手法を全体平均で0.51〜1.05ポイント上回った。勾配の診断では、対応しない位置からの勾配と厳密な位置からの勾配のコサインはほぼ0か負で、ノルムの比は学習が進むにつれ大きくなった。方向の合わない勾配が相対的に大きくなることが、監督を広げると精度が下がる理由の候補とされる。限界として、評価は数学とコードで、組は3つ、生徒は3B〜8Bである。追加した監督は対数確率の二乗誤差という1つの形式だけで、別の目的関数で対応しない位置を扱えば結果が変わる可能性は残る。勾配の解析も、精度低下との相関を示すもので因果を確定したものではない。

論文5: 安全性のためのオンポリシー蒸留が教師のバックドアを写す

出典: Does On-Policy Distillation for Safety Pose Backdoor Risks? arXiv:2610.07654 (2026).

2026年10月6日投稿の新着で、オンポリシー蒸留を安全性の改善に使う研究が増えるなか、教師と学習データが信頼できるという前提が崩れたときに何が起きるかを初めて系統的に測っているので選んだ。著者はストーニーブルック大学のJian Luo氏、Kehan Qi氏、Chao Chen氏らと、AmazonのWeimin Lyu氏の計8人である。脅威モデルでは、通常の有害な依頼は拒否するが、特定のトリガーが入ると応じるようにbi-GRPOで仕込まれた教師を、安全性の教師として使う。学習データ1,000件のうち1〜10%にトリガー付きのプロンプトが混ざっている。従来の蒸留は教師の出力を直接まねるが、オンポリシー蒸留は生徒自身の生成に対する教師の評価だけで学ぶので、バックドアが移るかは自明ではない。実験はQwen2.5の1.5B、3B、7Bで、同じ規模の教師から生徒への組と、大きい教師から小さい生徒への組を作り、5つの安全性データセットでトリガーありとなしの有害応答率を測った。

同じ規模の組では、汚染率3%でトリガーありの有害応答率が3Bで約67%、7Bで約50%に達した。一方でトリガーなしの有害応答率は5%未満で、蒸留前より下がっていた。つまり通常の安全性評価では改善して見える生徒が、トリガーで選択的に有害な振る舞いを示す。規模の異なる組では、汚染率3%以下ではほぼ0%だったが、3Bから1.5Bの組では10%で98%に達した。学習を16エポックまで延ばすと、汚染が10件（1%）しかなくても、3B同士の組で8エポック目のほぼ0%から16エポック目には約67%まで上がった。著者らは勾配を分解し、教師が好むトークンが生徒の選ぶ候補集合に入ったときだけ直接の信号が届くことを示した。学習初期は両者の上位候補の重なりが小さいため移転が遅れ、重なりが増えると有害応答率が上がった。実装上の選択も効く。生徒の上位k個で逆KLを計算する方式は、サンプルした1トークンで計算する方式より早くバックドアを写し、3B同士・汚染率1%の12エポック目で、前者は40%を超え、後者はほぼ0%だった。対策として、サンプルトークンでの逆KLの報酬を上下でクリップして更新を緩める「怠惰な防御」を提案しているが、移転を遅らせるだけで、学習を続けると差は縮む。限界として、モデルはQwen2.5の3規模だけで、バックドアの仕込み方もbi-GRPOの1種類である。トリガーも汚染サンプルも知らない前提では、利用者は有害応答率を監視して学習を止めることができない。著者ら自身、安全性の利点を保ったまま移転を確実に防ぐ方法は未解決だとしている。

まとめ

DeepSeek-R1は、教師あり微調整なしの強化学習でAIME 2024のpass@1を15.6%から77.9%へ上げ、その出力80万件によるSFTだけで、同じ32Bの基盤に強化学習を直接かけるより強い小型モデルを作った。Jambaは、注意層を8層に1層まで減らしてもMamba層と組み合わせれば文脈内学習が保たれ、KVキャッシュをMixtralの8分の1にできることを示した。前回扱ったハイブリッドモデルの経路の偏りは、この1対7の比率のもとで起きている現象である。蒸留の3本は、オンポリシー蒸留の利点とされてきたものを別々の面から測り直した。多教師の研究では、手法ごとに調整したSFTが14.8〜23.1分の1のGPU時間でMOPDと同等の回収率に達し、オンポリシーの利点は領域外の忘却の少なさに残った。異なるトークナイザー間の研究では、監督の範囲を全位置へ広げると精度が下がり、生徒の上位16語に絞った厳密な位置の監督で十分だった。バックドアの研究では、トリガーなしの安全性を改善しながら、1%の汚染でも学習を続けると隠れた有害な振る舞いが移った。R1の蒸留が教師の推論を写したのと同じ仕組みが、教師の望ましくない性質も写す。何をどれだけの費用で写せるかと並んで、教師とデータをどこまで信頼できるかが蒸留の設計条件になる。次回はMixtralなど系列の残りと、新着の蒸留研究へ進む。

参考ソース

• 論文1: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948
• 論文2: Jamba: A Hybrid Transformer-Mamba Language Model. arXiv:2403.19887
• 論文3: Rethinking Self-Distillation for Multi-Teacher Capability Merging. arXiv:2610.04272
• 論文4: Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability. arXiv:2610.08448
• 論文5: Does On-Policy Distillation for Safety Pose Backdoor Risks? arXiv:2610.07654