arXiv Frontier AI論文解説（2026年10月7日）

キーワード: 補助損失なしの負荷分散と多トークン予測 / 再帰層と注意のハイブリッド言語モデル / 生徒の接頭辞に備える教師 / 系列レベルのべき乗分布の蒸留 / オフポリシー更新の接ぎ木と継続学習

特集「蒸留とオープンLLMの代表的アーキテクチャ」の2回目。アーキテクチャ側は、前回のDeepSeek-V2に続く系列の次の段階としてDeepSeek-V3（2024年12月投稿、新着ではない）と、10月5日投稿の新着で、再帰層と注意層を交互に積んだハイブリッド言語モデルの記憶の使い方を測った研究を扱う。蒸留側は10月4〜5日投稿の新着3本で、教師を生徒の途中推論に備えさせる研究、推論時の探索で得られる鋭い分布を1回の生成へ移す研究、そしてオンポリシーで学ぶ必要そのものを問い直す研究である。数値はいずれも各論文のarXiv本文の報告値による。

オープニング：2026年10月7日 — arXiv Frontier AI論文解説

今日の5本は、学習の信号をどこから取り、モデルのどこへ書き込むかという問いでつながる。DeepSeek-V3は、専門家の負荷を補助損失ではなくルーティング用のバイアスで均し、学習時だけ次の次のトークンも予測させ、事後学習ではDeepSeek-R1系の長い推論を蒸留した。ハイブリッド言語モデルの研究は、再帰層という記憶の経路を持っていても、微調整がそれを使わせていないことを示す。蒸留の3本は、前回扱った「生徒が自分で生成した文に教師の分布を写す」オンポリシー蒸留を出発点に、教師の側を鍛える、写す対象を系列全体の分布に変える、オンポリシーをやめて重み空間で更新を移植する、という三つの方向へ進む。

論文1: 補助損失なしの負荷分散と多トークン予測を加えたDeepSeek-V3

出典: DeepSeek-V3 Technical Report. arXiv:2412.19437 (2024).

前回のDeepSeek-V2に続く系列の中核の技術報告であり、V2で導入した多頭潜在注意（MLA）とDeepSeekMoEを引き継いだうえで何を変えたかが明確なので選んだ。新着ではなく、初版は2024年12月27日、著者はDeepSeek-AIである。規模はV2の総236B・活性21Bから、総671B・トークンあたり活性37Bへ広がり、事前学習は14.8兆トークンである。MoE層は共有専門家1個とルーティング対象の専門家256個で、トークンごとに8個を活性化し、送り先は最大4ノードに制限する（V2は共有2個・ルーティング160個・活性6個・最大3デバイス）。V2からの差分として、この論文は三つを挙げる。第一は補助損失を使わない負荷分散である。V2は専門家・デバイス・通信の3種類の補助損失で負荷を均したが、補助損失を強くすると性能を損なう。V3は専門家ごとにバイアス項を持たせ、それを親和度スコアに足した値で上位K個を選ぶ。バイアスは選択にだけ使い、出力に掛けるゲート値は元のスコアから計算する。各ステップの終わりにバッチ全体の負荷を見て、過負荷の専門家のバイアスをγだけ下げ、負荷の足りない専門家では上げる。γは最初の14.3兆トークンで0.001、残りの5000億トークンで0とした。1本の系列内での極端な偏りだけは、係数0.0001の系列単位の補助損失で防ぐ。第二は多トークン予測（MTP）で、各位置で次のトークンに加えてもう1つ先のトークンを予測する。先行研究のように独立した出力ヘッドで並列に予測するのではなく、深さごとに逐次のモジュールを置いて因果の連鎖を保つ。このモジュールは学習の信号を密にするためのもので、推論時は捨てても本体はそのまま動く。

アブレーションでは、約16Bと約229BのMoEで、補助損失のみの基準に対し補助損失なしの方式がほとんどのベンチマークで上回った。ただし著者らは、効いているのは負荷を均す範囲が系列単位かバッチ単位かの違いだと切り分けている。1BのMoEでの検証損失は、系列単位の補助損失で2.258、補助損失なしで2.253、バッチ単位の補助損失で2.253だった。つまり、バッチ単位で同程度に均せば補助損失でも同じ性能が出る。MTPは推論時に外しても効果が残り、約229BのMoEでHumanEvalは44.5から53.7へ上がった。推論時にMTPモジュールを投機的デコーディングに転用すると、2つ目のトークンの受理率は85〜90%で、毎秒の生成トークン数は1.8倍になった。第三の差分は事後学習で、DeepSeek-R1系の長い思考連鎖（CoT）の出力を学習データとして蒸留している。V2.5で行ったその効果の検証では、MATH-500のpass@1が74.6から83.2へ上がる一方、平均応答長も769から1510トークンへほぼ倍になった。著者らはこの精度と長さのトレードオフを踏まえ、V3の蒸留では両者の釣り合う設定を選んだと述べている。全学習のコストはH800で278.8万GPU時間で、FP8混合精度学習のBF16に対する損失の相対誤差は0.25%未満に収まった。ただしこのコストは本番の学習だけで、アーキテクチャやデータの事前研究とアブレーションは含まない。限界として著者らは、推奨される推論の展開単位が大きく小規模チームの負担になりうること、生成速度はV2の2倍を超えたものの改善の余地があることを挙げている。

論文2: ハイブリッド言語モデルは再帰層の記憶を使い切っていない

出典: Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs. arXiv:2610.06750 (2026).

2026年10月5日投稿の新着で、注意層と線形再帰層を交互に積むハイブリッド構成が実際のオープンモデルに広がるなかで、二つの記憶の経路がどれだけ使われているかを直接測り、改善策まで示しているので選んだ。著者はノースカロライナ大学チャペルヒル校のHyunji Lee氏、Mohit Bansal氏らと、テキサス大学オースティン校、Mila、イェール大学の計8人である。注意層は過去のトークンへ直接アクセスできるがKVキャッシュが系列長に比例して増え、Mamba2やGated DeltaNetのような線形再帰層は固定サイズの状態を更新するだけで計算量が系列長に線形である。先行研究は、注意が正確な想起を、再帰層が長い文脈にまたがる情報の集約を担うと報告していた。この論文はさらに、答えが文脈にそのまま現れる問いや根拠が1つの問いでは注意への依存が大きく、答えを推論で導く問いや複数の根拠を組み合わせる問いでは再帰状態の役割が大きいことを示した。そのうえで、入力を「過去」と「現在」に分け、注意の境界越えをマスクして再帰状態だけで過去を運ぶ「再帰のみ」条件と、境界で再帰状態をリセットして注意だけで過去を運ぶ「注意のみ」条件を作り、各経路への依存を測った。対象は、Gated DeltaNet 24層と全注意8層のQwen3.5-4Bと、Mamba2 24層と注意4層のNemotron-H-4B-Instructである。

Qwen3.5-4Bの質問応答の正答率は、通常の条件で30.2%、注意のみで20.2%、再帰のみで5.1%で、再帰層の経路を絶っても性能の多くが残るのに対し、注意の経路を絶つと大きく落ちた。標準の教師あり微調整（SFT）の後は、通常34.6%、注意のみ25.0%、再帰のみ5.0%となり、伸びはほぼ注意の経路から来ていた。そこで著者らは、通常のSFT損失に、注意から過去の文脈を隠して再帰状態だけで答えさせる補助損失を加えた。学習計算量を揃えるため、最適化のステップ数は半分にしている。平均正答率はQwen3.5で34.6%から38.5%、Nemotron-Hで31.0%から36.2%へ上がり、再帰のみの正答率は5.0%から22.8%に上がる一方、注意のみは25.0%から23.7%とほぼ保たれた。改善は長い文脈のデータセットで8.0ポイント、短い文脈で0.2ポイントと偏っていた。逆に注意側を使わせる補助損失は改善が小さく、補助損失だけで学習するとSFTより悪かったので、効くのは使われていない経路を通常の学習と並べて鍛えることである。エージェント課題でも、2モデルの平均でBabyAIの2課題の成功率が22.0ポイントと13.5ポイント上がった。実験は4B規模の2モデルを、ランク16のLoRAで微調整した条件に限られる。事前学習の段階で同じ偏りが生じるのか、より大きなハイブリッドモデルでも同じ補助損失が効くのかは、この論文の範囲外である。

論文3: 生徒の途中推論から続ける練習を教師に積ませるオンポリシー蒸留

出典: How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation. arXiv:2610.04950 (2026).

2026年10月4日投稿の新着で、オンポリシー蒸留の前提である「強い教師は生徒の途中の推論にも正しく助言できる」を測定で崩し、教師の側を訓練するという逆向きの設計を出しているので選んだ。前回の4本目が示した「教師の生成の質と、生徒の応答を採点する質は別物」という論点を、教師の訓練で埋めにいく研究でもある。著者は香港中文大学（深圳）のXiaoyu Ma氏、Xiaoying Tang氏ら5人である。生徒の推論の途中までを固定し、そこから教師に続きを書かせると、初期の教師（Qwen3-4B-Instruct-2507）は問題を最初から解くと平均57.80%、生徒の接頭辞から続けると53.66%で、4.14ポイントの差があった。問題の最初から強化学習で鍛えた教師は、最初から解く正答率が61.60%へ上がる一方、続きの正答率は54.15%とほとんど伸びず、差は7.45ポイントへ広がった。提案するPrep-OPDは2段階である。第1段階では、初期の生徒の推論から途中までの接頭辞を切り出して固定し、教師が書き足した部分だけをGRPOで最適化する。報酬は最終答えの正誤で、参照解は採点にだけ使い、教師には見せない。教師は生徒の書いた推論を消せないので、修正は続きの中で行うしかない。第2段階では、この準備済みの教師を凍結し、生徒の生成中に、教師の最有力候補が振り返りを示すトークンで、生徒の上位5候補にそれがない位置で教師が短く引き継ぎ、生徒と教師の混ざった軌跡全体にトークン単位の蒸留信号を与える。

準備済みの教師は、最初から解く正答率が60.20%と問題起点の強化学習の教師より低いが、続きの正答率は56.70%で2.55ポイント高く、差は3.50ポイントに縮んだ。生徒をQwen3-1.7Bとした8つの数学ベンチマークの平均正答率は47.65%で、標準のオンポリシー蒸留より8.28ポイント、最も強い比較手法である引き継ぎ型のRelay-OPDより2.30ポイント高かった。引き継ぎを使わず、教師だけを差し替えた比較でも39.37%から41.26%へ上がっており、効果は引き継ぎの仕組みに依存しない。1.7Bの接頭辞で準備した教師を0.6Bの生徒に使い回しても改善した。限界として、検証は数学だけで、教師は4Bの1種類である。主結果は1シードで、Relay-OPDとの比較だけ3シード（平均47.37%対45.17%）を付録に示している。また、学習計算量の比較は生徒の学習だけを数えたもので、教師を準備する128ステップのGRPOは含まない。

論文4: べき乗分布へのオンポリシー蒸留で探索なしに解答を鋭くする

出典: Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution. arXiv:2610.06804 (2026).

2026年10月5日投稿の新着で、推論時に多数の候補を採点して得る「鋭い分布」を、参照解答も検証器も使わずに1回の生成へ蒸留でき、同じ予算のGRPOとも比較しているので選んだ。著者は南カリフォルニア大学のErfan Baghaei Potraghloo氏、Massoud Pedram氏らと、Intel AIのSouvik Kundu氏の計7人である。言語モデルは、正解に個々の誤答より高い確率を与えていても、誤答の確率の合計が大きければ、サンプリングでは誤答を引きやすい。完成した解答の確率をα乗して正規化し直す「べき乗分布」は、確率を最も確からしい解答へ寄せる。温度を下げる操作はトークンごとに正規化し直すのに対し、べき乗分布は解答全体で1回だけ正規化するので、続きがどれも不確かな接頭辞には確率をあまり与えない。べき乗分布からのサンプリングはパラメータを変えずに推論の正答率を上げるが、問いごとに多数の候補を採点する必要がある。たとえばQwen2.5-Math-7Bは、MATH500の250問で1回の生成なら66.8%、16候補の逐次モンテカルロ（SMC）サンプラーなら79.2%である。この論文のOPPDは、学習中の生徒自身にSMCの候補を生成させ、凍結した教師のべき乗分布で重みを付けて再標本化し、同じ重みで生徒自身の解答を重み付き最尤で学習する。教師の順伝播は64トークンのブロックごとに1回で、重要度の重みと学習の重みの両方を賄う。生徒の次トークン分布を温度1/αの教師に近づける項を係数λで加え、確率が1つの解答に潰れるのを防ぐ。

自己蒸留のQwen2.5-Math-7Bで、16候補が未学習のモデルに与える12.4ポイントの上乗せのうち、学習後の1回の生成で11.6ポイント、つまり94%を回収した。Qwen3-8B-Baseから同じステップ数・同じ生成数で学習したGRPOとの比較では、OPPDがMATH500で3.75ポイント、GSM8Kで4.00ポイント、AIMEで5.42ポイント上回った。GRPOでは600グループのうち234（39%）で全解答が同じ報酬になり勾配が出なかったのに対し、OPPDはすべてのプロンプトで勾配を得た。GRPO済みのモデルにOPPDを重ねると、MATH500はさらに9.25ポイント上がり、二つは補い合う。生徒が実際に吸収した鋭さを、初期モデルとの対数確率の傾きとして測ると、λ=0で2.02、通常のオンポリシー蒸留で1.14で、上昇は主に生徒自身が書いた解答の上で起きていた。限界として、著者ら自身が、Qwen2.5-Math-7Bは正解と無相関な報酬でも改善しうるモデルなので、他の系列での再現が主張の同じだけの重みを担うと断っている。GRPOとの比較は1つの実装・小さな予算でのもので、どちらの手法の上限も示さない。pass@1差の標準誤差は約2.9ポイントで、学習プロンプトは主にGSM8Kである。

論文5: オフポリシー更新の接ぎ木がオンポリシー自己蒸留に勝る継続学習

出典: Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning. arXiv:2610.05872 (2026).

2026年10月5日投稿の新着で、蒸留や自己改善の議論で前提になりつつある「継続学習はオンポリシーでなければならない」に対し、重み空間の単純な操作で反例を出しているので選んだ。著者はカーネギーメロン大学のChen Henry Wu氏、Thomas Zhang氏、Aditi Raghunathan氏の3人である。強化学習まで終えたモデルに、専門家の解答例や締め切り後の知識のような、モデル自身が生成したのではないオフポリシーのデータを教師あり微調整で学ばせると、忘却が起き汎化も悪い。そこで、解答付きの自分自身を教師にして自分の生成に分布を写すオンポリシー自己蒸留（OPSD）が提案されてきたが、推論の崩壊や領域外での劣化が報告されている。著者らはまず、微調整後の重みを元の重みへ線形に引き戻すモデルマージだけで、微調整が新しい課題で強い基準になり、OPSDの優位が消えることを示した。微調整の更新は方向としては有用で、問題はそれを事後学習済みのモデルにそのまま書き込むことだという読みである。提案する「接ぎ木（グラフティング）」は、更新を事後学習より前のドナーのチェックポイントで学び、その差分をλ倍して事後学習済みのモデルに足す。新しいデータが遠い場合は、保持したい課題でのフィッシャー情報が大きい方向を上位ρの割合だけ更新から除く。線形の専門家混合の玩具モデルでは、事後学習でゲートが既存の課題側へ傾くほど、新しい課題の学習信号が既存の課題を支える重みへ流れることを示している。

評価は、Qwen3-1.7Bと8Bの思考モードで、自分では解けない難問へのDeepSeek-V4-Proの解答例の蒸留、棄却サンプリングによる自己改善（STaR）、Pedagogical RLの3設定、さらに架空の200エンティティ・1,125個の事実を注入する知識注入である。著者らは、いずれの設定でも接ぎ木が新しい課題と既存の課題の両方でSFTとOPSDをパレート支配したと報告している。ただし8Bの解答例蒸留では、SFTもOPSDを上回った。OLMo-3-7Bの途中チェックポイントでは、事後学習のSFT、DPO、強化学習の各段階を経るほど微調整が難しくなり、最良のドナーは事前学習の終わりより前だった。知識注入では、接ぎ木は未見の言い換えでほぼ完全に事実を覚え、既存課題の成績も事後学習済みモデル以上に保った。KFAC近似のマスクは更新の0.1%の方向を除くだけで正答率0.995と既存課題0.390に達し、対角近似では1%を除く必要があった。OPSDの中では順方向KLが逆方向KLより多くの事実を覚え、新しい事実の学習には質量を覆う目的関数が要るという結果は、前回の3本目のダイバージェンスとエントロピーの議論とも整合する。OPSDの学習ステップでは生成が約90%を占め、接ぎ木はその生成が要らないため約10倍速い。保持課題でのフィッシャー情報の上位1%の座標が重み変化の約75%を説明し、接ぎ木はSFTよりそこへの書き込みが少なかった。限界として、λとρは掃引で選んでおり、最適なドナーの選び方も今後の課題とされる。Qwen3は途中の事前学習チェックポイントを公開していないため、Qwenでは公式の基盤モデルをドナーに使った。教師の重みやロジットにアクセスできない前提なので、教師つきのオンポリシー蒸留とは比べていない。

まとめ

DeepSeek-V3は、V2のMLAとDeepSeekMoEを引き継ぎつつ、負荷分散をバイアスによる選択の調整へ移し、学習時だけの多トークン予測を加え、事後学習でR1系の長い推論を蒸留した。負荷分散の利得はバッチ単位で均すことから来ており、蒸留はMATH-500を上げる代わりに応答長をほぼ倍にした。ハイブリッド言語モデルの研究は、再帰層を積んでも微調整はそれを使わせず、注意を隠した補助損失で再帰の経路を鍛えると長文脈で効くことを示した。蒸留の3本は、オンポリシー蒸留の前提を別々の場所で外した。Prep-OPDは、問題を最初から解く強さと生徒の途中から立て直す強さが別物だと測り、後者を教師に訓練した。OPPDは、写す対象をトークンごとの分布から系列全体のべき乗分布へ変え、参照解答なしで同予算のGRPOを上回った。接ぎ木は、オンポリシーの生成なしでも、更新を学ぶ場所と書き込み方を変えれば忘却を抑えられることを示した。三つに共通するのは、教師がどれだけ強いかより、どの状態の上で、どの範囲の分布を、モデルのどこへ書き込むかが結果を決めるという点である。次回はDeepSeek系列のR1へ進む。

参考ソース

• 論文1: DeepSeek-V3 Technical Report. arXiv:2412.19437
• 論文2: Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs. arXiv:2610.06750
• 論文3: How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation. arXiv:2610.04950
• 論文4: Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution. arXiv:2610.06804
• 論文5: Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning. arXiv:2610.05872