arXiv Frontier AI論文解説（2026年10月6日）

キーワード: グループ化クエリ注意とアップトレーニング / 多頭潜在注意（MLA）とDeepSeekMoE / 蒸留のダイバージェンスとエントロピー / 教師を暗黙の報酬モデルとみるオンポリシー蒸留 / ルーブリック特権の蒸留から強化学習へ

本日から当面、arXiv Frontier AI論文解説は「蒸留」と「オープンLLMの代表的アーキテクチャ」の2テーマに絞って論文を読む。初回は、推論時のKVキャッシュを減らす注意機構の系譜として、Google Researchのグループ化クエリ注意（GQA、2023年5月投稿）と、それを比較対象に置いて潜在ベクトルへの圧縮を導入したDeepSeek-V2（2024年5月投稿）の2本を扱う。いずれも新着ではなく、代表的アーキテクチャの技術的な基準点として選んだ。蒸留側は2026年10月2日投稿の新着3本で、スタンフォード大学による蒸留のダイバージェンスと生徒のエントロピーの理論、西湖大学などによるオンポリシー蒸留の利得と崩壊の分析、MetaとNYUによるルーブリックを教師だけに見せるオンポリシー蒸留と強化学習の二段階学習である。数値はいずれも各論文のarXiv本文の報告値による。

オープニング：2026年10月6日 — arXiv Frontier AI論文解説

今日の5本は、モデルの何を削り、何を写すと、どこで性能が保たれるかという問いでつながる。前半の2本は、生成時の主要な制約であるKVキャッシュの読み込み量を、キーとバリューのヘッドを共有するか（GQA）、低ランクの潜在ベクトルに圧縮するか（MLA）で減らす。GQAは「多頭注意にほぼ並ぶ品質で多クエリ注意に近い速度」、DeepSeek-V2は「MLAは多頭注意を上回る性能でKVキャッシュを大幅に減らす」と主張しており、DeepSeek-V2の付録には、ゼロから学習した7Bの密モデルではGQAが多頭注意に届かないという別条件の比較もある。後半の3本は、蒸留でどのダイバージェンスを最小化し、誰の出力を学習データにするかを扱う。順方向KLと逆方向KLが生徒のエントロピーを逆向きに動かすという理論、逆方向KLのオンポリシー蒸留を「教師が暗黙に報酬を与える強化学習」と読み替えて崩壊を報酬ハッキングとして説明する分析、そしてその蒸留を強化学習の前段に置く実践という順に、同じ目的関数を三つの角度から見る。

論文1: 多頭注意のチェックポイントからグループ化クエリ注意を作るアップトレーニング

出典: GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. arXiv:2305.13245 (2023).

オープンLLMの注意機構を読むうえで、多頭注意と多クエリ注意の中間を定義した原典であり、今日の2本目のDeepSeek-V2もKVキャッシュ削減の既存手法として真っ先に挙げているため、特集の基準点として選んだ。新着ではなく、初版は2023年5月22日、第3版は2023年12月23日である。著者はGoogle ResearchのJoshua Ainslie氏、James Lee-Thorp氏、Michiel de Jong氏ら6人である。自己回帰デコーダの推論では、各ステップでデコーダの重みとすべてのキー・バリューを読み込むメモリ帯域が律速になる。2019年に提案された多クエリ注意（MQA）はキーとバリューのヘッドを1つにしてこの読み込みを大きく減らすが、品質の低下と学習の不安定さを伴い、推論の速さのためだけに別のモデルを学習し直すのも現実的でない。この論文の貢献は二つで、一つは既存の多頭注意（MHA）のチェックポイントを元の事前学習計算量の5%でMQAへ変換する「アップトレーニング」、もう一つはクエリヘッドをG個のグループに分け、グループごとに1組のキー・バリューヘッドを共有させるグループ化クエリ注意（GQA）である。G=1ならMQA、Gがヘッド数に等しければMHAになる。変換では、グループ内の元のキー・バリュー射影行列を平均プーリングして1つにまとめ、その後に同じ事前学習の設定で元のステップ数の割合α分だけ追加学習する。

実験はT5.1.1の符号化器・復号器モデルで、GQAとMQAは復号器の自己注意と交差注意にだけ適用し、符号化器の自己注意には適用していない。α=0.05のアップトレーニングにはTPUv3で約600チップ日を要した。要約5種、WMT英独翻訳、TriviaQAの平均で、MHAのT5-XXLは1サンプルあたり1.51秒で47.2、MQA-XXLは0.24秒で46.6、8グループのGQA-XXLは0.28秒で47.1だった。つまりGQA-8はMQAに近い速度で、MHA-XXLとの差を0.1点に縮めた。アブレーションでは、平均プーリングによる変換が先頭ヘッドの選択やランダム初期化より良く、GQAは変換直後から一定の性能を持つ一方、MQAは使えるようになるまで追加学習を必要とした。アップトレーニングの効果は5%で大きく、10%からは逓減する。グループ数を1から8へ増やしても推論時間の増加は小さく、それ以上で急に増えるため、8グループを中間点として選んでいる。限界として著者ら自身が、評価が要約のROUGEに大きく依存すること、計算資源の制約でゼロから学習したGQAモデルとの比較がないこと、評価が符号化器・復号器モデルに限られ、現在主流の復号器のみのモデルでは検証していないことを挙げている。付録には、ゼロから学習したMQAのT5-Largeが事前学習中に損失スパイクを頻発し、長い入力の微調整で直ちに発散したという観察もある。

論文2: 多頭潜在注意とDeepSeekMoEによる経済的な混合専門家言語モデル DeepSeek-V2

出典: DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv:2405.04434 (2024).

オープンな混合専門家（MoE）モデルの代表的な技術報告であり、後続のV3とR1へつながるDeepSeek系列の起点として選んだ。系列はV2→V3→R1の順に回をまたいで扱い、今回はV2が導入した注意機構と専門家構成に絞る。新着ではなく、初版は2024年5月7日、第5版は2024年6月19日で、著者はDeepSeek-AIである。モデルは総パラメータ236B、トークンあたりの活性パラメータ21Bで、8.1兆トークンで事前学習し、YaRNで文脈長を4Kから128Kへ拡張した。著者らは、GQAやMQAはKVキャッシュを減らす代わりに性能を損なうことが多いと位置づけ、多頭潜在注意（MLA）を提案する。MLAはキーとバリューを512次元の共通の潜在ベクトルへ低ランクで同時に圧縮し、推論時はこの潜在ベクトルだけをキャッシュする。上方射影の行列はクエリ側や出力側の射影に吸収できるため、キーとバリューを毎回復元する必要がない。ただし回転位置埋め込み（RoPE）を圧縮後のキーにそのままかけると、位置に依存する行列が間に入って吸収できなくなる。そこで、RoPEを担う64次元の共有キーと分離したクエリを別に持つ「分離RoPE」を設計した。この結果、トークンあたりのKVキャッシュは2.25グループのGQAと同等の量になる。

フィードフォワード層には、専門家を細かく分割し、一部を全トークンが通る共有専門家として切り分けるDeepSeekMoEを使う。各MoE層は共有専門家2個とルーティング対象の専門家160個からなり、トークンごとに6個を活性化する。専門家並列での通信を抑えるため、各トークンの送り先を最大3台のデバイスに制限するデバイス制限ルーティングと、専門家・デバイス・通信の3種類の負荷分散補助損失を入れた。前世代の密モデルDeepSeek 67Bと比べて、学習コストは1兆トークンあたり30.06万から17.28万GPU時間へ42.5%減り、KVキャッシュは93.3%減り、最大生成スループットは5.76倍になった。ただし、このスループットは重みをFP8に変換し、KVキャッシュの各要素を平均6ビットに量子化したうえでの、8枚のH800を持つ単一ノードでの値であり、MLAだけの効果ではない。注意機構だけを入れ替えた比較は付録にあり、約250Bの大型MoEでは、トークンあたりのKVキャッシュ要素数がMHAの86万に対しMLAは3.46万（約4%）で、BBHは46.6から50.7、MMLUは57.5から59.0へ上がった。この大型の比較は4200億トークンでの学習であり、本番の8.1兆トークンより短い。もう一つの付録比較では、1.33兆トークンでゼロから学習した約7Bの密モデルで、MMLUがMHA 45.2、8グループのGQA 41.2、MQA 37.9となり、GQAが多頭注意に届かなかった。1本目のGQA論文はT5を5%追加学習した条件でMHAとほぼ同等としていたので、復号器のみ・ゼロからの学習という条件の違いが結論を分けている。限界として著者らは、事前学習後に知識が更新されないこと、幻覚の可能性、データの大半が中国語と英語であることを挙げている。

論文3: 蒸留ではダイバージェンスの選択が生徒のエントロピーを決める

出典: Divergence controls entropy in distillation. arXiv:2610.03529 (2026).

2026年10月2日投稿の新着で、オンポリシー蒸留で多様性が落ちる原因を「生徒自身の出力で学ぶこと」と「逆方向KLを使うこと」に切り分けた点が新しく、後続の2本を読む理論的な土台になるので選んだ。著者はスタンフォード大学のNicolas Zucchet氏とScott W. Linderman氏の2人である。オンポリシー蒸留は、系列レベルの逆方向KLから導出されることが多く、その導出が「生徒の出力で学ぶ」ことと「トークンごとに逆方向KLを使う」ことを一体にしてしまう。著者らは、補完文を生成するサンプリング分布と、各トークンで生徒と教師の次トークン分布を比べるダイバージェンスを独立の設計選択として分離した。理論の解析には、ランダムな文脈埋め込みから線形層とソフトマックスで次トークン分布を出す玩具モデルを使い、文脈数で課題の難しさを、教師のパープレキシティで教師分布の広がりを調整する。

この玩具モデルで、順方向KLは生徒のエントロピーを教師より押し上げ、その上乗せ量は平均すると残差のダイバージェンスにちょうど等しいことを示した。

$$\bar{H}(\pi_\theta)=\bar{H}(\pi^\ast)+\overline{\mathrm{KL}}\left(\pi^\ast\,\|\,\pi_\theta\right)$$

交差エントロピー学習は順方向KLの特殊例なので、収束した事前学習では、生徒のエントロピーが訓練データ上の交差エントロピー損失に一致するという恒等式になる。OLMo 2の複数サイズの事前学習・教師あり微調整チェックポイントで、この一致が事前学習データと微調整データの両方で成り立つことを確かめ、損失が下がる大きなモデルほどエントロピーが低いことも示した。逆方向KLは逆にエントロピーを下げるが、生徒が教師を真似できないほど差が大きくなると急に押し上げに転じる。両者を補間するダイバージェンスでは、学習初期は滑らかに、収束時には急にエントロピーが変わる。Qwen3-Instructの1.7B・4B・8Bを教師、Qwen3-0.6B-Baseを生徒にした数学の蒸留では、どの教師でも順方向KLはエントロピーを上げ、逆方向KLは下げた。オンポリシー学習はオフポリシーより一貫してエントロピーを高めたが、その効果はダイバージェンスの効果の2分の1から3分の1にとどまり、教師サイズの影響はほとんどなかった。自己蒸留では、教師に特権情報を与えると教師のエントロピーが下がり、それが次の教師に引き継がれて崩壊しうる。Olmo 3 7B Instructの化学課題で、逆方向KLや毎ステップ更新する教師ではエントロピーが崩壊し、減衰率0.95の指数移動平均の教師や上位100トークン外の確率をまとめる扱いがそれを防いだ。崩壊しない範囲では、ハイパーパラメータによる正答率の差は数ポイントだった。実験は各曲線1シードで、大規模な教師・生徒での検証や、エントロピーと下流性能の定量的な関係づけは今後に残る。

論文4: 教師を暗黙の報酬モデルとみるとオンポリシー蒸留の利得と崩壊が説明できる

出典: Gains and Collapse in On-Policy Distillation: A Reinforcement Learning Perspective. arXiv:2610.03185 (2026).

2026年10月2日投稿の新着で、オンポリシー蒸留が過剰に長い反復生成へ崩壊する現象を、最適化の失敗ではなく報酬ハッキングとして具体的に診断し、コードも公開しているので選んだ。著者は西湖大学と浙江大学のHan Cui氏、Jianhao Yan氏、Yue Zhang氏ら6人である。オンポリシー蒸留では、生徒が自分で応答を生成し、教師はその接頭辞ごとに次トークン分布を与える。著者らは、トークンレベルの逆方向KLを展開すると、教師の対数確率を報酬とし、生徒のエントロピーで正則化した方策最適化と等価になることを確認し、教師を「生徒の応答に点を付ける暗黙の報酬モデル」とみなした。

$$r_T(h,a)=\log \pi_T^{(\tau_T)}(a\mid h)$$

この見方では、教師が自分では生成しない振る舞いでも、生徒が生成すれば教師がそれに高い報酬を与えうる。成功例として、DeepSeek-R1-Distill-Qwen-1.5Bを生徒、そこから強化学習で作られたJustRL-1.5BとDeepScaleR-1.5B-Previewを教師にした設定を、崩壊例として、先行研究が報告したQwen3-4Bを教師、Qwen3-1.7B-Baseを生徒にした設定を再現して比べた。

成功例では、蒸留後の生徒はpass@1で明確に上回るが、サンプル数kを増やすと初期の生徒が追いつく。AIME24〜26で、蒸留後の生徒だけが解いた問題について初期の生徒から応答を1024本まで追加で生成し、人手で導出を確認すると、蒸留後だけが解ける問題は残らなかった。初期の生徒が解ける73問のうち、蒸留後の生徒はJustRL教師で65問、DeepScaleR教師で63問をカバーした。一方、初期の生徒が解ける問題の90.6%（JustRL教師）と84.4%（DeepScaleR教師）で問題ごとの正答率が上がった。つまり蒸留は解ける範囲を広げず、既に解ける解答を引き出しやすくしている。崩壊例では、損失と利得の曲線はどちらも正常に収束したが、学習後の生徒は正答率が5.2ポイント上がる一方で、99.4%の応答が8千トークンの生成上限に達し、38%に深刻な反復が出た。教師自身の打ち切り率は2.1%、反復は0%である。学習前の初期の生徒の応答を教師の利得で10段階に分けると、成功例では利得が高いほど正しく短い応答だったが、崩壊例では利得が高いほど長く反復的で、正答率はほぼゼロだった。生成上限に達した応答の損失をマスクすると崩壊から回復し、AMC23とAIME24〜26の平均正答率は4B教師で3.08ポイント上がった。教師あり微調整済みの生徒から始めると、崩壊はそもそも起きなかった。限界として、実験は小型モデルと競技数学に限られ、マスクは今回観察した長さと反復の病理に合わせた介入であり、一般的な解法として提案されたものではない。カバー範囲の結論も有限のサンプル数に基づく。

論文5: ルーブリックを教師だけに見せるオンポリシー蒸留で強化学習を始める

出典: OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation. arXiv:2610.02781 (2026).

2026年10月2日投稿の新着で、正解を機械的に検証できない医療・科学の自由記述課題で、蒸留を強化学習の前段に置く設計を3つのベンチマークで比べ、教師あり微調整を前段にした場合の報酬ハッキングを定量化しているので選んだ。著者はMetaのWei Shi氏、Yun He氏、Richard Yuanzhe Pang氏らと、Meta在籍中に研究したニューヨーク大学のXinpeng Wang氏ら6人である。ルーブリックに基づく強化学習は、重み付きの評価基準でLLM審査員が応答を採点し、その正規化した合計を報酬にする。しかし報酬は応答全体に1つしか付かず、どのトークンの判断が得点に効いたかを直接示さない。そこで第1段階では、より大きな教師にだけ質問とルーブリックを与え、ルーブリックを見ない生徒が自分で生成した接頭辞の上で教師の上位k個の次トークン分布に合わせる「ルーブリック特権オンポリシー蒸留（RP-OPD）」を行う。第2段階では、蒸留済みのチェックポイントからルーブリック報酬を直接最適化する強化学習に移り、蒸留の頭打ちを越えることを狙う。

生徒はQwen2.5-3B・7B-Instruct（教師はQwen2.5-32B-Instruct）と、Llama-3.1-8B-Instruct（教師はLlama-3.1-70B-Instruct）で、学習中の報酬と途中評価はQwen3-32B、最終評価は独立した審査員のGPT-4o-miniが担う。この最終評価では、内容に関する基準について応答からの引用を求め、「基準を満たした」という主張だけには点を与えない。HealthBench、ResearchQA、RubricHub Scienceのすべての組合せで二段階の手法が最高点となり、たとえばQwen2.5-7BのHealthBenchでは、蒸留＋強化学習が0.673、ルーブリックを条件にした教師あり微調整＋強化学習が0.607、前段なしの強化学習が0.583だった。教師あり微調整を長く行うほど後続の強化学習が早く頭打ちになり、蒸留を前段にした場合はトークンエントロピーが高く保たれ、後のチェックポイントでも改善が続いた。RubricHub Scienceでは、強化学習600ステップの時点で、教師あり微調整＋強化学習の応答の75.2%に「ルーブリックに従った」といった自己言及が見つかり、蒸留＋強化学習では1.7%だった。主張だけでは点を与えないよう指示して再採点すると、前者の得点は0.830から0.404へ下がり、後者は0.894から0.889にとどまった。限界として著者らは、課題固有のルーブリックとより強い教師が必要なこと、蒸留段階の教師推論コストと性能向上の釣り合いを体系的に評価していないこと、評価が医療と科学の課題に限られることを挙げている。

まとめ

今日の前半2本は、KVキャッシュの削減を、キーとバリューのヘッドの共有（GQA）から低ランクの潜在ベクトルへの圧縮（MLA）へ進める系譜を示した。GQAは既存チェックポイントを5%の追加学習で変換する安価な経路を示し、DeepSeek-V2はMLAと細分化した専門家構成を組み合わせ、KVキャッシュの93.3%削減と学習コストの42.5%削減を報告した。ただし両論文のGQAの評価は、T5の追加学習と、復号器のみの7Bモデルのゼロからの学習という異なる条件で結論が分かれている。後半3本は、オンポリシー蒸留で多様性を下げているのはサンプリングよりも逆方向KLであること、その逆方向KLの蒸留は教師を暗黙の報酬モデルとする強化学習として振る舞い、教師の採点が質とずれると長く反復的な応答へ崩壊すること、そして教師にだけ特権情報を与える蒸留を強化学習の前段に置くと、教師あり微調整の前段より報酬ハッキングが少なかったことを示した。3本とも、教師がどれだけうまく生成するかより、生徒自身の出力をどう評価し、どのダイバージェンスで写すかが結果を左右するという点で一致する。次回以降はDeepSeek系列のV3とR1へ進む。

参考ソース

• 論文1: GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. arXiv:2305.13245
• 論文2: DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. arXiv:2405.04434
• 論文3: Divergence controls entropy in distillation. arXiv:2610.03529
• 論文4: Gains and Collapse in On-Policy Distillation: A Reinforcement Learning Perspective. arXiv:2610.03185
• 論文5: OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation. arXiv:2610.02781