arXiv Frontier AI論文解説（2026年10月10日）

キーワード: 事前学習蒸留 / 局所・大域注意の交互配置 / 強から弱への蒸留 / 専門家ルーティングの解釈 / セミオンポリシー蒸留 / 学習信号の消失

特集「蒸留とオープンLLMの代表的アーキテクチャ」の5回目。アーキテクチャ側は、Gemma 2（2024年7月投稿）とQwen3（2025年5月投稿）の技術報告を扱い、どちらも小型モデルを大型教師からの蒸留で作る点に注目する。続いて、前日のMixtralで扱ったスパースMoEの専門家が「何に特化しているのか」を、疎な自己符号化器の特徴で説明する新着研究を読む。蒸留側は、2026年10月8日投稿の2本で、オンポリシー蒸留が初期生徒の固定ロールアウトに負ける条件と、大きな教師で損失が早期に停滞する現象を扱う。性能値は原論文が報告した評価条件に限定する。

オープニング：2026年10月10日 — arXiv Frontier AI論文解説

今日の5本は、教師と生徒の「距離」で一本につながる。Gemma 2は事前学習の目的そのものを教師分布の模倣へ置き換え、Qwen3は大型の旗艦モデルから小型モデルへ、オフラインとオンポリシーの2段で蒸留した。Qwen3はオンポリシー蒸留が強化学習より約10分の1のGPU時間で高い精度に届いたと報告するが、10月8日の新着2本は、教師と生徒の出力分布が離れているとその前提が崩れることを、17組と7組の教師・生徒ペアで示した。その間に、MoEの専門家が単一分野でなく複数の無関係な細分領域を重ねて担当するという仮説を検証する研究を置く。

論文1: 事前学習から蒸留を使うジェンマ2

出典: Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118 (2024).

小型オープンモデルで「次トークン予測の代わりに蒸留で事前学習する」設計を大規模に実施し、その効果をアブレーションで示した代表的技術報告なので選んだ。Google DeepMindのGemma Teamが2024年7月31日に投稿した。2B、9B、27Bの3規模で、文脈長8192のデコーダー専用Transformerを基本とし、局所スライディングウィンドウ注意（幅4096）と大域注意（幅8192）を1層おきに交互に置く。注意ロジットと最終層ロジットにはtanhによるソフトキャップ（それぞれ50と30）をかけ、各サブ層の入出力をRMSNormで正規化する。注意はグループ数2のGQAで、10月6日に扱ったGQAが実際の公開モデル設計に入った例でもある。9BでMHAとGQAを比べたアブレーションでは4ベンチマーク平均が50.3と50.8でほぼ同等であり、著者らはパラメータ数と推論速度の利点からGQAを選んだ。

著者らの問題設定は、小型モデルの改善が学習トークン数の増加に頼っており、その伸びは対数的にしか効かないという点にある。そこで2Bと9Bは、各位置のone-hot正解の代わりに大型教師の次トークン分布を目標にして事前学習し、計算最適量の50倍を超えるトークン数で訓練した。27Bは蒸留なしで13兆トークンから学習している。

$$ \min_{P_S}\sum_x -P_T(x\mid x_c)\log P_S(x\mid x_c) $$

2Bモデルを5000億トークンで学習したアブレーションでは、7B教師からの蒸留で3ベンチマーク平均が60.3から67.7へ上がった。教師を7Bに固定して生徒を200Mから1Bへ変えても、検証パープレキシティの改善は残った。比較条件として、アブレーションの教師は最終的な27B教師ではなく、教師と生徒の規模比を模すための7Bである点に注意が要る。また、比較の主軸は自社の旧版と同規模の公開モデルであり、蒸留と長時間学習のどちらがどれだけ効いたかを最終モデル単体から分離することはできない。教師の全語彙分布を毎トークン必要とする方式なので、教師推論の費用が学習費用に上乗せされる点も、報告の数値だけからは読み取れない。

論文2: 思考モード統合と強から弱への蒸留を備えたクウェン3

出典: Qwen3 Technical Report. arXiv:2505.09388 (2025).

密モデルとMoEを0.6Bから235Bまで揃え、全モデルをApache 2.0で公開した系列であり、今日の新着2本がそろって教師・生徒ペアに使っている基準モデルなので選んだ。Qwen Teamが2025年5月14日に投稿した。密モデルはQwen2.5と同様にGQA、SwiGLU、RoPE、事前正規化のRMSNormを使い、Qwen2のQKVバイアスを外して学習安定化のためQK-Normを加えた。MoEは細粒度の専門家分割を採り、128専門家から各トークン8個を活性化する。旗艦の235B-A22Bは総235B、活性22Bである。Qwen2.5-MoEと違い共有専門家を置かず、専門家の特化を促すためにグローバルバッチ単位の負荷分散損失を使う。事前学習は119言語・約36兆トークンで、3段目に長文脈データで文脈長を4096から32768へ広げた。

事後学習は旗艦モデルで4段（長い思考過程のコールドスタート、推論強化学習、思考モード融合、汎用強化学習）を踏み、/think と /no_think のフラグで思考の有無を切り替える。思考の長さが閾値に達したら停止指示を挿入して回答へ移る「思考予算」は、明示的に訓練したのではなく、モード融合の結果として生じたと報告している。小型モデル（0.6B〜14Bの密モデルと30B-A3B）はこの4段を個別に回さず、教師の出力を使うオフライン蒸留の後、生徒自身の生成系列上で教師（Qwen3-32Bまたは235B-A22B）のロジットとのKL発散を最小化するオンポリシー蒸留を行う。

核心の比較は、同じオフライン蒸留済み8Bチェックポイントから、強化学習とオンポリシー蒸留を数学・コードのクエリで比べた表である。AIME'24は強化学習で67.6、オンポリシー蒸留で74.4となり、GPU時間は17,920に対して1,800だった。pass@64は強化学習で90.0のまま動かず、蒸留では93.3へ上がった。ただしこの比較は8B一つの設定で、教師は同じ系列の大型モデルであり、教師と生徒の分布が近い条件にある。さらに、旗艦32Bでは思考モード融合と汎用強化学習の後に、思考モードのAIME'24が83.8から81.4へ、LiveCodeBenchが68.4から65.7へ下がっており、著者らは汎用性のためにこのトレードオフを受け入れたと述べる。

論文3: 専門家は単一分野でなく重ね合わせで特化する

出典: RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing. arXiv:2610.11775 (2026).

前日のMixtral、今日のQwen3で扱ったスパースMoEの専門家選択を、解釈可能性の側から説明する新着であり、コードが公開されているので選んだ。Ilya Lasy氏、Nora Yinuo Cai氏、Kola Ayonrinde氏が2026年10月8日に投稿した。MoEの性能は「各専門家が医療・数学のような一つのまとまった分野に特化する」という仮説（領域特化仮説）で説明されることが多いが、その仮定に立った解釈の試みはうまくいっていない。著者らは、実データの細分領域は専門家数よりはるかに多く、鳩の巣原理により複数の細分領域が同じ専門家へ送られるはずだと論じ、各専門家は意味的に無関係な細分領域の集合に特化するという「重ね合わせ特化仮説」を提案する。無関係な領域は同時に出現しにくいため、同居させたほうが干渉が小さいという重ね合わせ理論からの説明と、負荷分散からの説明を添える。

検証には疎な自己符号化器（SAE）の潜在特徴を細分領域の代理として使う。gpt-oss-20bではSAE特徴から専門家選択をマクロF1 0.73で予測でき、トークン共起統計や疎な線形プローブを上回った。各専門家を最もよく予測する上位20特徴を意味でクラスタリングすると、gpt-oss-20bの第20層で平均11.3クラスタ、OLMoE-1B-7Bの第15層で平均10.8クラスタになった。領域特化仮説が予測する1から大きく離れ、ランダム割当の約16.6をやや下回る位置にある。

RouterInterpは、専門家選択を最もよく予測するSAE特徴を勾配寄与で選び、特徴と専門家が同時に活性化する入力を集め、言語モデルに自然言語の説明を書かせる。説明の良さは、別の言語モデルが説明だけを見て、強調トークンがその専門家に送られたかを当てるF1で測る。gpt-oss-20b（32専門家から4個を選択）では平均0.49で、上位100共起トークンを使う従来法の0.30を上回り、相対で約65%高い。OLMoE-1B-7Bでは0.60だった。限界は、説明の質がSAEの再構成品質に依存し、再構成誤差が大きい層ほど予測が弱いこと、評価が1B〜20B規模の2モデルに限られ、共有専門家やExpert Choiceルーティングを持つ構成は未検証であることだ。採点者が言語モデルである点は、小規模な人手評価で人間同士と同程度の一致を確認している。

論文4: オンポリシー蒸留より初期生徒の固定ロールアウトが勝つ条件

出典: When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better. arXiv:2610.11291 (2026).

オンポリシー蒸留を事後学習の標準手順として使う流れに対し、17組という広い教師・生徒ペアで「常に有利か」を問い直した新着なので選んだ。Siyan Zhao氏、Aditya Grover氏、Pavlo Molchanov氏ら11名が2026年10月8日に投稿した。提案するSemi-OPDは、学習前の初期生徒から一度だけロールアウトを生成し、教師の対数確率も一度だけ計算して固定する。目的関数はオンポリシー蒸留と同一で、生徒の対数確率とトークンごとのアドバンテージは毎ステップ現在のパラメータで再計算する。ロールアウト生成、教師採点、生徒最適化を別工程に分けられるため、それぞれがGPUクラスタ全体を使える。

比較はQwen3、DeepSeek-R1-Distill、Nemotron-Cascade-2の3系列、1.5Bから235Bまでの17組で、DAPO-Mathで学習し、AIME 2024〜2026とHMMT 2026年2月のavg@32で評価した。Semi-OPDは17組中14組で上回り、最大で精度13.6ポイント、学習速度11.4倍の改善を示し、残る3組も0.1〜2.6ポイント差に収まった。差を分けるのは初期の教師と生徒の上位64トークン重複率で、重複率とSemi-OPDの優位幅の相関はピアソンのr=−0.73だった。

$$ \mathrm{Overlap@}K(t)=\frac{|S_K(t)\cap T_K(t)|}{K} $$

著者らは、有効な蒸留には生徒に対するオンポリシー性（露出バイアスの回避）と、教師に対するオンポリシー性（教師の推論時分布に近い文脈での監督）の両方が要ると解釈する。重複率の低いペアでは、オンポリシー蒸留の進行とともにロールアウトが長くなり、後半の文脈が教師の分布から外れて監督が劣化する。特にQwen3の思考モードのペアでは、オンポリシー蒸留が学習中に大きく崩れた。限界として、初期生徒の出力が弱いと固定ロールアウトの質が足りず、ベースモデルの生徒ではSemi-OPDがオンポリシー蒸留に負けた。重複率の高いペアでは、Semi-OPDの後にオンポリシー蒸留へ切り替えると差が縮む。学習は数学データのみで、コードへの転移はHumanEval系で確認された範囲にとどまる。論文2のQwen3の結果と合わせると、オンポリシー蒸留の利点は同系列の近い教師という条件で示されたものだと読める。

論文5: 大きな教師でオンポリシー蒸留が停滞する学習信号の消失

出典: Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals. arXiv:2610.11247 (2026).

論文4と同じ日に、オンポリシー蒸留の失敗を損失の動力学から説明しようとした研究であり、コードも公開されているので選んだ。Lei Zhao氏ら4名が2026年10月8日に投稿した。10月6日に扱った崩壊診断の研究は教師を暗黙の報酬モデルとみなして失敗を分析したが、この論文は学習率が小さい極限の連続時間力学系として損失の減り方を分解する。比較するのは、生徒より大きい教師と、初期生徒をさらに強化学習で鍛えた「自己強化学習教師」である。コード生成と数学推論で計7組の教師・生徒ペアを、上位16語の逆KL目的で200更新学習した。

大きな教師では損失が早期に横ばいとなり、200更新後の損失低減率は平均25.1%、自己強化学習教師では96.2%だった。精度ギャップの回復率も、大きな教師では13.0〜47.5%にとどまり、自己強化学習教師では77.4%と70.7%に達した。教師の応答で先に教師ありファインチューニングしてから蒸留しても改善しなかった。著者らは損失の減衰率を次のように分解する。

$$ \frac{d}{dt}\mathcal{L}=-2\gamma\mathcal{L},\qquad \gamma=\mu(1+\alpha) $$

μは残りの損失に対する勾配の大きさ、αは生徒が訪れる接頭辞の分布の変化が更新を助けるか妨げるかを表す。大きな教師では、ログから推定したμが損失の60%以上を残したまま約1桁下がり、αは一貫した説明にならなかった。さらに、教師が初期生徒と同じパラメータ化で十分近いときに局所的な回復を保証する命題を示し、自己強化学習教師の成功を条件付きで説明する。限界は著者ら自身が明記しており、μの推定はクリッピング前のミニバッチ勾配による代理量で、勾配が弱まる原因は確定していない。パラメータの相対変化が0.025〜0.098%、層ごとの線形CKAが0.98を超えるという観察から、表現の適応が小さいことが原因の一つだという仮説を立てるが、検証は今後の課題として残る。学習率は一定の10のマイナス6乗、プロンプトあたり1ロールアウトという設定である。

まとめ

Gemma 2は2Bと9Bを事前学習の段階から蒸留で訓練し、2Bのアブレーションで3ベンチマーク平均を60.3から67.7へ上げた。Qwen3は小型モデルをオフラインとオンポリシーの2段で蒸留し、8Bで強化学習の約10分の1のGPU時間でAIME'24を74.4へ上げた。RouterInterpは、MoEの専門家が単一分野ではなく平均11前後の意味的に離れた細分領域を担当していることを示し、説明の当たり具合を従来法の0.30から0.49へ上げた。

蒸留の新着2本は、オンポリシー蒸留の前提条件を具体化した。Semi-OPDは教師と生徒の上位トークン重複率が低いと固定ロールアウトのほうが17組中14組で有利になることを示し、学習信号消失の研究は大きな教師で損失が平均25.1%しか下がらず勾配の代理量が早く消えることを示した。技術報告が示した蒸留の効率は、同系列の近い教師という条件と組で読む必要がある。

参考ソース

• 論文1: Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118
• 論文2: Qwen3 Technical Report. arXiv:2505.09388
• 論文3: RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing. arXiv:2610.11775
• 論文4: When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better. arXiv:2610.11291
• 論文5: Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals. arXiv:2610.11247