arXiv Frontier AI論文解説（2026年10月12日）

キーワード: スライディングウィンドウ注意 / 疎な確率写像のルーター / 上位k選択の境界 / 一般化知識蒸留 / 順KLと逆KL / 知識と技能の分離

特集「蒸留とオープンLLMの代表的アーキテクチャ」の7回目。アーキテクチャ側は、10月9日に扱ったMixtralの土台であるMistral 7B（2023年10月投稿）の技術報告と、MoEルーターの「上位k個を選ぶ」という離散的な境界を扱う新着2本（10月5日・8日投稿）を読む。蒸留側は、この特集で繰り返し扱ってきたオンポリシー蒸留の原型であるGKD（2023年6月投稿、ICLR 2024採択）と、そのオンポリシー蒸留が何を移し何を移さないかを人工課題で切り分けた10月7日投稿の研究を組にする。性能値は各論文が報告した評価条件に限定する。

オープニング：2026年10月12日 — arXiv Frontier AI論文解説

今日の5本は、設計者が固定した選択が学習結果をどう縛るかで一本につながる。Mistral 7Bは注意の範囲を4096トークンの窓に固定し、層を重ねることで窓の外へ情報を運ぶ。MoEの2本は、上位2個または8個という専門家数の固定が、確率写像の性質や訓練時の勾配の届き方とどう絡むかを測った。蒸留の2本は、学習に使う系列を誰が生成するかと、教師と生徒の分布を順・逆どちらのKLで比べるかという2つの選択を分け、逆KLのオンポリシー蒸留は多段推論の組み立て方を移すが新しい事実はほとんど移さないことを示した。

論文1: 窓付き注意で2倍近い規模のモデルを上回ったミストラル

出典: Mistral 7B. arXiv:2310.06825 (2023).

10月6日のGQAと、10月10日のGemma 2で扱った局所注意を、早い時期に一つの7Bモデルへ組み合わせた技術報告であり、10月9日に扱ったMixtralの土台でもあるので選んだ。重みと参照実装はApache 2.0で公開されている。Mistral AIのチームが2023年10月10日に投稿した。構成は表現次元4096、32層、注意ヘッド32、キー・バリューのヘッド8、ヘッド次元128、フィードフォワードの中間次元14336、語彙32000で、Llamaとの差分はGQAとスライディングウィンドウ注意（SWA）、それに伴うキャッシュ処理にある。SWAでは第k層の位置iが前の層の位置i−Wからiまでだけを参照し、層を重ねると入力層のW×kトークン先まで情報が届く。窓幅W=4096と32層から、最終層の理論上の到達範囲は約13万1千トークンになる。系列長16Kでは、FlashAttentionとxFormersへの変更により素朴な注意実装の2倍の速度が出たと報告している。

参照範囲が固定されるため、キー・バリューのキャッシュを大きさWの循環バッファにでき、位置iの値をi mod Wの場所へ上書きしていく。32Kトークンの系列ではキャッシュのメモリが8分の1になり、品質に影響はなかったとしている。長いプロンプトは窓幅と同じ大きさの塊に分けて事前充填する。評価は著者ら自身のパイプラインでLlamaを再評価して比べ、Llama 2 13Bに対してMMLUで60.1%対55.6%、8回多数決のGSM8Kで52.2%対34.3%、HumanEvalで30.5%対18.9%と上回った。著者らは同等性能を出すLlama 2の規模を逆算し、推論・読解・MMLUでは3倍超に相当する一方、知識系ベンチマークでは1.9倍にとどまったと述べ、その理由を、パラメータ数が蓄えられる知識量を制限するためと推測している。実際、自然な質問応答のNaturalQuestionsでは28.8%で、Llama 2 13Bの29.0%をわずかに下回る。指示追従版はMT-Benchで6.84となり、Llama 2 13B Chatの公称6.65を上回った。

限界として、この報告は学習データの構成と学習トークン数を開示していない。窓付き注意による品質の変化を全注意と比べたアブレーションも、キャッシュ削減で品質が変わらないとする根拠の表も示されていない。約13万1千トークンという到達範囲は層数からの理論値で、モデルの文脈長8192を超える課題での実測はない。結論で著者らは、能力と学習コストの2軸で語られてきたスケーリングを、推論コストを加えた3軸の問題として扱うべきだと述べている。

論文2: 疎な確率写像は専門家の参加数を単独では決めない

出典: How Sparse Probability Maps Shape Mixture-of-Experts Routing. arXiv:2610.06677 (2026).

候補表で未使用だった新着のうち、MoEルーターの確率写像を入れ替えたときに何が変わるかを、構成をそろえた比較と理論的なしきい値で説明しており、10月10日のRouterInterpとは別の角度からルーティングを読めるので選んだ。リスボン大学のテクニコ校（Instituto Superior Técnico）、INESC-ID、リスボン電気通信研究所のチームが2026年10月5日に投稿し、ICLR 2027に投稿中である。Mixtralと同じ上位2個選択のMoEで、ソフトマックスの代わりに、正確なゼロを出せるsparsemax、1.5-entmax、2-normmaxを使えば、上位2個のうち一方の重みがゼロになり、トークンごとに参加する専門家の数が変わるはずだ、という期待を検証する。Llama 3風の骨格で1層おきにMoE層を置き、300Mと1B（MoE層4つ、各27専門家、活性302M）の2規模を、写像以外のすべてをそろえてDCLM-baselineの100億トークンで学習した。

結果は、写像がゼロを出せることと、実際に参加数が減ることが別物だと示した。1Bでは、1.5-entmaxは選ばれなかった専門家に落ちる確率質量がソフトマックスより30%少ない（0.462対0.661）のに、トークンあたりの参加数は小数3桁まで2.000のままだった。sparsemaxは確率質量を最も多く残し（捨てる質量0.153）、2-normmaxは21.3%のトークンを専門家1個だけに送った。著者らは、上位2つのスコアの差が写像ごとの固定しきい値（1.5-entmaxは2、sparsemaxと2-normmaxは1）に達したときにだけ専門家が1個になることを示し、学習後のスコア分布を測った。疎な写像のルーターはスコアの広がり（RMS）を0.32〜0.38と、ソフトマックスの0.86より小さく学習しており、1.5-entmaxでは差の99パーセンタイルが1.45としきい値2に届かず、単独化は0.05%にとどまった。同じしきい値を持つsparsemaxと2-normmaxの差も、学習された差の中央値（0.40対0.61）の違いだけで説明される。ルーターは写像に合わせてスコアの尺度を変えてしまうので、写像を替えるだけでは参加数を制御できない、というのが主張である。

品質面では、どの疎な写像も検証損失でソフトマックスを上回らなかった（差は0.008〜0.012ナット）。一方で、上位2個で学習したモデルを推論時に上位8個で動かすと、ソフトマックスは損失が0.58ナット悪化したのに、sparsemaxは0.02ナットにとどまり、平均4.3個の専門家しか使わなかった。単独化の割合は深さに強く依存し、2-normmaxでは最初のMoE層で54%、最後の層で7%だった。限界として、比較は各設定1シードで、品質の小さな差は順位を確定しない。参加数は計算量そのものではなく、重みゼロの専門家を実際に飛ばして計算を節約できるかは実装次第で測っていない。規模も1B・100億トークンにとどまり、スコア尺度が小さくなる学習上の仕組みは記述にとどまっている。

論文3: 上位k個の境界を訓練時だけ揺らす弾性的な専門家ルーティング

出典: Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts. arXiv:2610.11575 (2026).

論文2が推論時の専門家数の変化に対する頑健さを観察したのに対し、訓練時の専門家数を意図的に揺らして推論時は固定のまま性能を上げる手法を、既存の公開MoEモデル2種と事前学習の両方で検証した新着なので選んだ。上海人工知能実験室と上海交通大学、南洋理工大学のチームが2026年10月8日に投稿した。問題設定は、上位k個の選択がルーターの連続的な確率を階段関数に変えることにある。k位の専門家はタスク損失の勾配を全部受け取り、スコアがわずかに低いだけのk+1位の専門家はまったく受け取らない。この境界付近の最適化が脆いというのが著者らの見立てである。

提案のElastic Expert Routingは、訓練中にトークンごと・層ごとに専門家数をkの周りの離散ガウス分布（σ=1.5）からサンプルする。中心をk=8として7〜9、6〜10、5〜11の区間を試し、分布が対称なので専門家側の期待計算量は固定の上位8個と同じになる。推論は常に上位8個で、構造の変更も遅延の増加もない。順位jの専門家が勾配を受ける確率は、サンプルした数がj以上になる確率で、その総和は期待値8に保存される。教師ありファインチューニングでは、OLMoE-1B-7Bの9課題平均が30.57から31.41へ、Qwen3-30B-A3Bでは56.42から58.44へ上がり、どちらも6〜10の区間が最良だった。総パラメータ1.42B・活性365M、各層128専門家のMoEをFineWeb-Eduの262.5億トークンで事前学習した比較でも、下流課題の平均が41.3から42.9へ、LAMBADAのパープレキシティが54.2から42.7へ改善した。

比較対照として、訓練時に常に上位9個や10個を使う設定と、確率0.4の上位p選択（平均13個）を試したが、より多く計算するにもかかわらずすべて6〜10の区間を下回った。効果は専門家を多く使うことではなく、境界をまたぐ順位に勾配を配ることから来る、と著者らは解釈する。診断では、最上位の専門家が入れ替わったトークンは13.62%だが、上位8個の集合の違いは7.08%（8個中約0.57個）で、集合はほぼ同じまま優先順位が変わっていた。変化は中間層（16層中の3〜7層）に集中し、ルーターだけを入れ替える介入では改善が一部しか再現せず、ルーターと専門家が一緒に適応した結果だと示された。限界は、事前学習の規模が活性365Mにとどまることと、改善幅が1〜2ポイントで、本文が複数シードのばらつきに触れていないことである。壁時計時間とメモリの比較は付録に回されており、本文の公平性の根拠は期待FLOPsの一致にある。

論文4: 生徒自身の生成列で教師に学ぶ一般化知識蒸留

出典: On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes. arXiv:2306.13649 (2023).

10月6日から扱ってきたオンポリシー蒸留の論文群がほぼ例外なく引用する原型であり、論文5の著者らがGeminiやQwenの事後学習で広く使われていると書く手法の出発点なので選んだ。Google DeepMind（一部著者はMilaとトロント大学にも所属）のRishabh Agarwal、Nino Vieillardらが2023年6月23日に投稿し、ICLR 2024に採択された。著者らは、自己回帰モデルの蒸留を「対話的な専門家がいる模倣学習」とみなす。固定データ上で教師の分布をまねる従来の教師あり蒸留では、生徒が推論時に自分で生成する接頭辞と訓練で見た接頭辞が食い違い、初期の誤りが後続の予測へ連鎖する。さらに標準的な順方向KLは生徒に教師の分布全体を覆わせようとするため、容量の小さい生徒は教師がほとんど出さないトークンにも確率を置き、品質の低い生成につながると指摘する。

GKDは、学習に使う系列の出どころと、トークンごとの分布の比べ方の2つを選べる枠組みである。生徒が生成した系列の割合λを0から1で選び、λ=1が純粋なオンポリシー、λ=0が従来の教師あり蒸留になる。比べ方は順方向KL、逆方向KL、両者を係数βで補間する一般化ジェンセン・シャノン情報量から選ぶ。生徒のサンプリング過程には勾配を流さないため、方策勾配で系列レベルの逆KLを最適化する同時期のMiniLLMより単純で安定だと著者らは述べる。教師はファインチューニングしたT5-XL（約30億パラメータ）、生徒は77M、250M、800MのT5で、要約（XSum）、翻訳（WMT14英独）、算数（GSM8K）で評価した。

$$ L_{\mathrm{GKD}}(\theta)=(1-\lambda)\,\mathbb{E}_{(x,y)\sim(X,Y)}\big[D(p_T\Vert p_S^{\theta})(y\mid x)\big]+\lambda\,\mathbb{E}_{x\sim X}\,\mathbb{E}_{y\sim p_S(\cdot\mid x)}\big[D(p_T\Vert p_S^{\theta})(y\mid x)\big] $$

初期の生徒からの改善幅は、従来の蒸留手法の改善幅に比べて、生徒の規模で平均すると要約で2.1倍、翻訳で1.7倍、算数で1.9倍になった。XSumでは、正解要約を使わず訓練データの5%だけでオンポリシーに学んだT5-smallが、全データと正解要約を使った教師あり蒸留を上回った。GSM8Kでは、生徒生成の割合が25%以上あれば、割合を増やすほど正答率が上がった。最適な比べ方は課題に依存し、翻訳ではジェンセン・シャノン系が順・逆KLより良く、生徒が大きいほど差が縮んだ。指示チューニングを課題非依存に蒸留した設定（FLAN2021の536万例、62課題）では、逆KLが順KLより大きく良く、未見のBBHで2ポイント、MMLUで1ポイントの改善だった。限界として、教師は30億パラメータのT5で、算数の教師の正答率も27.9%にとどまる。手法は生徒が生成した各トークンで教師の確率分布を読む必要があり、教師の内部確率にアクセスできることが前提である。

論文5: オンポリシー蒸留は技能を移すが知識は移さない

出典: On-Policy Distillation Teaches New Skills but Not New Knowledge. arXiv:2610.09639 (2026).

この特集で扱ったオンポリシー蒸留の改良論文の多くは推論ベンチマークの向上を示してきたが、その向上が新しい事実の獲得なのか、既知の事実を組み立てる技能なのかを人工課題で分離した対照実験なので選んだ。香港科技大学のYixuan TangとYi Yangが2026年10月7日に投稿した。事実は、2桁の数字の組から1桁の数字を返す100項目のランダムな対応表として作る。規則がないため、未学習の項目は他の項目から推論できず、記憶するしかない。25枚の表のうち20枚を初期の事実、5枚を保留した事実とし、多段推論は、前の結果を次へ渡す連鎖と、別々に計算した枝を後で結合する木で作る。どちらも7回の演算と8つの入力を持つ。

初期の生徒S0は、初期の事実と連鎖だけで学習させる。そこから、保留した事実を加えた教師T_f、木の解き方を加えた教師T_s、両方を加えた教師、何も加えないS0自身の4つを作り、Qwen3-0.6B、Qwen3-4B、Gemma-2-2B、OLMo3-7Bで、逆KLのオンポリシー蒸留を行った。T_sから蒸留した生徒は、訓練にも教師の学習にも出てこない木の構造で、4モデル平均79.10%（S0からの蒸留では0.72%）に達した。T_fから蒸留した生徒は、保留した事実の1段の問いで13.12%、すべての段が保留した事実を問う連鎖では0.54%にとどまった。32回サンプリングしてどれかが正解なら成功とする評価でも、88.11%対15.74%の差は残った。

原因を切り分けるため、接頭辞の出どころ（生徒生成か教師の正解か）と、KLの向きを2×2で組み替えた。事実の転移は向きでほぼ決まり、生徒の接頭辞のまま逆KLを順KLに替えると、1段の問いの正答率はQwen3-4Bで10.95%から54.10%、Gemma-2-2Bで32.95%から94.10%に上がった。教師の接頭辞で順KLを使っても54.05%と93.00%で、オンポリシーであることは事実の獲得に効いていない。逆KLは生徒自身の分布のもとで食い違いを測るので、生徒がほとんど確率を置かない正解トークンを欠いても罰がほとんど生じない、と著者らは説明する。一方、生徒の接頭辞を使うと、木の正解手順に対する負の対数尤度が下がり、Qwen3-4Bの逆KLでは2.40ビットから1.77ビットになった。

$$ \hat{\mathcal{L}}_{\mathrm{OPD}}=\frac{1}{Z}\sum_{(x,y)}\sum_{t}D_{\mathrm{KL}}\big(P_\theta(\cdot\mid x,y_{<t})\,\Vert\,P_T(\cdot\mid x,y_{<t})\big) $$

実データでも同じ非対称が出た。Qwen3-4B-Baseを指示データで整えた生徒は、2026年に公になった809問の事実問答で11.25%、201問の競技数学で17.41%だった。事実の教師（問答をそのまま学習し84.55%）から蒸留すると9.64%へわずかに下がり、数学の教師（43.78%）から蒸留すると23.88%へ6.47ポイント上がった。LoRAで得た更新を比べると、事実と技能の更新方向のコサイン類似度は0.004〜0.046とほぼ直交し、Qwen3-4Bでは事実の更新が出力に近い最終層付近、技能の更新が3層目と11層目をピークとする浅い〜中間の層に集中した。補間型の目的関数も試し、論文4のGKDの係数0.5のジェンセン・シャノン版は事実9.1%・木70.6%と非対称が残り、語彙ごとに順・逆KLを重み付けするToDiは64.3%と86.4%で両方を移した。限界として、教師は生徒と同じ規模・同じ初期値から作られており、大きな教師から小さな生徒へ移す通常の蒸留とは条件が違う。実データの検証はQwen3-4B一つで、事実の教師の84.55%は学習に使った問答そのもので測った値である。

まとめ

Mistral 7Bは、注意を4096トークンの窓に固定し、GQAと循環バッファでキャッシュを抑えたうえで、Llama 2 13BをMMLUで60.1%対55.6%と上回った。ただし知識系の等価規模は1.9倍にとどまり、著者らはこれを7Bという容量の限界と推測した。MoEの2本は、上位k個という固定がルーターの学習を縛ることを両側から示した。疎な確率写像はスコアの尺度ごと学習し直されるため単独では参加数を減らさず、訓練時に専門家数を6〜10個で揺らすと、推論は上位8個のままでQwen3-30B-A3Bの平均が2.02ポイント上がった。

蒸留の2本は、GKDが分けた「系列の出どころ」と「分布の比べ方」という2つの選択が、何を移すかを分担していることをつないで見せた。GKDは、生徒自身の系列で学ぶことが要約・翻訳・算数で効き、最適な比べ方は課題に依存すると報告した。3年後の対照実験は、生徒の系列が多段推論の組み立てを改善し、逆KLは新しい事実をほとんど移さず、順KLに替えると事実が移ることを示した。新しい知識を入れたいのか、既知の知識の使い方を教えたいのかで、蒸留の比べ方を選び分ける根拠になる。

参考ソース

• 論文1: Mistral 7B. arXiv:2310.06825
• 論文2: How Sparse Probability Maps Shape Mixture-of-Experts Routing. arXiv:2610.06677
• 論文3: Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts. arXiv:2610.11575
• 論文4: On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes. arXiv:2306.13649
• 論文5: On-Policy Distillation Teaches New Skills but Not New Knowledge. arXiv:2610.09639