arXiv Frontier AI論文解説（2026年10月20日）

キーワード: OLMoEの細粒度MoEと設計比較 / MLA潜在KVキャッシュの2ビット量子化 / MoEの活性化拡張と双方向蒸留 / オンポリシー蒸留の系列レベル信用割当 / 生徒に合わせた推論過程の構築

特集「蒸留とオープンLLMの代表的アーキテクチャ」の15回目。アーキテクチャ側は、64個の小さな専門家から8個を選ぶ活性1.3B・総6.9BのMoEを、データ・コード・学習ログまで公開したOLMoEの技術報告（2024年9月投稿）と、DeepSeek-V2で導入されたMLAの潜在KVキャッシュを2ビットまで量子化する新着を読む。両者の中間に、OLMoEを含むMoEの1トークンあたりの活性専門家数を一時的に増やしたモデルを教師として作り、元の活性数へ蒸留し戻す新着を置く。蒸留側は、オンポリシー蒸留の教師フィードバックを系列全体の信用に集約し直す新着と、正しい推論過程でも生徒にとって学べる形とは限らないとして、生徒自身の下書きから蒸留目標を作り直す新着を扱う。5本に共通する問いは、推論時のメモリや計算の予算を増やさずに、どこで精度を取り戻すかである。性能値は各論文が報告した評価条件に限る。

オープニング：2026年10月20日 — arXiv Frontier AI論文解説

アーキテクチャの2本は、推論時に動かす量や持つ量を抑える別々の場所を扱う。OLMoEは各層64個の専門家のうち8個だけを動かし、1トークンあたりの計算を活性1.3Bに抑えたまま総容量6.9Bを持たせた。RoLaQは、すでにMLAで圧縮された潜在ベクトルを、さらに2ビットへ量子化する。MoEvolveは、OLMoEも対象に含め、推論時の活性専門家数を変えずに、学習時だけ活性数を増やしたモデルを教師に使う。蒸留の2本は教師の信号をどう生徒に渡すかを扱い、GR-OPDはトークンごとの教師フィードバックを系列全体の信用へまとめ、ReDiSTは生徒が予測しやすい推論過程を蒸留目標に選ぶ。

論文1: 64個の小さな専門家から8個を選ぶMoEを、データと学習ログまで公開したOLMoE

出典: OLMoE: Open Mixture-of-Experts Language Models. arXiv:2409.02060 (2024).

10月17日に読んだDeepSeekMoEが提案した細粒度の専門家分割と共有専門家を、同じ予算の対照実験で1つずつ検証し、前者を採り後者を採らなかった公開MoEであり、論文3のMoEvolveが土台の1つに使うモデルでもあるため選んだ。Allen Institute for AI（Ai2）を中心とするチームが2024年9月に投稿した技術報告で、新着ではない。10月11日のOLMo 2と同じく、重み、学習データ、コード、学習ログ、途中チェックポイントを公開している。構成は16層、次元2048、注意ヘッド16本、文脈長4096で、各層のFFNを中間次元1024の専門家64個に置き換え、トークンごとにルーターが8個を選ぶ。容量上限でトークンを捨てないドロップレスのトークン選択で、総パラメータ6.9B、1トークンあたりの活性は1.3Bである。補助損失は負荷分散損失（重み0.01）とルーターz損失（重み0.001）で、QK-Normも使う。共有専門家は置かず、密モデルからのアップサイクルもせず、5.133兆トークン（1.3エポック）をゼロから学習した。

設計判断の根拠は、1回に1つの条件だけを変えた対照実験である。活性1.3Bの密モデルと比べると、MoEは密モデルの最終性能に約3分の1のトークンで届いたが、GPUあたりの処理速度が毎秒2万3600対3万7500トークンと遅いため、学習時間では約2倍の速さにとどまった。専門家の粒度は、8個から1個を選ぶ構成を32個から4個に細かくするとHellaSwagとMMLUが約10%伸びたが、64個から8個への追加の細分化は1〜2%にとどまり、収穫逓減とされた。共有専門家を1個置く構成は、ルーティングの組合せが3万5960通りから4495通りへ約9割減り、性能はわずかに下回った。2兆トークン学習済みのOLMo-1Bから作ったアップサイクル版には、ゼロからのMoEが約5000億トークンで追いつき、約6000億トークンで上回った。負荷分散損失を外すと、学習と検証の損失がともに悪化し、第1層では当初ほぼすべてのトークンが1個の専門家に集まり、その後も2個目が加わる程度で、残りの専門家はほとんど使われなかった。

事前学習後の5ショット評価（著者らによる再測定）で、MMLUは54.1%と、Llama2-7Bの46.2%やDeepSeekMoE-3B-16Bの45.5%を上回ったが、Llama3.1-8Bの66.9%や、活性・総パラメータとも2倍超のQwen1.5-3B-14Bの62.4%には届かない。SFTとDPOを経たOLMoE-1B-7B-Instructは、比較した7課題の平均57.7で、Qwen1.5-3B-14Bのチャット版の57.3を上回った。ルーティングの分析では、学習の1%（200億トークン）の時点で、上位8個の選択の最大約6割が最終チェックポイントと一致していた。ドメイン別では、arXivのトークンが第0層のある専門家にほぼ100%送られるなど偏りがはっきり出たのに対し、Mixtral 8x7Bはどの層・ドメインでも一様に近く、著者らはMistralからのアップサイクルが専門化を妨げたと推測している。限界として著者らは、活性1Bでは8B級の密モデルに届かないこと、英語中心のテキストだけで学習・評価したこと、活性パラメータあたり約5000倍のトークンという過剰学習がMoEで密モデルと同じように効くかは未解明なことを挙げる。対照実験は前の実験の結論を取り込みながら土台を変えているため、実験間の数値は比べられないと著者ら自身が述べている。

論文2: MLAの潜在KVキャッシュを回転と量子化範囲の同時較正で2ビットにする

出典: RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention. arXiv:2610.20686 (2026).

10月6日のDeepSeek-V2で導入されたMLAが、DeepSeek-V3やGLM-5.3など後続の公開モデルにも広がるなかで、すでに圧縮された潜在キャッシュをどこまで縮められるかを、精度と実サービング性能の両方で示した新着なので選んだ。ハルビン工業大学、清華大学、百度のチームが2026年10月14日に投稿し、コードを公開している。MLAは各トークンの内容を1本の潜在ベクトルとしてキャッシュし、各ヘッドはそこから別々の上方射影でキーとバリューを作る。このため、潜在ベクトルの量子化誤差は、注意がどこを見るかを決めるキーと、何を読み出すかを決めるバリューの両方を同時に乱す。GQAのようにキーとバリューを別々に持つ構成向けの既存手法（KIVI、回転で外れ値を散らすQuaRotなど）は、この共有構造を前提にしていない。著者らはまず2つの観察を示す。キーとバリューの射影を合わせた行列の固有ベクトルのうち上位半分が、3モデルで各射影のエネルギーの62〜75%を占め、同じ大きさの誤差でも方向によって影響が違う。また、回転としきい値を固定して再構成の倍率だけを変えても、DeepSeek-V2-Liteの8Kトークン文書で次トークン分布のKLが52%下がった。

RoLaQは、モデルの重みを凍結したまま、キーとバリューの射影が定める部分空間の中で共有回転を学習し、層ごとの量子化しきい値とそれに連動する再構成倍率を同時に学習する。較正はBF16の教師モデルの次トークン分布とのKLと、各層の注意出力との一致を目標にし、A100 1枚で約30分かかる。推論時は読み出し側の回転をMLAの射影に吸収するので、キャッシュを読むたびの回転の掛け算は要らない。位置情報を持つRoPE用のキーは量子化に弱いためBF16のまま残す。DeepSeek-V2-Lite、Moonlight-16B-A3B、MiniCPM3-4Bの3モデル・6ベンチマークで、すべてのトークンを2ビットにした条件の平均精度は、最も強い比較手法を1.1〜3.8ポイント上回り、DeepSeek-V2-LiteのGSM8KはOSCARの18.3%に対しRoLaQは32.1%となった。較正長4Kを超えるRULERの16K検索課題（先頭4・直近16トークンはBF16で保持）でも、DeepSeek-V2-Liteで73.7%と比較手法より6.3ポイント高いが、BF16の84.7%には届かない。SGLangへの実装では、同じメモリ予算で保持できるKVトークンがBF16の115万から456万へ3.96倍になり、256K入力のデコード速度は2.51倍になった。限界として著者らは、BF16で残すRoPEキーとメタデータがキャッシュの大きな割合を占めること、短い文脈では量子化と展開のオーバーヘッドが利得を相殺し得ること、サービング計測がA100上のDeepSeek-V2-Liteだけであることを挙げている。

論文3: MoEの活性専門家数を増やした自分自身を教師にして、元の活性数へ蒸留し戻す

出典: A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation. arXiv:2610.23185 (2026).

MoEのルーティングという構造そのものを、オンポリシー蒸留の教師の作り方に使うという発想が新しく、アーキテクチャと蒸留の2テーマを直接つなぐ新着なので選んだ。北京航空航天大学、北京通用人工知能研究院（BIGAI）、美団のチームが2026年10月16日に投稿した。オンポリシー蒸留（OPD）はトークンごとの密な教師信号を与えるが、トークナイザーと出力空間が一致するより強い教師が要る。教師に特権情報を与える自己蒸留は、ヒントや部分解答を人手で設計する必要がある。著者らは、MoEが1トークンあたり上位k個の専門家しか使わない点に着目し、kを増やせば同じ重みのまま「より強い教師」になり得ると考えた。ただし学習済みのMoEでkを単純に増やすと、新たに同時に動く専門家どうしが協調するよう学習されていないため性能が崩れ、強化学習をそのまま掛けると発散した。

MoEvolveは3段階で進む。まず元のkのモデルを教師に、kを増やしたモデルへOPDを掛けて崩れを修復する。次に、修復したモデルを検証可能な報酬による強化学習（RLVR）でさらに鍛え、増えた活性容量を使わせる。最後に蒸留の向きを逆にし、強化した高kのモデルを教師として元のkのモデルへ報酬を外挿したOPD（ExOPD）で能力を戻す。推論時の活性数と計算量は元のままである。OLMoE-1B-7B、DeepSeek-V2-Lite、GPT-OSS-20B、Qwen3-30B-A3Bの4モデルで、数学・コード・科学知識の12ベンチマークを評価した。中間のkはモデルごとに実行可能な最大値とし、OLMoEとDeepSeek-V2-Liteは64、GPT-OSS-20Bは32、Qwen3-30B-A3Bは128で、いずれも全専門家を動かす設定である。元のモデルに対する領域平均の改善は、数学で最大22.2ポイント、科学知識で12.3ポイント、コードで7.0ポイントで、同じ活性予算でRLVRだけを掛けたベースラインも数学で最大6.5ポイント上回った。3シードの対応のあるt検定で、全モデル・全領域でRLVRより有意に良い。さらに、最終的な低kのモデルが、教師だった高kのモデルを上回ることが多く、著者らは逆向きの蒸留が単なる劣化圧縮ではない証拠とみている。限界として、より大規模なMoE、自由生成やエージェント課題、長文脈での検証がないこと、強い内部教師を作るには学習が必要で、学習なしで潜在容量を引き出す方法はないことを著者らは挙げている。学習を3段階重ねる分の計算コストは付録で比較されているが、本文の主張は推論時コストが変わらないことに置かれている。

論文4: オンポリシー蒸留の教師フィードバックを系列全体の信用に集約して割り当てる

出典: GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation. arXiv:2610.23042 (2026).

10月19日に読んだMiniLLMの逆方向KLの勾配分解に立ち返り、広く使われる簡略版OPDが捨てている項を特定して、信用割当の設計として作り直した新着なので選んだ。上海交通大学とアリババグループのチームが2026年10月16日に投稿した。簡略版OPDは、生徒がサンプリングした各トークンについて教師と生徒の対数確率差をそのトークンのアドバンテージとし、方策勾配で更新する。全語彙の分布を保持しないので軽いが、あるトークンの選択が後の接頭辞を変え、後の教師フィードバックに影響する分の信用を落としている。著者らは逆方向KLの勾配を局所的な行動一致の項と将来の状態訪問に関わる項に分け、理想的なオンポリシー条件では、応答全体の教師フィードバックの和をすべてのトークンに配ると、系列レベル逆方向KLの負の勾配の不偏推定になることを示した。

ただし未較正の系列信用をそのまま配ると学習が崩れたため、GR-OPDは2つの制御を加える。分布のずれで信頼性が下がる後半のフィードバックを割引率0.99で減衰させ、同じプロンプトから生成した応答群の平均を基準に、応答間の相対的な優劣を残しつつ、群平均の成分を一定割合λだけ残す。著者らはこの群平均の成分を「集団的な教師圧力」と呼ぶ。学習はDAPO-Mathのプロンプトで221ステップ、応答長は最大28,672トークンで、生徒はQwen3-1.7B、教師はQwen3の4Bまたは32Bの5組を、数学6ベンチマーク（計1,042問）のマクロ平均Avg@Kで比べた。思考パターンが一致する組では、通常のOPDに対して、4B Instructの教師で34.1%から45.1%、32B Instructの教師で30.3%から41.8%と、それぞれ10.9、11.5ポイント上回った。思考モードの教師からBaseの生徒への組では、通常のOPDは応答長が上限へ伸びて報酬がほぼ0になる崩壊を起こして8.4%と10.1%に終わったが、GR-OPDは29.6%と24.5%で学習を続けられた。教師を4Bから32Bに大きくすると成績が下がる組もあり、教師の規模は教える価値の代理指標にならない。λは組ごとに0か0.25を使っており、λを大きくしすぎたり割引をなくしたりすると不安定になった。評価は数学推論とQwen3系列に限られ、λの選び方の原理はまだなく、系列単位の信用は応答内のトークンを区別しないことも著者らは限界に挙げている。

論文5: 生徒自身の下書きを根拠に沿って直し、生徒が学べる推論過程を選んで蒸留する

出典: Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation. arXiv:2610.23831 (2026).

10月18日のCoTranslatorと同じく推論過程（トレース）の作り方を扱うが、正しさよりも「特定の生徒にとって学べる形か」を選択基準に置き、元タスクと別ベンチマークへの転移の両方で評価した点が新しく、当日の新着から選んだ。ストーニーブルック大学とMeta AIのチームが2026年10月16日に投稿した。動機となる観察は、Qwen3-8BをMuSiQue（根拠文書付きの多段推論QA）で学習させたときの差である。答えだけで学ぶと、MuSiQueの完全一致（EM）は34.2%から56.2%に上がるが、別ベンチマークの2WikiMultiHopQAは51.6%から47.9%へ下がる。生徒自身の元のトレースで学ぶと、MuSiQueは42.6%、2Wikiは52.1%で、2つのレシピの順位が元タスクと転移先で入れ替わる。正しい答えに添えられたトレースでも、欠けた段階や不慣れな表現があれば、生徒が予測すべき系列として良い教材にならない。

ReDiSTは、生徒自身の解答の試みから始める。答えが正しい下書きは与えられた根拠文書に照らして書き直し、失敗した下書きは検証済みの答えも手がかりにして修復する。次に、生徒と同じ凍結モデルを読み手として使い、問い・根拠・候補トレースを与えたときに答えを復元できるか、検証済みの答えにどれだけ確率を置くかで、元の下書きと編集後の候補をふるい分けて順位づける。選んだ目標は、トレースの損失に答えだけの補助損失を重み0.15で足して蒸留する。構築と選択はオフラインで行い、推論時は蒸留した生徒だけを使う。Qwen3-8BをMuSiQueで学習した比較では、ReDiSTはMuSiQueのEM 58.4%、2Wiki 68.6%、HotpotQA 63.3%と、8指標すべてで比較手法中最高だった。同じく生徒の試みを書き直すMBT-Rとは、MuSiQueでは58.4%対57.9%とほぼ同じだが、2Wikiで5.3ポイント差がつき、HotpotQAでは0.6ポイント差と小さい。長文読解のQuALITYでは、答えだけの学習が精度を62.3%から52.3%へ下げたのに対し、ReDiSTは64.0%と学習前をわずかに上回った。生徒はQwen3-4BとGemma4のE2B・E4Bでも検証している。評価は根拠文書が与えられる多段QAに限られ、主比較は1,000問の評価スライスで、ブートストラップ分析では元タスクにおける上位レシピ間の順位が分離しないことや、レシピ間の順位が元タスクと転移先で変わり得ることを著者ら自身が述べている。

まとめ

OLMoEは、64個の小さな専門家から8個を選ぶ構成を対照実験で選び、共有専門家とアップサイクルを採らずに5兆トークン超をゼロから学習して、活性1.3BでMMLU 54.1%とLlama2-7Bを上回ったが、Llama3.1-8Bには届かなかった。RoLaQは、MLAの潜在キャッシュをキーとバリューの射影に合わせた回転と量子化範囲の同時較正で2ビットにし、DeepSeek-V2-Liteで保持トークン数3.96倍、256K入力のデコード2.51倍を示した。MoEvolveは、活性専門家数を増やした自分自身を修復・強化して教師にし、元の活性数へ蒸留し戻して、同じ推論予算のRLVRを数学で最大6.5ポイント上回った。GR-OPDは、トークンごとの教師フィードバックを割引と群基準で較正した系列信用に変え、思考パターンが一致する組で10.9〜11.5ポイント改善し、不一致の組での崩壊を避けた。ReDiSTは、生徒の下書きを根拠に沿って直し、凍結した生徒自身が答えを復元できるトレースを選んで、2Wikiへの転移で答えだけの学習の47.9%に対し68.6%を達成した。5本とも、推論時の予算は増やさずに、専門家の分割と選び方、キャッシュの表現、学習時だけの計算、教師信号の配り方のどれかで精度を上げている。

参考ソース

• 論文1: OLMoE: Open Mixture-of-Experts Language Models. arXiv:2409.02060
• 論文2: RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention. arXiv:2610.20686
• 論文3: A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation. arXiv:2610.23185
• 論文4: GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation. arXiv:2610.23042
• 論文5: Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation. arXiv:2610.23831