arXiv Frontier AI論文解説（2026年10月19日）

キーワード: MiniMax-01とライトニング注意 / 線形注意と通常注意の7対1ハイブリッド / NoPEと位置の混成 / 逆方向KLによるMiniLLM / JS発散で選んだ位置への順方向KL / 視覚言語モデルのOPDと解答の未完了

特集「蒸留とオープンLLMの代表的アーキテクチャ」の14回目。アーキテクチャ側は、線形注意（ライトニング注意）7層ごとに通常のソフトマックス注意を1層挟み、32専門家のMoEと組み合わせた公開モデルMiniMax-01の技術報告（2025年1月投稿）と、通常注意とスライディングウィンドウ注意または線形注意を混ぜたハイブリッドモデルが、なぜ長文脈で効くのかを位置符号化の混成から説明する新着を読む。蒸留側は、順方向KLを逆方向KLに替えてオンポリシーで最適化したMiniLLM（2023年6月投稿）を起点に、その逆方向KLが生徒の確率がほぼ0の教師候補を直しにくい点を、食い違いの大きい位置だけに順方向KLを足して補う新着と、視覚言語モデルのオンポリシー蒸留で、生徒が教師の「解答を書き終えない」振る舞いまで引き継ぐことを示した新着を扱う。5本に共通する問いは、全体に効く成分と局所に効く成分をどこに配置し、何をどちらに任せるかである。性能値は各論文が報告した評価条件に限る。

オープニング：2026年10月19日 — arXiv Frontier AI論文解説

アーキテクチャの2本は、計算の大半を状態が固定長の層に任せ、少数の層だけに系列全体を参照させる設計を扱う。MiniMax-01は、その配分を8層に1層の通常注意として4560億パラメータの公開モデルで実装し、学習時100万トークン、推論時400万トークンの文脈を示した。もう1本は、混ぜた層どうしの役割分担を「位置の偏りを持つ注意」と「位置符号化を持たない注意」の分担として読み直す。蒸留の3本は、教師の分布のどの部分をどの目的関数で生徒へ移すかを扱う。MiniLLMは生徒が教師の主要な山だけを追う逆方向KLを選び、DrOPDはその逆方向KLが届かない位置を特定して順方向KLを足し、視覚言語モデルの研究は、生徒の訪れた状態で教師自身が解答を終えられないと、目的関数を替えても失敗が移ることを示した。

論文1: 線形注意7層ごとに通常の注意を1層挟んだ4560億パラメータの公開モデル

出典: MiniMax-01: Scaling Foundation Models with Lightning Attention. arXiv:2501.08313 (2025).

10月8日のJamba、10月16日のMambaで扱った「状態が固定長の層と注意層の混成」を、線形注意側で数千億パラメータ規模まで実装し、重みを公開した代表例なので選んだ。MiniMax社が2025年1月に投稿した技術報告で、新着ではない。MiniMax-Text-01は総パラメータ4560億、1トークンあたりの活性パラメータ459億で、80層のうち、ライトニング注意（TransNormerの入出力を意識した実装）7層ごとにソフトマックス注意を1層置く。各注意は128次元のヘッド64本で、ソフトマックス注意層はグループサイズ8のGQAを使い、RoPEはヘッド次元の半分にだけ掛ける。FFNは各層32専門家・上位2個のルーティングで、専門家の中間次元は9216である。総パラメータの規模は、8ビット量子化で640GBの8GPU機1台に100万トークン超の処理を載せる、という制約から決めたと著者らは書く。線形注意は右積の計算順で計算量を系列長に対して線形にするが、因果的な言語モデルでは累積和が必要になり並列化しにくい。ライトニング注意は系列をブロックに分け、ブロック内は左積、ブロック間は右積で計算して累積和を避ける。

規模を変えた比較（7000万〜70億パラメータ、最大3000億トークン、文脈長8192）では、純粋なライトニング注意はほとんどのタスクでソフトマックス注意と同等だが、干し草の山から針を探す検索課題（NIAH）だけで劣り、ハイブリッドは検索と長さの外挿でソフトマックス注意を上回った。活性50億・総280億のMoEで8層ごとに最初の7層をライトニング注意に置き換え、1兆トークンで学習した比較でも、多くのベンチマークで精度が上がった。著者らは、ソフトマックス注意を毎時刻先頭から状態を計算し直す線形RNNとみなす見方で、少数のソフトマックス層が線形注意の検索の弱さを補うと説明する。学習時の文脈は段階的に100万トークンまで広げ、NIAHは400万トークンまで通した。RULERでは、100万トークンで0.910と、比較対象で同じ長さまで測れたGemini-1.5-Proの0.850を上回り、12万8千トークンでも0.947とClaude-3.5-Sonnetの0.938を上回った。一方で、102万4千トークンでは、注意とFFNの遅延に占める注意の割合が、ソフトマックス注意の層では95%、ライトニング注意の層では12%未満と著者らは報告しており、長文脈で重いのは残したソフトマックス注意の層である。比較は2025年初頭の商用モデルとの比較で、自社内ベンチマークを含む。7対1という比率は小規模実験で選んだもので、層をまたいだ比率の最適性や、検索が強くなる理由の説明は検証された理論ではない。

論文2: ハイブリッドモデルの長文脈性能を位置の混成から説明する

出典: Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position. arXiv:2610.10114 (2026).

論文1のような混成が「なぜ効くのか」を、性能比較でなく層どうしの分担から説明しようとする新着で、ハイブリッド化が進む公開LLMの設計指針に直結するため選んだ。復旦大学・上海創智学院のOpenMOSSチーム（邱錫鵬氏ら）が2026年10月7日に投稿し、コードを公開している。全注意（FA）と、スライディングウィンドウ注意（SWA）または、ゲート付き線形注意のGLA・Gated DeltaNet（GDN）を、層単位（3対1）またはヘッド単位で混ぜたモデルを3億7600万〜10億パラメータ（主要結論は30億でも確認）で、4Kの短文脈事前学習500億トークンと、32Kの長文脈継続事前学習50億トークンにかけて比べた。SWAの窓は128である。まず、ハイブリッドではFA層からRoPEを外した位置符号化なし（NoPE）のほうが、学習長の内外で長文脈性能が良かった。著者らは線形注意のゲートをデータ依存の位置の偏りとみなし、ハイブリッドの効果を「注意の混成」でなく「位置の混成」として捉え直す。注意の解析では、NoPE側は検索対象への上位ヒット率と注意エントロピーが高く、少数のNoPEが大まかな大域検索を、多数の位置の偏りを持つ注意が低エントロピーの雑音除去を担うという分担が見えた。

条件を変えると、混成の種類で得手不得手が入れ替わる。短文脈学習のまま長さを外挿するとSWAとNoPEの混成が強いが、32Kの継続事前学習後は線形注意とNoPEの混成が上回る。著者らはこれをシーソー効果と呼び、SWAの混成は短い窓のせいで長文脈の学習が進まないとみて、継続学習で窓を128から2048へ広げると376Mと776Mの両方で最も良くなり、長文脈向けの損失（LongCE）と併用するとGDN混成に並んだと報告した。逆に線形注意の混成は学習長の内側で強く外側で弱いので、線形注意にも窓をかけるスライディングウィンドウ線形注意（窓4096・ストライド1024）を提案し、NoPE側の注意ロジットを文脈長の対数で強める補正と組み合わせた。776MのGLAとNoPEの層単位混成では、4Kで学習したまま64Kの単一キー針探しが0%から100%になり、学習なしで16倍の外挿を示した。ただし、同じ条件でも別の単一キー課題（NIAH-SK3）は64Kで64%にとどまる。評価は事前学習段階の30億以下のモデル、GDNの制約でMHAのみに限られ、事後学習後の推論やエージェント課題、GQAやMLAを使う実際の公開モデルの構成で同じ分担が成り立つかは示されていない。

論文3: 教師分布の主要な山を追わせるオンポリシー蒸留の原型

出典: MiniLLM: On-Policy Distillation of Large Language Models. arXiv:2306.08543 (2023).

特集で読んできたオンポリシー蒸留（OPD）の多くが既定の目的関数とする「生徒の生成系列上での逆方向KL」を大規模言語モデルの蒸留に導入した原型で、10月12日のGKDが同時期の手法として比較した相手でもあるため選んだ。清華大学CoAIグループとMicrosoft Researchの顧煜賢氏、董力氏、韋福如氏、黄民烈氏が2023年6月に投稿した。コード・データ・チェックポイントは公開されている。著者らの問題設定は、教師の出力分布を参照できるホワイトボックス蒸留である。従来の単語レベル蒸留や系列レベル蒸留は、近似的に教師から生徒への順方向KLを最小化しており、生徒に教師のすべての山を覆わせる。分類のように出力空間が小さければ問題ないが、自由生成では容量の小さい生徒が教師の山を覆いきれず、教師がほとんど確率を置かない領域にまで確率を割り当て、自由生成時に教師から見てありえない系列を出す。そこで生徒から教師への逆方向KLを最小化し、生徒に教師の主要な山だけを追わせる。

$$\theta^*=\arg\min_\theta\ \mathrm{KL}\left[q_\theta\,\|\,p\right]=\arg\min_\theta\ \left(-\mathbb{E}_{x\sim p_x,\ y\sim q_\theta}\log\frac{p(y|x)}{q_\theta(y|x)}\right)$$

期待値が生徒自身のサンプルで取られるので、勾配は方策勾配で求め、学習はオンポリシーになる。安定化のため、各時刻の1ステップ分の項を分けて分散を下げる単一ステップ分解、生徒と教師の混合分布からサンプリングして報酬ハッキング（教師が高く評価する退化した反復）を防ぐ教師混合サンプリング、長い応答ほど累積報酬が不利になる偏りを除く長さ正規化を加えた。GPT-2、OPT、LLaMAの各系列で生徒1億2千万〜130億パラメータ（LLaMAは教師13B・生徒7B）を、databricks-dolly-15kの約1万2500件で学習し、5つの指示追従評価セットでRouge-L、GPT-4による採点、人手評価を比べた。ほぼすべての条件で単語レベル蒸留と系列レベル蒸留を上回り、Vicuna、S-NI、UnNIでは生徒のRouge-Lが教師を超える場合があった。著者らは、生徒が自分の生成で学ぶため露出バイアスが小さいことを理由に挙げ、累積誤差の指標でもこれを示した。山を追う目的関数で多様性が落ちる懸念に対しては、LLaMA系列のDollyEvalで異なる4グラムの割合が教師99.3に対し99.0と、低下は小さいと報告した。評価は指示追従と自動指標中心で、推論課題は含まれない。また、逆方向KLは生徒の確率で重み付けされるため、生徒がほぼ0とみなした教師の候補を引き上げる力が弱いという性質を持つ。論文4はこの点を取り上げる。

論文4: 教師と生徒の食い違いが大きい位置だけに順方向の監督を足す蒸留

出典: Divergence-Routed On-Policy Distillation for Language Models. arXiv:2610.19572 (2026).

論文3で導入された逆方向KLの弱点を、勾配の形から特定し、どの位置にどの目的関数を足すかという問いに分けて答えた新着なので選んだ。北京大学、快手科技、清華大学のチームが2026年10月14日に投稿した。著者らはまず、生徒が生成しながら、ルーティング信号が閾値を超えた位置だけ教師がトークンを出す交差サンプリングで、どの信号が性能差に効く位置を指すかを比べた。AMC23の40問・各8回答で、教師とのジェンセン・シャノン（JS）発散でルーティングすると、9.23%の位置への介入で60.31%に達し、教師単独の60.63%にほぼ並んだ。生徒エントロピーでは50.00%、教師エントロピーでは37.19%にとどまった。エントロピーは1つのモデルの迷いしか測らず、両者が同じように迷っている位置を拾ってしまう。次に、JS発散の高い位置で、教師が出したトークンへの確率差を生徒と教師の間で測ると、確率差0.8以上の位置は元の生徒で3.83%、標準のOPDの後で4.48%に増えた。逆方向KLのロジット勾配は、教師の確率を固定したまま生徒の確率が0に近づくと消え、順方向KLの勾配は教師の確率の分だけ残る。

$$\mathcal{L}_t=\mathrm{KL}\left(q_\theta\,\|\,p_T\right)+\mathbb{1}\left[\mathrm{JS}_t\ge\tau\right]\ \mathrm{KL}\left(p_T\,\|\,q_\theta\right)$$

DrOPDは、全位置で逆方向KLを保ち、バッチ内でJS発散が上位20%の位置にだけ順方向KLを足す。分布は生徒と教師それぞれの上位16候補の和集合で正規化して近似する。Qwen3-1.7B-Baseの生徒とGRPOで強化したQwen3-4B-Baseの教師で、DAPO-Math-17Kを1エポック学習すると、数学6ベンチマークの平均Avg@8は標準OPDの31.57%から33.41%へ1.84ポイント上がり、6つすべてで改善した。エントロピーで選んだ位置に順方向KLを足す方法（32.65%、32.72%）や既存手法EOPD（32.07%）も上回った。確率差0.8以上の位置は2.79%まで減り、OPD比で37.9%少ない。4Bの生徒と8Bの教師では44.64%から45.23%で、改善は6つ中5つ、幅は0.59ポイントと小さい。目的関数の分け方の比較（4ベンチマーク）では、上位20%だけに逆方向KLを掛けると全位置の33.80%を上回る34.94%になり、上位20%だけに順方向KLを掛けると33.29%に下がった。全位置の逆方向KLと上位20%の順方向KLの組合せが35.64%で最も高い。評価は数学推論、Qwen3系列の同族の教師と生徒、1エポックの学習に限られ、上位16候補での打ち切り近似が語彙全体の分布とどこまで一致するかは候補数の感度分析でしか確かめられていない。

論文5: 視覚言語モデルのオンポリシー蒸留は、教師が解答を書き終えない癖まで引き継ぐ

出典: Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models. arXiv:2610.20989 (2026).

OPDが「生徒の訪れた状態で教師の振る舞いを真似させる」以上、教師がその状態で失敗すれば失敗も移る、という前提を、正答率でなく解答の完了という振る舞いで切り分けた新着で、コードも公開されているため選んだ。ジョージア工科大学の4人が2026年10月14日に投稿した。生徒はQwen3-VL-2B-Instruct（言語側の射影だけにランク64のLoRA、視覚エンコーダは凍結）、教師はQwen3-VL-8B-Instructで、正答の教師解答だけで学ぶフィルタ付きSFTと、生徒の生成上で語彙全体の逆方向KLを最小化するOPDを、4段階のデータ量・4シードで比べた。課題は2つで、教師が解答の99%を「Answer:」行まで書き終えるChartQA（教師の正答率84%）と、1,536トークンの予算内に78%しか書き終えないGeometry3K（同57%）である。ChartQAでは、OPDは全体の10%にあたる300問で、3,000問すべてを使ったSFTとの差1.4ポイントまで迫った。ただし学習ステップ数を調整したSFTとの差は1〜1.5ポイントで、シード間の区間はゼロを含む。

Geometry3Kでは、OPDはSFTを7.9ポイント下回り、差の大半は答えの行まで書き終えない応答から来ていた。900問の条件で、テスト応答を書き終えた割合はSFTの76%に対しOPDは63%である。さらに、SFTで書き終える振る舞いを学んだ生徒からOPDを始めると、40ステップ以内にロールアウトの終了率が通常のOPDの水準へ戻り、完了率は62%と、学習前の水準まで落ちた。教師側を調べると、OPD生徒が予算切れになった解答の先頭256トークンから教師に続きを書かせても書き終えるのは34%、予算切れの直前の位置からでは3%で、書き終えた解答の先頭からなら90%だった。学習前の生徒が失敗した接頭辞では、教師のプロンプトに正答を与えると、教師の完了率は18%から7%へ下がった。目的関数を替えた変種も試しており、終了したロールアウトだけで損失を取る方法、教師の温度でのサンプリング、順方向KL、系列平均の損失のいずれも完了率を回復しなかった。順方向KLは停止確率の勾配を生徒の確率で減衰させないので、著者らは逆方向KLの減衰を主因から外し、生徒の長い接頭辞上で教師自身が停止に確率を置かないことを残る候補とした。一方、正誤を問わず答えの行を含む教師解答だけでSFTすると、正答フィルタ付きSFTの優位の多くが戻った。対象はQwen3-VL系列、2課題、4B未満の生徒1種で、教師の失敗と生徒の失敗の対応は同じ問題での相関にとどまり、生徒の状態から書き終えるよう訓練した教師での検証は行われていない。SFTの学習長はテストセットで選ばれている。

まとめ

MiniMax-01は、ライトニング注意7層にソフトマックス注意1層を挟む構成で、RULERの100万トークンで0.910を出し、学習時100万トークンの文脈を推論時400万トークンへ延ばした。ただし100万トークンでは、ソフトマックス注意の層では遅延の95%を注意が占め、ライトニング注意では12%未満にとどまる。位置の混成の論文は、ハイブリッドの効果をNoPEの大域検索と位置の偏りを持つ層の雑音除去の分担として説明し、線形注意にも窓をかけることで、776Mのモデルが4Kの学習のまま64Kの単一キー針探しで100%を出した。MiniLLMは、順方向KLを逆方向KLに替えてオンポリシーで最適化し、指示追従で従来の蒸留を上回った。DrOPDは、その逆方向KLが生徒の確率0付近で勾配を失う位置をJS発散で選び、上位20%に順方向KLを足して、1.7Bの生徒の数学平均を1.84ポイント上げた。視覚言語モデルの研究では、生徒の状態で教師が書き終えられないと、順方向KLに替えても完了率は戻らず、SFTで得た完了の振る舞いが62%まで失われた。どの目的関数を使っても、教師の信号が届くのは、教師が生徒の訪れた状態で正しく振る舞える範囲に限られる。

参考ソース

• 論文1: MiniMax-01: Scaling Foundation Models with Lightning Attention. arXiv:2501.08313
• 論文2: Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position. arXiv:2610.10114
• 論文3: MiniLLM: On-Policy Distillation of Large Language Models. arXiv:2306.08543
• 論文4: Divergence-Routed On-Policy Distillation for Language Models. arXiv:2610.19572
• 論文5: Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models. arXiv:2610.20989