arXiv Frontier AI論文解説（2026年10月16日）

キーワード: 選択的状態空間モデル / Mamba / グループ化潜在注意GQLA / 教師トークンの差し替え実験 / 批評つきオンポリシー蒸留 / 事前学習の分岐蒸留

特集「蒸留とオープンLLMの代表的アーキテクチャ」の11回目。アーキテクチャ側は、10月8日のJambaと14日のReplaySSMが土台にしていた状態空間モデルMamba（2023年12月投稿）と、DeepSeek系のMLAを同じ重みのままGQAとしても実行できるようにする新着の2本を読む。蒸留側は新着3本で、オンポリシー蒸留（OPD）で教師の優位が生徒の軌跡のどこにあるかを差し替え実験で測る分析、誤った接頭辞の上で教師が誤りに追従する問題を教師の批評で補う手法、OPDの考え方を事前学習の蒸留へ1トークン分だけ持ち込む手法を扱う。性能値は各論文が報告した評価条件に限定する。

オープニング：2026年10月16日 — arXiv Frontier AI論文解説

今日の5本は、「どの状態に、何を渡すか」という設計でつながる。Mambaは状態空間モデルのパラメータを入力の関数にし、何を状態に残し何を捨てるかをトークンごとに選ばせた。GQLAは同じ重みから、圧縮した潜在を読む経路とグループごとのキー・バリューを読む経路を作り、GPUと並列化の条件に応じて使い分ける。蒸留の3本は、教師の信号をどの状態で与えるかを問う。生徒が教師と食い違う位置のどこを直せば正答率が戻るか、生徒が誤った後の状態で教師は正しい目標になりうるか、そしてコーパスの経路から1歩外れた状態にも教師の分布を与えると事前学習が改善するか、である。

論文1: 入力に応じて状態を選ぶ線形時間の系列モデル、マンバ

出典: Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752 (2023).

10月8日のJamba、14日のReplaySSMはいずれもMamba層を前提にしており、その構成要素をここで原典から確認しておくため選んだ。線形時間の系列モデルとして初めて事前学習のパープレキシティと下流評価の両方でTransformerの品質に達したと主張し、コードと学習済みチェックポイントを公開したことで、後続のハイブリッドモデルの基準点になっている。カーネギーメロン大学のAlbert Gu氏とプリンストン大学のTri Dao氏が2023年12月1日に投稿したもので、新着ではない。S4以降の構造化状態空間モデルは、再帰としても畳み込みとしても計算でき、系列長に対して線形またはそれに近い費用で長距離依存を扱えたが、テキストのような離散で情報密度の高いデータではTransformerに届かなかった。著者らはその原因を、パラメータが時刻にも入力にもよらない線形時不変性（LTI）に求める。LTIのモデルは時間の位置だけで情報を扱うため、無関係なトークンを読み飛ばしたり、内容に応じて記憶を残したりできない。この弱点を、雑音の間に散らばったトークンを順に写す選択的コピー課題と、誘導ヘッド課題という二つの合成課題で示した。

手法は二つの変更からなる。第一に、離散化の刻み幅Δと入力・出力の射影BとCを入力の関数にした。Δが大きければ現在の入力で状態を上書きし、小さければ状態を保つので、Δがトークンごとのゲートとして働く。Aは入力によらないまま残すが、離散化後のAはΔを通して入力に依存する。第二に、この変更で畳み込みによる高速計算が使えなくなるため、再帰をスキャンで計算し、展開した大きな状態をGPUの主記憶に書き出さずに高速なオンチップメモリの中で処理するハードウェアを意識したアルゴリズムを設計した。A100上で従来の手法より最大3倍速い。アーキテクチャは、H3系のブロックとTransformerのMLPブロックを一つにまとめた均質なブロックを積み重ねるだけで、注意もMLPも別には持たない。推論時は過去のトークンのキャッシュを持たず、1ステップの計算時間は系列長によらない。

評価では、誘導ヘッド課題を学習時の長さを大きく超える100万トークン超まで外挿して解き、音声波形とDNA配列のモデリングでは文脈を100万長まで伸ばすほど性能が上がった。言語モデリングでは、Pileで文脈長2,048のもと、LLaMa由来の強い学習レシピのTransformer（Transformer++）を含む比較対象と10億パラメータ規模までのスケーリング則で比べ、上回ったと報告している。核心の数値は二つで、生成スループットは同規模のTransformerの5倍、Mamba-3Bは同規模のPythia-3Bより常識推論の平均で4ポイント高く、2倍の規模のPythia-7Bをも上回った。限界は著者らが明記している。評価は小さなモデル規模に限られ、Llamaや、7B以上で評価されたRWKV・RetNetのような規模での優位は未確認であり、状態空間モデルの大規模化には本論文で扱っていない工学上の課題がありうる。また、選択によって固定長の状態へ情報を圧縮する以上、すべての文脈をキャッシュする注意とは効率と表現力のトレードオフの位置が異なる。JambaやReplaySSMのように注意層や入力のキャッシュを組み合わせる後続研究は、この圧縮の限界をどこで補うかという問題に答えようとしているとも読める。

論文2: 同じ重みで2通りの実行経路を持つグループ化潜在注意

出典: GQLA: Group-Query Latent Attention for Hardware-Adaptive Decoding. arXiv:2605.15250 (2026).

10月14日のTransMLA、15日のMLAficationはGQAのモデルをMLAへ移す方向だったが、この論文はMLAの圧縮した潜在を保ったまま、標準のGQAカーネルでも実行できる形へ寄せる逆向きの設計であり、DeepSeek-V3.1-Baseの671Bモデルで変換と配信速度を測り、実装を公開しているため選んだ。前日のDoSAと同じ小紅書（シャオホンシュー）のDots Studioと北京理工大学の2人による論文で、2026年5月の初版を改訂した第4版が10月15日に公開された。出発点は、KVキャッシュの大きさだけでは復号速度が決まらないという観察である。MLAの推論は通常、キーとバリューの上方射影をクエリ側と出力側へ吸収し、全ヘッドが一つの潜在を共有するMQAとして読む（MQA吸収）。これはキャッシュの読み出し量を減らす代わりに計算量を増やす。DeepSeekの標準構成ではテンソル並列1のとき読み出し1バイトあたり約242回の演算になり、H800のBF16の境界値295には近いが、帯域に比べて演算性能の低いH20-3eの31を大きく超える。また、テンソル並列でヘッドを分割しても潜在は全GPUに複製される。MLAはヘッドごとのキー・バリューへ展開して読むこともできるが、上方射影がヘッドごとに異なるため、GQAのようにグループで共有する形にはならない。

GQLAは、各グループのクエリヘッドにキー・バリューの上方射影を共有させる。共有の潜在は残るのでMQA吸収の経路はそのまま使え、展開すればグループ数ぶんのキー・バリューを持つ通常のGQAキャッシュになり、テンソル並列でグループごとに分割できる。二つの経路は厳密な算術では同じ関数を計算し、違うのは演算強度とキャッシュの分割の仕方だけである。テンソル並列8の配備では、1トークン・1GPUあたりのキャッシュはGQA経路が640バイト、MQA吸収が1,152バイトになる。既存のチェックポイントには、校正データだけで勾配更新なしに変換するTransGQLAを用意した。GQAからはTransMLAを拡張してグループを保ち、MLAからは校正データ上のキー・バリューの共分散で似たヘッドをまとめ、グループごとに活性のPCAで共有の因子を求める。PCAの重みには、凍結した元のモデルが各トークンで示す負の対数尤度を使う。グループあたり8クエリヘッドで事前学習した場合、最終の学習損失はMLAに近く、最大規模での差はトークン数を揃えて0.0041だった。

変換後のDeepSeek-V3.1-Baseは、8課題の平均正答率が元の77.84%に対して77.79%とほぼ保たれたが、WikiText-2のパープレキシティは3.21から6.05へ上がり、変換が近似であることも数値に出ている。GQAからの変換ではより大きく品質が落ち、継続事前学習や教師ありの微調整による回復を要する。配信速度は、H20-3eを8枚使い、同じ同時処理数で比べると、GQA経路はMQA吸収より出力スループットが8Kから64Kの入力で22.42〜34.97%高かった。GPUあたりのキャッシュが小さい分だけ同時処理数を増やせるため、それぞれの容量に合わせて調整した別の比較では50.07%になる。カーネル単体では、テンソル並列1ならH800でMQA吸収、H20-3eでGQAが有利で、テンソル並列8ではどちらのGPUでもGQAが有利だった。限界として、全モデルの配信評価はH20-3eのテンソル並列8だけで、通信やテンソル並列の規模を個別に調べていない。校正は1データセット128サンプル、回復学習は乱数種1つで、小さな精度差は統計的な改善とはいえないと著者ら自身が述べている。MLAを採るか、GQAを採るかという構成の選択を、学習時の固定ではなく配備時の実行経路の選択に移した点が、この論文の設計上の主張である。

論文3: オンポリシー蒸留で教師の優位はどこにあるか

出典: Demystifying On-Policy Distillation: Where Does the Teacher's Advantage Live? arXiv:2610.19145 (2026).

これまでこの特集で読んだOPDの改良は、不確実なトークン、食い違いの大きなトークン、接頭辞、内省の語など、教師の優位がある場所についてそれぞれ異なる前提を置いていた。この新着はその前提自体を、生徒のパラメータを固定した介入実験で直接測るため選んだ。カリフォルニア大学マーセド校の5人が2026年10月に投稿した。著者らはOPDを強化学習の安価な代用品としてではなく、教師の監督に依存する知識蒸留の一種として見直す。注目するのは、同じ接頭辞のもとで生徒と教師の最上位の次トークンが異なる位置で、著者らはこれをフォークと呼ぶ。生徒はQwen3-1.7Bの非思考モード、教師はQwen3-4B-Instruct-2507で、トークナイザーが共通なので位置ごとに比較でき、問題はDAPO-Math-17kから取る。1,000問、524万トークン位置を両モデルで採点すると、フォークはロールアウトの13.93%を占め、逆KLの上位20%の位置が損失の94%を担っていた。損失が集中する位置が、本当に答えを変える位置かは別の問いである。

介入は二種類ある。単一の差し替えでは、教師が4回中4回、生徒が0回解く10問の失敗軌跡で、一つのフォークの生徒トークンを教師のトークンに替え、残りを生徒に書かせて、同じ位置から生徒が引き直した場合と比べた。成功率は9.91%から11.31%になり、同じ位置からの引き直しに対する上積みは1.41ポイントにとどまる。一方、二本立ての復号でフォークのたびに教師の最上位トークンへ差し替えると、効果は積み重なった。無作為に選んだ200問で、生徒の28.4%は1軌跡あたり約23回の差し替えで36.1%、約408回、つまりフォークのおよそ9割を差し替えると74.5%に達し、教師単独の76.9%に迫った。どのフォークを選ぶかも効く。生徒トークンに教師が与える確率が小さい位置、あるいはKLが大きい位置を選ぶと、同程度の約23〜26回の差し替えで無作為より15.4ポイント、18.1ポイント高い。ただし、個々の差し替えが効くかを特徴量から予測する性能はAUC 0.554にとどまり、集団としての選択規則は有効でも、一つひとつの位置の価値は読み取りにくい。内省の語を狙って差し替えると、その後の内省語と軌跡の長さは増えるが、正答率は無作為と有意に変わらなかった。

次に、通常のOPDで学習した生徒がこの優位をどれだけ取り込んだかを、学習前の軌跡を各チェックポイントで採点し直して追った。主の組み合わせでは、最終チェックポイントで解消したフォークは元の35.5%にとどまり、新たに教師と食い違うようになった位置が12.9%生じた。教師の最上位トークンが生徒の上位16候補に入っていない「死角」のフォークは、差し替えの効果は大きいのに、解消率は14.6%で他の37.0%を大きく下回る。上位16候補だけで計算する損失には、そのトークンを押し上げる項がないためである。さらに、Llama、Gemma、Qwenの複数の組み合わせで、フォークの解消は滑らかに進む一方で正答率は伸び悩んだり下がったりし、最上位の一致を保ったままエントロピーが上がってそのトークンの確率が下がる例もあった。学習後でも確率を基準に選んだ差し替えはなお正答率を上げ、学習で正答率が飽和していても、教師の有用な修正が尽きていないことを示す。限界として、課題は数学と指示追従に限られ、トークン単位の介入には共通のトークナイザーが必要であり、単一差し替えの実験は教師が解き生徒が解けない問題を意図的に選んだ設定である。

論文4: 教師の批評で生徒が書き直し、回復可能性を取り戻す蒸留

出典: Recovering Reliable Supervision via Critique-Guided On-Policy Distillation. arXiv:2610.20572 (2026).

前日に読んだ「Correcting or Continuing?」は、生徒の誤った接頭辞の上で教師に合わせても正答率が上がらないことを示した。この新着は同じ現象を「教師の回復可能性」という量で測り、その原因が教師の能力不足ではなく誤りへの追従にあることを切り分けたうえで改善策を示し、コードを公開しているため選んだ。ブリガムヤング大学とノースカロライナ大学チャペルヒル校の研究者が2026年10月に投稿した。回復可能性は、生徒の接頭辞から教師が続きを書いたときの期待正答率と定義される。生徒はQwen3-1.7B（OPDで80ステップ学習済み）、教師はQwen3-4B-Instruct-2507で、DAPO-Math-17kの問題を使う。正しいロールアウトでは、接頭辞が伸びても教師の回復可能性は0.93以上を保つ。誤ったロールアウトでは、教師が元々よく解ける問題でも0.82から0.29まで下がり、教師の続きが生徒の誤答で終わる割合は1%から35%に増えた。一方で、教師に誤りを指摘させると、有効な指摘の割合は回復可能性の高低によらず73〜81%で安定していた。誤りに追従しながらも、誤りは認識できているという非対称性である。誤ったロールアウトのトークンの53%は回復可能性0.2未満の接頭辞で監督されており、学習トークン全体のおよそ3分の1がそうした状態で教師の信号を受けている。

CriticOPDはこの非対称性を使う。誤ったロールアウトに対して、教師が参照解答を見ながら段落ごとに誤りと短い修正を列挙し、生徒は最後の誤りを含む段落までを残して、批評を文脈に入れて続きを書き直す。教師は批評を文脈に持ったまま書き直し部分を採点し、生徒は批評なしの文脈で学ぶ。批評は学習時だけの特権情報になり、推論時には不要である。教師が続きを書き込む既存の方法と違い、学習するトークンはすべて生徒が書いたものなので、学習時と推論時の状態分布のずれが小さい。著者らはこのずれを測り、CriticOPDが0.16で、通常のOPDの0.10よりわずかに大きいが、長い応答の後半を打ち切るFastOPDの0.21、教師に途中を引き継がせるRelayOPDの0.35より小さいと報告している。書き直し後の状態では、教師の回復可能性が0.14から0.67へ上がった。

6つの数学ベンチマークの平均で、OPDに対してQwen3-1.7Bの生徒は50.08から54.65へ4.57ポイント、Qwen3-0.6Bの生徒は4.06ポイント改善し、伸びが最も大きいのはAIMEなどの競技問題だった。構成要素を一つずつ外すと、批評を除いた場合の低下が5.90ポイントと最も大きく、参照解答だけを与えると、正しい導出なしに答えを述べる書き方を覚えてOPDを下回る。教師が批評なしで採点すると1.19ポイント下がり、批評が書き直しの質だけでなく採点の信頼性も上げていることが分かる。限界として、誤りの判定と批評に参照解答を使うため、検証できる答えのある課題に限られる。実験はQwen3の非思考モードの生徒2つと1つの教師、乱数種1つのOLMo-3の組み合わせで、領域は数学であり、コードのベンチマークでは小幅に下がった。批評のたびに教師と生徒の生成が1回ずつ増えるが、選んだチェックポイントへ早く到達するため、総計算量はOPDの0.42倍だったとしている。論文3が、学習後も教師の修正が尽きていないことを示したのに対し、この論文はその修正を誤った後の状態で生徒自身に書かせる形で取り込んでいる。

論文5: 1トークン先の分岐で事前学習の蒸留を広げる

出典: PA1-OPD: One-Step Prefix-Augmented On-Policy Distillation for Language Model Pretraining. arXiv:2610.19601 (2026).

この特集で読んできたOPDは事後学習の手法だったが、この新着はその「生徒が作った状態で教師が監督する」という考え方を事前学習の蒸留に持ち込み、OLMo2の公式チェックポイントからの継続事前学習で検証しているため選んだ。ファーウェイと北京航空航天大学の研究者が2026年10月に投稿した。事前学習の知識蒸留は、コーパスの接頭辞の上で教師の次トークン分布に合わせる。これでは、生徒自身の予測が作り出す文脈には直接の監督が届かない。かといって事前学習で完全な続きを生成するのは高くつく。

PA1-OPDは、選んだコーパスの接頭辞ごとに、現在の生徒が1トークンだけを標本し、教師と生徒の両方がそのトークンを読んだ後の状態で、生徒の次トークン分布を教師に合わせる。この分岐の損失を、通常の次トークン予測とコーパス経路上の蒸留に加える。根はすべて観測データ上にあるので、位置ごとに並列に標本でき、ツリーアテンションの注意マスクで、分岐は自分の接頭辞と自分のトークンだけを読み、他の分岐やコーパス経路には影響しないようにする。接頭辞のキャッシュは微分可能なまま共有するので、分岐の損失は接頭辞側の計算にも勾配を返す。推論時のアーキテクチャは変わらない。分岐を置く根は、全位置か、次トークン予測ですでに得られる生徒の驚き（観測トークンの負の対数確率）の上位から選ぶ。

実験は、凍結したOLMo2-7Bを教師、OLMo2-1Bを生徒とし、630億トークン時点の第1段階のチェックポイントと、第2段階の最終チェックポイントの二つから、それぞれ約100億トークンを継続学習した。全位置に分岐を置くと、両方の設定で、C4、PG-19、Pileの3つの評価コーパスの交差エントロピーが、評価したすべてのチェックポイントで通常の蒸留より低かった。第2段階では、生徒の驚きが大きい上位10%の根だけに分岐を置くと、次トークン予測に対する蒸留の改善幅に48.85%が上乗せされた。50%の被覆で比べると、驚きによる選択は、教師と生徒の観測トークン確率の差による選択より上乗せが大きく、29.07%から36.18%になった。分岐の先がたまたまコーパス経路と一致する状態を損失から除いても改善は残り、観測された文脈の外の状態に教師の分布を与えることに価値があると著者らは解釈している。一方で第1段階では、上位10%の選択はすべてのチェックポイントで通常の蒸留を下回り、全位置への被覆のほうが良かった。限界として、評価は一つのモデル系列、二つの継続設定、三つのコーパスの交差エントロピーに限られ、各条件は1回の学習で、下流タスクは測っていない。比較は学習トークン数を揃えたもので、計算量や実行時間の効率は示されておらず、主の蒸留と分岐の損失で名目上の重みの配分が異なる点も、著者らは切り分けるべき課題として挙げている。

まとめ

Mambaは、状態空間モデルのΔ・B・Cを入力の関数にして何を状態に残すかを選ばせ、ハードウェアを意識したスキャンで線形時間のまま計算し、同規模のTransformerの5倍の生成スループットと、2倍の規模のモデルに並ぶ言語モデリング性能を報告した。GQLAは、MLAの潜在を保ったままグループで上方射影を共有し、同じ重みでMQA吸収とGQAの二つの経路を選べるようにして、H20-3eの8枚構成でスループットを22〜35%上げた。蒸留の3本は、教師の信号をどの状態で与えるかを問う。フォークへの差し替えを積み重ねると生徒の正答率は28.4%から74.5%まで戻るが、通常のOPDが解消するフォークは35.5%にとどまる。生徒が誤った後の状態では教師は誤りに追従するが、誤りの指摘はでき、その批評で生徒に書き直させると平均で4ポイント以上改善した。事前学習では、コーパスから1トークン外れた状態に教師の分布を与えると、通常の蒸留の改善幅をさらに広げられる場合がある。どの研究も、状態の選び方と、その状態で与える信号の信頼性を同時に設計の対象にしている。

参考ソース

• 論文1: Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752
• 論文2: GQLA: Group-Query Latent Attention for Hardware-Adaptive Decoding. arXiv:2605.15250
• 論文3: Demystifying On-Policy Distillation: Where Does the Teacher's Advantage Live? arXiv:2610.19145
• 論文4: Recovering Reliable Supervision via Critique-Guided On-Policy Distillation. arXiv:2610.20572
• 論文5: PA1-OPD: One-Step Prefix-Augmented On-Policy Distillation for Language Model Pretraining. arXiv:2610.19601