arXiv Frontier AI論文解説（2026年10月13日）

キーワード: 局所・大域注意の5対1配置 / クロネッカー積によるKV圧縮 / 状態空間モデルの入力キャッシュ / 相対方策差の転移 / 批評条件付き自己蒸留

特集「蒸留とオープンLLMの代表的アーキテクチャ」の8回目。アーキテクチャ側は、10月10日に扱ったGemma 2の後継であるGemma 3の技術報告（2025年3月投稿）と、KVキャッシュや再帰状態を「何の形で持つか」を組み替えた新着2本（10月8日・9日投稿）を読む。蒸留側は、教師の分布そのものではなく「教師が学習で変わった差分」を渡す枠組みと、参照解答を持つ教師が生徒の誤りをどこまで指せるかを測った新着2本（いずれも10月9日投稿）を組にする。性能値は各論文が報告した評価条件に限定する。

オープニング：2026年10月13日 — arXiv Frontier AI論文解説

今日の5本は、モデルが何を保存し、学習で何を受け渡すかという一つの問いでつながる。Gemma 3は長い文脈を見る層を6層に1層へ減らしてKVキャッシュを抑え、クロネッカー積注意はキーとバリューを小さな因子の形でだけ保存する。ReplaySSMは状態空間モデルの再帰状態を毎ステップ書き戻さず、直近の入力を保存する。蒸留の2本は、教師の絶対的な分布の代わりに学習前後の差分を渡す方法と、参照解答の代わりに誤り箇所を指す批評を渡す方法であり、どちらも「強い教師がいれば信号は十分」という前提を条件つきで崩している。

論文1: 局所注意を5対1に増やし128Kトークンへ広げたジェンマ3

出典: Gemma 3 Technical Report. arXiv:2503.19786 (2025).

10月10日に扱ったGemma 2の直接の後継で、局所注意と事前学習からの蒸留という同じ設計の延長上で何を変えたかを差分として読めるため選んだ。重みは全サイズ公開されている。Google DeepMindのGemmaチームが2025年3月25日に投稿した技術報告で、新着ではない。規模は1B・4B・12B・27Bの4種で、4B以上は画像入力に対応し、文脈長は1Bが32K、それ以外が128Kである。Gemma 2との差分は大きく四つある。第一に、局所スライディングウィンドウ注意と大域注意の比を1対1から5対1へ変え、局所層の窓幅を4096から1024トークンへ縮めた。長い文脈を参照するのは6層に1層の大域層だけになる。第二に、Gemma 2のロジットのソフトキャッピングをQK正規化に置き換えた。第三に、大域層だけRoPEの基底周波数を1万から100万へ上げ、32Kの系列で事前学習した後、終盤に倍率8の位置補間で128Kへ広げた。第四に、凍結した400MのSigLIP画像エンコーダーで1枚の画像を256個のトークンに圧縮し、縦横比の違う画像は推論時に切り分けるPan & Scanで扱う。

KVキャッシュの効果は2Bのテキスト専用モデルによるアブレーションで示されている。文脈32Kで、全層が大域注意の構成はモデル本体に対して約60%のメモリ増になるのに対し、局所対大域を3対1、窓幅を1024にすると15%未満に収まる。比を7対1まで上げても検証パープレキシティへの影響は小さかったという。蒸留については、事前学習で教師の確率に応じて1トークンあたり256個のロジットを抽出し、その範囲の教師分布を交差エントロピーで学ぶ。事後学習は大型の指示追従教師からの改良版蒸留と、BOND・WARM・WARPを改良した強化学習の組合せである。著者らは、小さな生徒には小さな教師のほうがよいという通説を検証し、学習量が少ない間は小さな教師が勝つが、学習が長くなると大きな教師が逆転することを示した。人手のブラインド比較であるChatbot ArenaのEloは、27Bの指示追従版が1338で、Gemma 2 27Bの1220を上回り、DeepSeek-V3の1318より高かった。

限界として、局所・大域比と窓幅のアブレーションは2Bのテキスト専用モデルのパープレキシティで判断しており、長文脈課題の正答率では比較していない。著者ら自身、128Kを超えると性能が急速に劣化すると図示している。Eloは2025年3月8日時点の暫定値で、画像能力を含まない。標準ベンチマークの表はGemma 2とGeminiだけと比べ、外部モデルとは評価条件が揃わないとして直接比較していない。ベンチマーク汚染の可能性も著者らが認めている。

論文2: キーとバリューをクロネッカー積の因子で保存する注意

出典: Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization. arXiv:2610.12657 (2026).

10月6日に扱ったGQAとDeepSeek-V2のMLA、論文1の局所注意と同じKVキャッシュ削減の系譜にありながら、注意の範囲ではなく保存する行列の構造を変える新着で、同一条件でMHA・MQA・GQA・MLA・TPAと並べているため選んだ。ファーウェイ・カナダ（トロント）、ファーウェイのノアの方舟研究所、ウォータールー大学のチームが2026年10月8日に投稿し、小型言語モデルとエージェントに関するワークショップの論文である。出発点は、テンソル積注意（TPA）がキーとバリューをベクトルの外積の和で表して因子だけをキャッシュする方法だという点にある。著者らは、外積はベクトル同士の操作なので、ヘッド間の構造とヘッド内の特徴の構造を同時には表せないと指摘する。KPAは各トークンのキー行列とバリュー行列を、ヘッド方向の小行列 $A$ と特徴方向の小行列 $B$ のクロネッカー積の和で表し、$A$ と $B$ だけを保存する。$A$ と $B$ をベクトルに退化させるとTPAに一致するので、KPAはTPAの厳密な一般化になる。

位置符号化の扱いが二つ目の要点である。MLAは圧縮した潜在表現にRoPEを掛けられないため、圧縮しない少数の次元にRoPEを載せる分離された枝を持つ。KPAでは、単位行列とRoPE回転のクロネッカー積として定義した回転を使うと、回転は $B$ 因子にだけ作用し、注意スコアが相対位置だけに依存する性質も保たれることを定理として示した。ヘッド数を $h=h_1h_2$、ヘッド次元を $d_1d_2$ とすると、MHAに対する圧縮率は次の式になる。

$$C_{\mathrm{KPA}}=\frac{2h_1h_2d_1d_2}{(R_K+R_V)(h_1d_1+h_2d_2)}$$

$R_K$ と $R_V$ はキーとバリューのランクで、実験では2ずつである。評価はnanoGPT上のLlama型構成（SwiGLU、RoPE）を125Mから1.5Bの4規模でFineWeb-Eduの約500億トークン学習し、9つのベンチマークのゼロショット平均で比べた。比較対象の数値はTPAの論文から引用している。353Mでは、ヘッド分割を8×2にしたKPAが圧縮率6.4倍で平均52.90%となり、同じ圧縮率のTPAの51.41%を1.49ポイント上回った。773Mでは、10×2のKPAが6.7倍の圧縮で55.12%となり、MLAの53.32%とTPAの53.14%を上回った。両規模とも、ヘッド方向の因子を大きくした非対称な分割が最もよく、対称な分割は8〜8.9倍とより強く圧縮する代わりに精度を少し落とす。

限界として、因子のまま注意を計算する専用カーネルがまだなく、圧縮率は式から求めた値で、実際のメモリ使用量や生成速度は測っていない。文脈長を伸ばした評価もなく、著者らはこれを次の課題として挙げている。規模は1.5Bまで、学習量は約500億トークンで、平均の差は1〜2ポイントにとどまる。HellaSwagでは353M・773MともKPAがTPAを下回っており、平均の改善はARC-EasyやSciQなど一部の課題に偏っている。

論文3: 状態空間モデルの再帰状態の代わりに入力をキャッシュするReplaySSM

出典: ReplaySSM: Cache SSM Inputs, Not State. arXiv:2610.13778 (2026).

10月8日のJambaや10月7日のハイブリッドLMの記憶経路の論文で扱った「注意と状態空間モデル（SSM）を混ぜた構成」を、推論の実装側から読み直す新着で、Mamba-2の著者であるトライ・ダオ氏が加わり、vLLM上の実装とコードを公開しているため選んだ。プリンストン大学とNVIDIAのチームが2026年10月9日に投稿した。SSMは固定サイズの状態を持つので文脈長に対してメモリが一定だが、デコードの各ステップで状態を読み、減衰とランク1の更新をして、書き戻す。計算量が小さい割にメモリ転送が多く、Nemotron-3-Super-120B-A12Bではバッチ256、B300 1枚の条件で、10万トークン付近まではSSMの状態更新が最大の遅延要因になると測った。SSM層は注意層の5倍あり、各SSM層のFP32状態は系列あたり4MiBで、注意層のFP8キャッシュの8Kトークン分に相当する。加えて、投機的デコードで棄却されたトークンの分だけ状態を巻き戻す安い手段がなく、量子化した状態の丸め誤差が再帰に入り込んで蓄積するという問題がある。

ReplaySSMは再帰を展開し、現在の状態をチェックポイントに直近 $h$ 個の入力の寄与を足したものとして表す。

$$S_t=\gamma_h S_{\mathrm{ckpt}}+\sum_{j=1}^{h}\gamma_{j+1:h}\,v_jk_j^{\top}$$

各ステップでは入力をバッファに追加し、チェックポイントとバッファから出力だけを計算する。バッファが窓幅 $L=16$ に達したときだけ状態を畳み込んで書き戻すので、支配的な状態転送はおよそ半分になる。投機的デコードの巻き戻しはバッファのポインタ移動になり、中間状態を作らずに出力だけで検証できる。さらに、出力計算には低精度のチェックポイントを、再帰の更新には高精度のチェックポイントを使い分けられるので、低精度側の丸め誤差は以後の更新に入らない。Mamba-2系のNemotron-3とGated DeltaNet系のQwen3.5の4モデルで、バッチ256のデコード1ステップ全体が調整済みvLLMより1.20〜1.47倍速くなった。120B級の2モデルの投機的デコードでは、バッチ256でvLLMの投機的デコードの約1.8倍のスループットを出した。状態をNVFP4で共有する構成はGPQA-Diamondで4モデル平均13.05ポイント落ちたが、読み出しをNVFP4、再帰をFP16にすると損失は2.36ポイントに縮んだ。

限界として、バッチ1ではカーネルがメモリ帯域ではなく遅延で律速されるため、改善は誤差の範囲にとどまる。全体の速度向上はデコード時間に占めるSSMの比率で頭打ちになり、注意やほかの層は変わらない。投機的デコードの評価はGSM8Kのプロンプトに1リクエスト256トークンを生成する条件だけで、いずれもGPU 1枚・テンソル並列なしの測定である。NVFP4の読み出しは誤差の蓄積こそ止めるが、FP32状態の水準より数倍大きいKLを残す。

論文4: 強い教師より学習で生じた差分を渡すオンポリシー蒸留

出典: Rethinking Relative Policy Differences Transfer of On-Policy Distillation. arXiv:2610.13205 (2026).

10月10日に扱った「大きな教師ではオンポリシー蒸留（OPD）の学習信号が消える」という研究と同じ問題、すなわち教師が生徒より十分強くないと信号が弱いという制約に対し、教師を強くする代わりに渡す信号を変える立場から系統的な比較を示した新着で、コードも公開されているため選んだ。浙江大学、上海人工知能実験室、復旦大学などのチームが2026年10月9日に投稿した。著者らはまず、通常のOPDの逆KL目的を、教師と生徒初期値の対数確率比を報酬とし、生徒初期値へのKLで縛る方策最適化として書き直す。このとき報酬と正則化に同じ参照方策が現れて打ち消し合うため、通常のOPDは教師の分布への絶対的な一致になる。そこで、代理の熟練モデル $\pi_\phi^{+}$ とその参照 $\pi_\phi$ の対数確率差 $\Delta_\phi$ を、生徒とは別の参照を持つ目的に渡す。

$$\mathcal{J}_{\mathrm{A^2}}(\theta)=\mathbb{E}\left[\alpha\,\Delta_\phi(s,a)-\beta\,D_{\mathrm{KL}}\!\left(\pi_\theta(\cdot\mid s)\,\|\,\pi_{\mathrm{ref}}(\cdot\mid s)\right)\right],\qquad \Delta_\phi=\log\frac{\pi_\phi^{+}}{\pi_\phi}$$

熟練モデルを教師、参照を生徒初期値、$\alpha=\beta$ とすると通常のOPDに戻る。規模も世代も異なるモデル間で差分を渡せるので、著者らはこれをany-to-anyの転移（A²-OPD）と呼ぶ。実験はQwen3とQwen2.5の系列で、数学8ベンチマークとコード3ベンチマークを使い、計算量を抑えるため語彙全体ではなく上位16トークンの分布で近似した。

生徒をQwen3-8B（数学平均18.43%）に固定すると、Qwen3-4Bを強化学習した版と元のQwen3-4Bの差分を渡したとき平均が26.84ポイント上がった。一方、規模だけが違う組では、Qwen3-14BとQwen3-4Bの差分で+0.02、Qwen3-8BとQwen3-4Bの差分で−1.03と、ほぼ効果がなかった。更新の大きさを揃えても差は残り、参照をQwen3-1.7Bにした場合、強化学習由来の差分は+25.85、規模由来の差分は+3.42だった。著者らは、強いモデルが必ずしもよい教師ではなく、タスクに向けた学習（強化学習でもSFTでも）が作った差分だけが安定して移ると結論している。参照の役割も切り分けられ、参照を強化学習の初期チェックポイントに替えると、熟練モデルと共有済みの能力が差し引かれて上昇は9.62ポイントに縮んだ。受け手側の相性も効き、Qwen3の差分はQwen2.5系の生徒にはほぼ移らなかった（−2.46〜+2.72）が、参照をQwen2.5-3Bに替えると+6.74などへ回復した。方策間の距離そのものは転移の成否を予測しなかった。

限界として、実験はQwen系列の中だけで、転移の強さ $\alpha/\beta$ は1に固定され、上位16トークンの近似に依存する。世代の相性を参照の系列合わせで回復できたのは一つの有効な選択として示されたもので、なぜ規模の差分が移らないかは方向の議論と重なり率の観察にとどまる。タスクも数学とコードに限られる。

論文5: 参照解答で採点するだけの教師は誤りを探せないという診断

出典: A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning. arXiv:2610.13744 (2026).

参照解答を見た同じモデルを教師とするオンポリシー自己蒸留（OPSD）が、生徒の誤り箇所で本当に修正の信号を出しているかを、誤り位置の正解ラベルに対して直接測った新着で、論文4の暗黙の報酬という見方を、信号の中身の側から検証できるため選んだ。AI企業のFin.aiとダブリンシティ大学のチームが2026年10月9日に投稿したワークショップ論文である。検証可能な報酬による強化学習は一つの解答に1ビットしか与えず、グループ内の解答がすべて誤りなら優位度がゼロになって勾配が消える。OPSDはそこを埋めるため、参照解答を文脈に入れた教師で生徒の解答を採点し、各トークンの分布のずれを密な信号として使う。著者らは、OPSDが使う二つの信号、つまり分布全体のKLと生徒トークンの対数確率比が、誤り箇所に集中するか（局在）、誤ったトークンの確率を下げるか（修正）を、Qwen3-1.7B、Olmo-3-7B-Think、Olmo-3-32B-Thinkの解答で調べた。課題は騎士と嘘つきの論理パズルとDeepMathの2難易度で、誤り位置は採点用のLLMが示した候補を、別の2つのLLMがともに認めたものだけを正解とした。

参照解答で条件づけた信号は、誤り直後の窓でも正しい文の基準からほとんど離れず、どの設定でも局在と修正の基準を同時には満たさなかった。Qwen3-1.7Bの論理パズルでは、誤り直後の窓が自分の正しい区間の基準から標準偏差の何倍離れるかを表すスコアが、局在で−0.17、修正で+0.11だった。同じ問題の正解と誤答を並べても、全12条件で正誤を偶然以上には見分けられず、教師を8Bに大きくしても改善しなかった。一方、同じ情報を持つモデルに誤りの文の引用と理由を書く批評を生成させると、外部の強い批評役であるGPT-5.2は57〜67%の誤答で正解位置の前後5文以内を指し、自己批評でも18〜21%で指せた。この批評を参照解答の代わりに教師の文脈へ入れると、同じ条件のスコアは局在+0.75、修正−0.62に変わり、誤り後の予測が「Wait」「But」のような自己修正の語へ移る割合は論理パズルで23.9%（対照7.7%）になった。テスト時の応用では、Olmo-3-32B-Thinkが8回の生成で一度も解けなかった19問で、批評を入れて途中から再開すると正答率が4.3%から9.3%になった。

限界は著者らが三点挙げている。訓練での検証は320問のパズルと100ステップの小規模なもので、本格的な強化学習の規模では試していない。批評の生成は追加の計算を要し、生徒自身が批評する場合でステップ時間の6%、外部APIでは約5分の1増える。そして、すべての批評は参照解答を見ながら書かれており、示されたのは特権情報を教師が使える形に変換できることで、モデルが自力で誤りを直せることではない。誤り位置の正解自体がLLMの判定に依存している点も、結果の解釈の範囲を決める。

まとめ

Gemma 3は大域層を6層に1層へ減らしてKVキャッシュの増加を15%未満に抑え、事前学習の蒸留では学習が長いほど大きな教師が有利になると報告した。クロネッカー積注意は、保存する因子の構造を変えるだけで、6.4〜6.7倍の圧縮でもTPAやMLAを平均で上回ったが、実メモリと速度の測定はまだない。ReplaySSMは状態ではなく入力を保存することで、状態転送の半減、投機的デコードの安い巻き戻し、低精度状態の誤差の遮断を一つの表現で実現した。蒸留の2本は、渡す信号の中身を問い直した。強い教師の分布よりタスク学習で生じた差分のほうが移り、参照解答による採点よりも誤りを指す批評のほうが修正の信号になる。どちらも、教師の強さより信号が何を指しているかで蒸留の効き方が決まることを、対照実験で示している。

参考ソース

• 論文1: Gemma 3 Technical Report. arXiv:2503.19786
• 論文2: Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization. arXiv:2610.12657
• 論文3: ReplaySSM: Cache SSM Inputs, Not State. arXiv:2610.13778
• 論文4: Rethinking Relative Policy Differences Transfer of On-Policy Distillation. arXiv:2610.13205
• 論文5: A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning. arXiv:2610.13744