arXiv Frontier AI論文解説（2026年10月18日）

キーワード: Kimi K2とMuonClip / 疎性スケーリング則 / ハイブリッドLLMの接頭辞キャッシュ / 逆向き思考連鎖の翻訳 / 局所的な文脈蒸留 / 未検証の仲間解答からの自己蒸留

特集「蒸留とオープンLLMの代表的アーキテクチャ」の13回目。アーキテクチャ側は、10月7日に読んだDeepSeek-V3の構成を引き継ぎつつ、専門家を256個から384個へ増やし、注意ヘッドを128本から64本へ半減させたKimi K2の技術報告（2025年7月投稿）と、Gated DeltaNetを挟んだハイブリッドLLMで、線形注意の再帰状態を保存せずに直近の入力から作り直す接頭辞キャッシュの新着を読む。蒸留側は新着3本で、答えを見せて書かせた推論過程を答えを見ない推論過程の分布へ翻訳する蒸留データ生成、生徒の軌跡のうち直すべき区間だけを教師に書き直させる文脈蒸留、正誤を判定していない同じ問題の解答どうしから、向きの一致した予測の変化だけを取り出す自己蒸留を扱う。5本とも、高くつく工程（専門家を増やした分の計算、再帰状態のチェックポイント、棄却サンプリング、全軌跡の書き直し、正解による検証）を安い代替に置き換え、その代替が元の工程にどこまで届くかを測っている。性能値は各論文が報告した評価条件に限る。

オープニング：2026年10月18日 — arXiv Frontier AI論文解説

今日の5本は、高くつく工程をどこで安い代替に置き換えるかという設計でつながる。Kimi K2は、専門家の総数を増やす疎性の拡大で損失を下げ、その代わりに長文脈で重くなる注意ヘッドを半分にした。また、Muon最適化で起きる注意ロジットの爆発を、順伝播を変えずに重みの縮小だけで抑えた。Tail-Replayは、ハイブリッドLLMの線形注意層の状態チェックポイントを持たず、接頭辞の末尾5〜10%を再生して状態を近似する。蒸留の3本は、教師信号の作り方を扱う。CoTranslatorは棄却サンプリングの代わりに翻訳器を1回呼び、LoCDは教師の書き直しを局所的な区間に限り、SRDは正解の代わりに複数の仲間解答の一致を使う。

論文1: 専門家を384個に増やし注意ヘッドを半分にした1兆パラメータの公開モデル

出典: Kimi K2: Open Agentic Intelligence. arXiv:2507.20534 (2025).

10月7日に読んだDeepSeek-V3の構成（MLAと超疎なMoE）を下敷きにしながら、専門家数・注意ヘッド数・最適化手法を自前のスケーリング実験で選び直した公開モデルの技術報告であり、ベースモデルと事後学習済みモデルの重みが公開されているため選んだ。Moonshot AIのKimiチームが2025年7月に投稿したもので、新着ではない。総パラメータは1.04兆、活性パラメータは320億で、15.5兆トークンで事前学習した。隠れ次元7168、専門家の中間次元2048はDeepSeek-V3に近いが、二つの数を変えている。一つは専門家の総数で、256個から384個に増やし、1トークンあたり8個を活性化する。著者らは総専門家数と活性専門家数の比を疎性と定義し、活性パラメータ（つまりFLOPs）を固定して疎性だけを上げると、学習損失と検証損失がともに一貫して下がると報告した。検証損失1.5に到達するのに必要なFLOPsは、疎性48のとき、疎性8、16、32に比べてそれぞれ1.69分の1、1.39分の1、1.15分の1になる。疎性をさらに上げることは、インフラの複雑さとの兼ね合いで見送った。

もう一つは注意ヘッド数で、DeepSeek-V3が層数の約2倍とした128本を64本に減らした。系列長128Kでは、専門家384個のままヘッドを64本から128本にすると推論FLOPsが83%増える。一方、トークン数をそろえた比較では、ヘッドを2倍にしても検証損失の改善は0.5〜1.2%にとどまったので、エージェント用途で長文脈を多く処理することを優先して64本を選んだ。最適化手法は、同じ計算量でAdamWを上回ると前作で報告したMuonを使うが、規模を上げると注意ロジットが爆発する。活性90億・総530億の中規模MoEを素のMuonで学習すると、最大ロジットはすぐに1000を超えた。ロジットのソフトキャップはクリップ前のクエリとキーの内積の増大を止められず、QK-NormはMLAではキーの行列を推論時に実体化しないため使えない。そこで著者らはQK-Clipを提案した。バッチ内でヘッド $h$ の最大ロジット $S^h_{\max}$ を測り、閾値 $\tau$ を超えたヘッドだけ、更新後にクエリとキーの射影重みを縮める。

$$\gamma_h=\min\left(1,\ \frac{\tau}{S^h_{\max}}\right)$$

MLAでは、ヘッド固有のクエリ・キー成分をそれぞれ $\sqrt{\gamma_h}$ 倍、ヘッド固有の回転位置成分のクエリを $\gamma_h$ 倍にし、全ヘッドで共有する回転位置成分のキーは他のヘッドに影響するので触らない。当該ステップの順伝播と逆伝播は変えず、最大ロジットを次の重みの伸びを抑える信号としてだけ使う点が、ソフトキャップとの違いである。$\tau=100$ で学習した本番では、最大ロジットは序盤に100で頭打ちになり、その後は $\tau$ を調整しなくても通常の範囲まで自然に下がり、15.5兆トークンの学習を通して損失スパイクは一度も起きなかった。事後学習では、ツール利用の軌跡を大規模に合成するパイプラインと、検証可能な報酬に自己批評ルーブリックの報酬を組み合わせた強化学習を使う。思考モードを使わない評価で、SWE-bench Verified 65.8、Tau2-Bench 66.1、AIME 2025 49.5、GPQA-Diamond 75.1を報告した。比較は非思考モードに限られ、長い思考を使うモデルとの比較ではない。QK-Clipの有効性は90億活性規模と本番の1回の学習で示されたもので、閾値の選び方や、MLA以外の注意機構での効果は示されていない。

論文2: 線形注意の再帰状態を直近の入力から再構成する接頭辞キャッシュ

出典: Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs. arXiv:2608.30310 (2026).

10月13日のReplaySSMはハイブリッドLLMのデコード中の状態転送を扱ったが、この論文は同じ構成の、接頭辞キャッシュでの再利用という別の工程を扱う。Qwen3.5やOLMo-Hybridのような実在の公開ハイブリッドモデル3種で評価しており、ハイブリッド化が進むオープンLLMの運用上の問題を具体的に示すので選んだ。中国電信人工知能研究院（TeleAI）と上海交通大学のチームによる論文で、NeurIPS 2026のMachine Learning for Systemsワークショップ向けに書かれている。全注意（FA）層のKVキャッシュはトークン単位で番地を持つので任意の位置で切って再利用できるが、Gated DeltaNetのような線形注意層は接頭辞を再帰状態に上書きで要約するため、状態を任意の過去の位置へ巻き戻せない。著者らはこれを接頭辞キャッシュにおける線形注意の呪いと呼ぶ。MarconiやSparse Prefix Cachingなどの既存手法は再帰状態のチェックポイントを保存するが、再利用できるのはチェックポイントを置いた位置だけで、トークン単位で一致した共有接頭辞の長さを使い切れない。

Tail-Replayの着眼は、Gated DeltaNetの更新 $S_i=\alpha_i(I-\beta_ik_ik_i^{\top})S_{i-1}+\beta_iv_ik_i^{\top}$ のゲート $\alpha_i\in(0,1]$ が古い入力の寄与を徐々に減衰させるので、再帰状態は接頭辞の構造化された非可逆圧縮とみなせ、一致した接頭辞の末尾だけを再生すれば状態をよく近似できる、という点にある。キャッシュにはFA層のKVと、各FA層の出力隠れ状態をトークンごとに保存し、再帰状態のチェックポイントは持たない。モデルを「FA層1つと、それに続く線形注意層群」のグループに分け、一致長 $m$ に対して末尾 $k=\lceil rm\rceil$ 個の隠れ状態を、ゼロ初期化した状態から各グループ独立に再生する。各グループの最初の線形注意層への入力は保存した正確な値なので、近似誤差はグループ内に閉じる。さらに、再生ではグループ最後の層のFFNを省き、ホストからGPUへのKV転送を再生と並行させる。OLMo-Hybrid-7B、Qwen3.5-4B、Qwen3.6-27BをH100で評価し、再生率5%ではLongBenchで全プリフィルの品質の92.8〜98.9%、RULERで93.1〜99.9%を保った。10%ではLongBenchが93.9〜98.1%、RULERが96.7〜99.9%で、下限は上がるが上限はほぼ変わらない。初回トークンまでの時間（TTFT）は、32Kの一致接頭辞で全プリフィルより9.8倍、9.1倍、14.3倍短くなり、転送と再生の重ね合わせとFFN省略で、直列の転送に比べてさらに約18〜41%短縮した。再生率を10%にすると、32Kでは再生が支配的になりTTFTが伸びる。結果は近似であり、品質が最大で約7%落ちる組合せがある。キャッシュにFA層の出力隠れ状態がトークンごとに加わるので、チェックポイントを省いた分の保存量と比べた収支は利用形態に依存する。評価はGated DeltaNet系の3モデルと32Kまでの接頭辞に限られ、減衰が弱い線形注意で同じ近似が成り立つかは示されていない。

論文3: 答えを見て書いた推論過程を、答えを見ない推論過程へ翻訳する蒸留データ生成

出典: CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation. arXiv:2610.20828 (2026).

推論蒸留のデータ作りの費用という、オンポリシー蒸留の手法比較とは別の段階を扱う新着で、10月14日のBoundaryEvoが「どの問題を選ぶか」を扱ったのに対し、「同じ問題の推論過程をいかに安く作るか」を問う。翻訳器と生徒をQwen3系で、教師をDeepSeek-V4-Proで構成し、教師を替えた転移まで調べているため選んだ。清華大学、Ant Group、Xiaomiの研究者による2026年10月の投稿である。問題だけを与えて教師に推論させ、正答した応答だけを残す前向き生成と棄却サンプリング（RS）は検証済みのデータを作れるが、難問では採択までに多くの呼び出しが要る。問題と答えの両方を与える逆向き生成は安いが、教師が既知の答えを後付けで正当化しやすく、答えを知らずに推論する生徒の推論時の条件と食い違う。答えを伏せるよう指示する意味的抑制（SUP）などの既存手法も、教師に答え自体は渡している。

著者らは、逆向きの応答と、同じ問題の棄却サンプリング済みの前向きの応答との差を、機械翻訳の問題とみなした。少数の問題で両者の組を集め、逆向きの応答だけを入力として前向きの応答を出力する翻訳器を教師強制で学習する。問題と答えを翻訳器に渡さないのは、問題から答えへ直接たどる抜け道を塞ぎ、翻訳そのものを学ばせるためである。翻訳器はQwen3-4B-Thinking-2507から学習し、Nemotron-SFT-Math-v4の思考連鎖サブセットの1/8から作った3.57万組を使う。目標側はDeepSeek-V4-Proが生成して棄却サンプリングと正解照合を経た応答である。学習後は1問あたり教師1回と翻訳器1回の呼び出しで、約28.55万件の生徒用データを作る。Qwen3とQwen2.5-Mathの6種の生徒と、AIME 2025/2026、HMMT、Omni-MATH、IMO-AnswerBenchを含む6つの数学ベンチマークで、平均精度はすべての生徒でSUPを上回り、Qwen3-4B-Baseでは5.82ポイント上がって、RSのデータで学習した場合の平均も上回った。4Bの2生徒は、推定計算量の35.9%でRSの平均精度の95.0%を保った。罰則の警告を加えたSUP-AUGはSUPより悪く、答え漏れを指示で抑える方向には限界がある。翻訳器を再学習せずに、46万問の別の数学データセットへ移すと4B/8B生徒で4.76/1.66ポイント、教師をKimi-K3に替えると18.73/19.02ポイント、理工系の問題では4.88/4.31ポイント、SUPを上回った。Kimi-K3は応答の早い段階で答えを漏らす傾向があり、翻訳がその崩れを回復した。分布の近さでは、棄却サンプリングの試行回数で分けたどの難易度でも、MAUVEとコサイン類似度が最も高く、MMDが最も低かった。限界として、生徒は8Bまで、学習は教師ありファインチューニングだけで、強化学習やオンポリシー蒸留との組合せは扱っていない。翻訳器自体の学習には棄却サンプリングで作った組が要るので、RSの費用はゼロにはならず、少数の組へ移しただけである。

論文4: 直すべき区間だけを教師に書き直させる文脈蒸留

出典: Learning from Interaction Experience via Localized Context Distillation. arXiv:2610.21427 (2026).

10月15日に読んだ「誤った生徒の接頭辞の上でのオンポリシー蒸留は正答率を改善しない」という負の結果に対し、生徒が自力で出せない振る舞いをどう教えるかを、オフポリシーとオンポリシーの中間で答える新着である。数学、コード、WebShopやALFWorldなどのエージェント課題、SWE-benchまで同じ枠組みで比べているので選んだ。Tencent Workbuddyチームと香港中文大学、浙江大学、香港科技大学の研究者による2026年10月の投稿である。文脈蒸留では、相互作用の経験から抽出した特権文脈を教師だけに与え、その振る舞いを文脈を持たない生徒へ蒸留する。教師の軌跡で学ぶオフポリシー型は露出バイアスを抱え、生徒自身の軌跡で学ぶオンポリシー型は、生徒がまだ出せない振る舞いを含む状態に到達できない。著者らはまず、OpenThoughtsの数学問題を、生徒の初期正答率（128回の生成の平均）で分けて調べた。初期正答率が60%を超える問題ではオンポリシー型が特権文脈による改善の多くを取り込み、オフポリシー型を上回るが、正答率が下がると優位は消え、128回すべて不正解の問題ではオンポリシー型はほとんど改善しない。架空の事実を覚えさせる課題で答えの長さを4、8、16、32トークンと変えると、オンポリシー型は短い答えから順に学習が始まり、32トークンは同じ学習量で他より低いままだった。教師の監督が生徒の接頭辞の上にしか与えられないので、新しい振る舞いの後半は前半が生徒の生成に現れてから初めて学べる、という逐次依存を示す結果である。

LoCD（局所的文脈蒸留）は2段階で動く。まず生徒と同じモデルにプロンプトで、軌跡のうち修正が要る重要区間の始点と終点を特定させ、その区間に対応する特権文脈を割り当てる。次に、生徒の接頭辞をそのまま残し、教師がその区間の始点から特権文脈つきで書き直し、終点で生成を打ち切る。生徒はその局所区間についてだけ教師との逆KLで学ぶ。修正の起点を生徒が実際に訪れた状態に固定しつつ、生徒が出せない振る舞いを教師が直接示せ、教師が生成した接頭辞による分布のずれをその区間に閉じ込める。Qwen3-8B（非思考モード）で、8つの数学ベンチマークの平均は48.04で、最強の比較手法OPCDの42.39を上回り（無適応のベースは31.81）、すべてのベンチマークで最良だった。コードの平均解答率は最強の比較手法の14.55%に対して17.20%で、WebShopとALFWorldでは最強の比較手法をそれぞれ5.60ポイント、7.46ポイント上回り、Qwen3-Coder-30B-A3BによるSWE-bench Verifiedでも解決率が最も高かった。学習の推移では、比較したオンポリシー型とオフポリシー型が方策エントロピーを下げ続けたのに対し、LoCDはエントロピーを安定に保ち、累積のパラメータ変化が小さく、更新も疎だった。アブレーションでは、修正位置を無作為にする、経験を丸ごと文脈に入れる、区間でなく残り全体を書き直す、のいずれも性能が下がり、残り全体を書き直すほうが監督の量は多いのに悪化した。限界として、区間の特定と文脈の抽出は生徒と同じモデルへのプロンプトに頼るので、その精度が教師信号の質を決める。数学とコードでは参照解答や公式解説をフィードバックとして使っており、正解を持たない設定での特定精度は別の問題として残る。

論文5: 正誤を確かめていない仲間の解答から、一致した変化だけを学ぶ自己蒸留

出典: Learning from Unverified Peers via Shared Residual Distillation. arXiv:2610.22080 (2026).

参照解答、検証可能な報酬、外部教師のどれも使わずに、モデル自身の未検証の解答から密な教師信号を作るという、これまで読んだ特権自己蒸留（OPSD）より監督を一段減らした設定を扱い、Qwen3の3規模でAIMEの平均が大きく上がったと報告しているので選んだ。上海交通大学の研究者による2026年10月の投稿である。多数決の答えで擬似報酬を作るTTRLも正解なしで学習できるが、答え単位の基準を立てる点は変わらない。著者らは、最終答えが誤った解答にも有用な分解や途中の導出が含まれうることに着目し、どの解答が正しいかを決めずに学べるかを問う。

SRD（共有残差蒸留）は、同じ問題について現在の方策から $K=4$ 本の軌跡を生成し、うち $M=2$ 本を仲間、残り2本を蒸留対象とする。凍結した初期モデルに対象軌跡の接頭辞を与え、仲間の解答を文脈に入れた場合の次トークン分布 $q_j$ と、同じバッチの別の問題の解答を入れた対照の分布 $q_c$ を求める。対照は、解答文を文脈に足すこと自体が生む一般的な分布の変化を差し引くための基準である。仲間ごとの対数比 $d_j(v)=\log(q_j(v)/q_c(v))$ を、問題だけを与えた分布 $q_0$ で重み付けした平均で中心化して残差 $\delta_j(v)$ とし、語彙の各トークンについて、全仲間で符号が一致するときだけ最も小さい大きさを残す。

$$r_M(v)=\begin{cases}\min_j\delta_j(v) & \min_j\delta_j(v)>0\\ \max_j\delta_j(v) & \max_j\delta_j(v)<0\\ 0 & \text{otherwise}\end{cases}$$

$M=2$ ではミンモッド規則に一致する。この残差を $q_0$ に加えた分布を教師目標にし、生徒は問題と自分の接頭辞だけから学ぶので、推論時に仲間の解答は要らない。OpenThoughtsの数学サブセット約2.94万問を、参照解答を使わずに問題だけで学習し、非思考モードで評価した。AIME24〜26のavg@12平均は、Qwen3-1.7Bで11.02から16.20、4Bで19.07から45.46、8Bで21.39から54.44に上がり、IFEvalとMMLU-Proはベースモデルから落ちなかった。参照解答を教師の文脈に入れるOPSDは、4Bで24.63にとどまり、平均応答長は9,562トークンで、SRDの7,537トークンより長かった。アブレーションでは、符号一致の後に平均を取ると37.50、同じ疎さで無作為にマスクすると38.61、対照を $q_0$ に替えると41.02で、いずれも完全なSRDの45.46を下回り、最小の大きさを選ぶ保守性と別問題の対照の両方が効いている。ただし、比較のチェックポイントはSRDとOPSDで50ステップ、GRPOとTTRLで300ステップと事前に固定したもので、4BのSRDは100ステップで31.85まで下がった（8Bでは53.61とほぼ維持）。最良値は学習の長さに敏感である。著者ら自身、仲間の一致は推論の正しさを保証せず、対照の解答文の内容が残差の向きを変えうること、効果は数学に限って示したことを限界に挙げている。

まとめ

Kimi K2は、活性パラメータを固定したまま専門家を384個に増やす疎性48で同じ損失に要るFLOPsを疎性8より1.69分の1にし、ヘッドを64本に減らして128Kでの推論FLOPsの83%増を避け、QK-Clipで15.5兆トークンを損失スパイクなしに学習した。Tail-Replayは、ゲートによる減衰を根拠に、ハイブリッドLLMの再帰状態を接頭辞の末尾5%の再生で近似し、全プリフィルの品質の92.8%以上を保ってTTFTを32Kで最大14.3倍短くした。蒸留の3本は、高価な監督の代替を作った。CoTranslatorは逆向き推論過程の翻訳で、棄却サンプリングの35.9%の計算で精度の95.0%を保ち、LoCDは書き直しを重要区間に限ってQwen3-8Bの数学平均で最強の比較手法の42.39に対し48.04を出し、SRDは未検証の仲間解答の符号一致だけでQwen3-4BのAIME平均を19.07から45.46に上げた。いずれも代替が元の工程に届く範囲は、再生率、翻訳器の学習データ、区間特定の精度、学習ステップ数といった条件で区切られている。

参考ソース

• 論文1: Kimi K2: Open Agentic Intelligence. arXiv:2507.20534
• 論文2: Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs. arXiv:2608.30310
• 論文3: CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation. arXiv:2610.20828
• 論文4: Learning from Interaction Experience via Localized Context Distillation. arXiv:2610.21427
• 論文5: Learning from Unverified Peers via Shared Residual Distillation. arXiv:2610.22080