arXiv Frontier AI論文解説（2026年9月30日）

キーワード: 入れ子型言語モデルの確率的接頭辞学習 / ループ型MoEの平坦化 / KVキャッシュを流す文脈圧縮 / 統合モデルの内省的修正と強化学習 / 分布整合蒸留の誤差射影

本日は、1回の学習で20通りのどの深さで切っても言語モデルとして使える入れ子型Transformer、パラメータと計算量を固定したままループ型MoEの層・専門家・反復回数の配分を組み替える設計、文脈圧縮のたびに発生する再プリフィルをKVキャッシュの引き継ぎで消すエージェント強化学習の手法、画像を見て自分で直す統合マルチモーダルモデルに軌跡単位の強化学習を掛ける研究、そして動画拡散モデルの少ステップ蒸留で批評器の誤差を1行の射影で取り除く手法を扱う。数値はいずれも各論文のarXiv HTML本文の報告値による。

オープニング：2026年9月30日 — arXiv Frontier AI論文解説

5本に共通するのは、アーキテクチャや推論時の手順をほとんど変えずに、学習目的や更新の組み立て方だけで振る舞いが大きく変わるという結果である。1本目は同じ入れ子構造のまま目的関数だけを替え、固定出口以外で崩壊していた中間の深さを使えるようにした。2本目は専門家の総パラメータと1トークンあたりの計算を固定したまま、配置を変えるだけで損失を下げる。3本目は圧縮戦略そのものには手を付けず、キャッシュの扱いだけで学習時間を最大5分の1にする。4本目は、強化学習が新しい能力を作るのではなく、模倣学習の段階ですでに出せていた修正のうち成功するものを選ぶようにしたと分析し、5本目は既存の計算に含まれる残差を使って蒸留の不安定化を抑える。

論文1: 1回の学習で全ての深さが使える言語モデル

出典: Telescopic Language Models. arXiv:2609.35769 (2026).

採用理由は、1つのモデルで多数の計算予算に対応するという実用上の要求に対し、入れ子構造そのものではなく学習目的が「どの深さで切っても使えるか」を決めていることを、同一データ・同一構造の対照実験で示した点にある。ケンブリッジ大学とGoogleのチームによる研究である。先行手法のMatryoshka Language Model Suites（MLMS）は、幅と深さが段階的に増える3つの部分モデルを1本のTransformerに積み、3つの固定出口だけを教師付けして蒸留を加える。著者らがこの構造を再実装して調べると、学習した出口では検証パープレキシティが約20なのに対し、出口以外の深さでは10の2乗から10の5乗に達し、1層目では約43万9千と、語彙数49,152に対応する偶然水準さえ上回った。構造上は連続した選択肢があるように見えても、実際に使えるのは3点だけである。

提案する Telescopic Language Model（TLM）は、構造を一切変えずに目的関数だけを替える。各ステップで深さkを分布πから1つ抽出し、その接頭辞の次トークン損失と、同じバッチでの全層モデルの損失を足す。1ステップあたりの前向き・逆伝播は2回に固定され、推論時は好きな深さで切り捨てて使うだけである。

$$\mathcal{L}_{\mathrm{step}}(\theta)=\lambda\,\ell\big(F_{\tilde k}(x;\theta),y\big)+\gamma\,\ell\big(F_N(x;\theta),y\big),\qquad \tilde k\sim\pi$$

2億パラメータ規模の代理構成で、FineWeb-Eduの200億トークンを全手法で同一の順序に流して比較した。一様分布の抽出では、20層のどの接頭辞も妥当な言語モデルになり、パープレキシティは1層目の81から20層目の15まで滑らかに下がる。品質と予算の曲線の下側面積は、MLMSの4構成の5.73〜5.90に対し3.28で、43〜44%の削減になった。全層での品質は14.99で、MLMSの14.96〜15.42の範囲内に収まる。MLMSの出口と出口の中間にあたる13層目では、TLMが22.6を保つのに対しMLMSは285に崩れる。学習コストは131 GPU時間で、蒸留なしのMLMSの149より約12%少ない。一方で、全層より小さい2つの学習済み出口ではMLMSが優位で、5千万パラメータ相当の出口では21.89対24.38である。抽出分布πを出口の深さに集中させると出口での品質は上がるが、出口以外は再びMLMSと同様に崩れる。全層の損失項を外すと中間の深さの品質は変わらないまま全層のパープレキシティが22.32に悪化し、抽出分布が中間の深さを、全層の項が最高品質を支えるという役割分担が確認されている。MLMSの崩壊は出力ヘッドだけの微調整で一部回復するが、それでもTLMの接頭辞より約6倍悪い。限界として、証拠は2億パラメータ規模の単一データセットで、各設定の乱数種は基本的に1つである。80億〜700億規模で同じ分離が成り立つかは未検証で、パラメータ数の軸では埋め込みと出力層を共有するため利点が縮む。1回の生成の途中で深さを切り替えるにはKVキャッシュの扱いという別の問題が残る。

論文2: ループ型MoEは専門家を平らにし注意を分ける

出典: How to Loop MoE: Flatten the Experts, Untie the Attention. arXiv:2609.35751 (2026).

採用理由は、同じ層を繰り返し使うループ型Transformerと、多数の専門家から少数を選ぶ疎なMoEという2つの効率化の考え方を組み合わせるとき、専門家の総パラメータと1トークンあたりの専門家計算を固定した条件で「どう配置すべきか」を系統的に比較した点にある。ケース・ウェスタン・リザーブ大学と京都大学、国立情報学研究所のチームによる。ループさせると、1トークンは反復のたびに同じ層で新たなルーティング判断を受けるので、追加の専門家パラメータなしに異なる専門家へ届く。著者らの測定では、トークンが到達する異なる専門家の数は、ループなしの16から8回反復で36に増えた。

提案手法Foilは2つの操作からなる。第1は平坦化で、ループするブロックの層数を半分にし、1層あたりの専門家数と反復回数を2倍にする。専門家の総数、1トークンあたりの専門家呼び出し回数、実効的な深さは変わらず、各ルーティング判断の選択肢だけが広がる。基準の8専門家・8層・2回反復から3段階平坦化すると64専門家・1層・16回反復になり、展開したときの等価な専門家数は128から1024に増える。第2は注意機構の非共有化で、専門家とルーターは反復間で共有したまま、各反復に固有の注意パラメータを持たせる。通常のループ型モデルは注意も共有するので、平坦化すると注意のパラメータが捨てられるが、非共有化はそれを計算量の追加なしに取り戻す。基準モデルとFoilはいずれも5億5,370万パラメータで、各トークンは上位2つの専門家へ送られる。

200億トークンの事前学習では、3つのFoilがすべて基準より低い損失に達した。1,000億トークンまで継続学習すると、平坦化の度合いに応じて損失が単調に下がり、最も平坦なFoil-1は同じパラメータと計算量で基準より0.012ナット低かった。下流の3課題では、Foilは基準と同等か、標準誤差の1〜2倍の幅で上回る程度である。注意の共有と非共有を同じ形状で比べると、非共有側が4組すべてで損失が低く、最も平坦な組では1,000億トークン時点で0.049ナットの差、下流3課題の平均で3.3ポイントの差になった。アブレーションでは、専門家層を広げる効果と反復を増やす効果が互いを強めることが示された。16専門家・4層の構成は、反復を4回から8回にすると0.041ナット改善し、専門家が半分の構成や層が2倍の構成の最大0.033を上回る。負荷の均等さを示す指標は平坦化とともに下がるが損失は改善し、利用の少ない下位10%の専門家を隠すと、利用量をそろえた無作為な群を隠すより損失が大きく上がるモデルが8つ中7つあった。負荷分散だけでは専門家の健全な分化を判断できず、著者らは代わりに、ルーターの第1候補と中央順位の専門家の確率比を使う確信度指標を提案している。限界として、著者らは4点を挙げる。第1に、同じパラメータと計算量のループなし対照がない。専門家の総量と呼び出し回数を合わせたループなしモデルは活性化の割合が2分の1になり、層をまたぐ専門家共有の効果と疎性の効果が分離できない。第2に、1本の再現実験を除いて乱数種は1つで、その再現実験の差は−0.0003±0.0009ナットであり、本文で解釈する差はすべて0.002ナット以上である。第3に、結果はすべてモデル幅1024の単一の幅で得られている。第4に、アブレーションは注意を共有した設定で行われており、Foil本体では傾向の大きさが異なる可能性がある。このほか、確信度指標が反復の途中でピークを持つと利得が頭打ちになるという関係は少数の事例に基づき、著者らも規則ではなく「非常に可能性が高い」関係として述べている。

論文3: KVキャッシュを流し続けてエージェント強化学習の圧縮を速くする

出典: KV-streams for Efficient Compaction in Agentic Reinforcement Learning. arXiv:2609.35750 (2026).

採用理由は、長い対話軌跡を扱うエージェント強化学習で標準的に使われる文脈圧縮に、見過ごされてきた計算コストがあることを定式化し、圧縮戦略を選ばない差し込み式の方法で学習時間を大幅に縮めた点にある。Mila、モントリオール大学、マギル大学、Microsoft、ServiceNowなどの共同研究である。長期タスクの強化学習では多数の軌跡を同時に生成し、最も長い軌跡がGPUメモリを占有してスループットを落とす。要約で置き換える、古い半分を捨てる、スライディングウィンドウで保つといった圧縮はメモリを一定に保つが、圧縮のたびに残した文脈を新しい系列として位置符号ごと計算し直すため、同じトークンを何度もプリフィルする。圧縮で残すエントリ数をr、予算をB、軌跡の長さをNとすると、余分なプリフィル量は次の式になり、残す量が予算に近づくほど発散する。

$$\Delta_{\text{re-prefill}}=\frac{N\cdot r}{B-r}$$

KV-streamsは、残したトークンのKVエントリを再計算せずにそのまま前へ流し、削除した部分だけを推論エンジン内で退去させる。学習側ではその退去パターンを独自の注意マスクで再現するので、1回の前向き計算で済み、余分なプリフィルは0になる。要約、マルコフ的思考（半分削除）、モデルが残す部分を選ぶ方式、スライディングウィンドウの4戦略に適用した。テキストゲームではQwen3、ソフトウェア工学ではQwen3.5の、いずれも40億パラメータ級のモデルを使った。TextWorldでは再プリフィル型の圧縮と同じ最終性能に3.7〜11.3分の1のGPU時間で到達し、要約とスライディングウィンドウの再プリフィル型は全文脈での学習より多くのGPU時間を使っていた。系列が短いALFWorldでは差が縮み、スループットの改善は1.3〜3.0倍である。ソフトウェア工学タスクではSWE-rebenchとScaleSWEで学習し、SWE-bench Verifiedでスライディングウィンドウ型が52.7±2.1%と、全文脈の51.5±1.2%、再プリフィル型マルコフ方式の53.4±0.2%と誤差の範囲で並び、性能のピークに約20時間で到達した（全文脈は65時間以上）。

もう一つの論点は、引き継がれたKVキャッシュが、文脈から消えた情報を運ぶ疑似的な再帰状態として働くかどうかである。先行研究ではこの振る舞いに事前の教師あり微調整が必要とされていた。著者らは、果物を割り当てた発話を退去させてから何を割り当てられたかを問う合成課題を作り、強化学習だけでも、退去前に生成した数値列のKVが十分長ければ想起率が100%に達することを示した。16と32トークンの短い予算では不安定になる。果物で学習したモデルが俳優の想起にも移ること、選択肢にない「テレビ」を正しく答えるという、元のモデルがほぼ確率0を置く出力まで強化学習で引き出せることも確認している。TextWorldでも、教師あり微調整の計算を含めて比べると、強化学習だけの方が計算効率が高かった。限界として、計算資源の制約からTextWorldとソフトウェア工学タスクは単一の乱数種で、複数種はALFWorldのみである。vLLMの16トークン単位のブロックに合わせるための詰め物が必要で、その分トークン数が増える。評価したモデルは40億パラメータ級に限られる。

論文4: 統合マルチモーダルモデルに自己修正を強化学習で身につけさせる

出典: Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning. arXiv:2609.35767 (2026).

採用理由は、画像を理解する機能と生成する機能を1つのネットワークに持つ統合マルチモーダルモデルで、自分の画像を点検し、診断を書き、修正版を描き直すという多段の循環全体に強化学習を掛け、その効果が模倣学習とどう違うかを内部表現の分析まで含めて示した点にある。南洋理工大学のZiwei Liuらのチームが上海交通大学、東京大学と共同で行った。先行研究は、1枚の画像生成だけに強化学習を掛けるか、多段の推論と編集の軌跡を教師あり学習で模倣させるかのどちらかで、後者は形式は覚えても、振り返りが実際に効く修正につながる保証がない。修正が役立ったかは描き直した後にしか分からないので、診断の文章と描画を軌跡全体で一緒に学習する必要がある。

手法UMM-Reflectionは、まずGPT-5.5を批評役、Qwen-Imageを描画役として作った29,529本の多段軌跡でBAGELを教師あり学習させ、形式を教える。次の強化学習では、1枚の初期画像を共有した16本の兄弟軌跡を最大3回の修正まで生成し、同じ初期画像から始めることで、グループ内の相対的な優位度が偶然良い初稿ではなく振り返りの戦略の差を比べるようにする。報酬は最終画像の整合スコアに、各回の改善分、2回以上の改善への加点、悪化への罰則、検証器が受理していないのに終了した場合の罰則を加えたものである。優位度は軌跡ごとに1つだけ計算し、振り返りのテキストトークンとフローによる描画遷移の両方を同じ値で更新する。回ごとに比較群を作ると3回で16の3乗、4,096本の展開が必要になるが、この設計はそれを避ける。検証器は学習時だけに使い、推論時にはモデル単体で動く。

GenEvalの553プロンプトで、BAGEL単体0.71、教師あり学習0.72に対し、UMM-Reflectionは0.84に達した。位置関係の項目は0.47から0.89へ上がった。初期画像の正答率は3者とも70〜73でほぼ同じで、改善は修正の回から生じている。初めに失敗した画像を1本の軌跡で直せた割合は、教師あり学習の20.59%から64.94%に上がった。学習に使っていないWISEで10.97ポイント、T2I-CompBench++で4.63ポイント、OneIG-Benchで3.48ポイントの改善が移っている。同じ回数の強化学習を描画部分だけに直接掛けると1回生成の精度は71から76に上がるが、WISEには移らない。片方のヘッドだけを学習すると、描画側のみで73、テキスト側のみで78、両方で84となり、何を書くかの学習が大部分を担いつつ、描画側も新しい指示を実行できるよう学習する必要があった。同じ4枚の予算で4枚から最良を選ぶ方式は80にとどまった。内部表現の分析では、正誤を読み出す線形プローブのAUCは3つのチェックポイントとも0.80〜0.82でほぼ変わらず、強化学習は既に出せていた修正のうち正解領域へ画像を動かすものを選ぶようになった、と著者らは解釈している。限界として、強化学習のプロンプトはGenEvalの6つの項目族から取っており、報酬は検出器に基づく検証器に依存する。BAGELは単一の前向き計算で文と画像を交互に生成できないため、外部の制御器で循環を組んでおり、推論時には最大3回の追加描画が加わる。2回以上の改善への加点を外すと、修正率は61.7%とほぼ保たれるが、初期画像の精度が73から63に落ち、最終精度も84から79に下がるという、報酬設計への敏感さも報告されている。

論文5: 批評器の誤差を射影で除く動画拡散モデルの蒸留

出典: PDMD: Projected Distribution Matching Distillation for Video Diffusion Models. arXiv:2609.35768 (2026).

採用理由は、動画拡散モデルの少ステップ化で広く使われる分布整合蒸留（DMD）の不安定化を、批評器の誤差の蓄積として特定し、追加の損失もネットワークも使わない1行の変更で抑えたうえで、330億パラメータ級の映像・音声同時生成モデルまで検証した点にある。ByteDanceのチームによる研究である。DMDは、生徒が生成した標本を再びノイズ化し、オンラインで学習する批評器のスコアと凍結した教師のスコアの差で生徒を更新する。批評器は固定した生徒に対しても近似誤差を持ち、変化する生徒に遅れて追従するので、その誤差が毎回生徒に入り込む。MiniMax-H3では500反復あたりから過飽和が目に見えて現れる。DMD2は批評器の更新を増やし識別器を加えて対処したが、メモリと学習コストが増える。

PDMDの着眼点は、批評器のスコアから追加の計算なしに得られる1ステップのノイズ除去先と、生徒の標本との差、すなわち生徒と批評器の終点残差が、固定したノイズ入りの問い合わせにおいて批評器の誤差の不偏推定量になることである。そこで、DMDの更新ベクトルからこの残差に平行な成分だけを取り除く。

$$\boldsymbol d_\perp=\boldsymbol d-\frac{\langle \boldsymbol d,\boldsymbol r\rangle}{\|\boldsymbol r\|^2}\boldsymbol r,\qquad \boldsymbol r=\boldsymbol x_0^{c}-\boldsymbol x_0^{s}$$

著者らは、残差が誤差を必ず含むことからコーシー・シュワルツの不等式で除去率の下限を導き、高次元での集中と弱い整列の仮定のもとで、批評器の誤差の一定割合を除きつつ理想的な更新信号は消えていく程度の割合しか失わないことを示した。2次元の8つのガウス分布の輪では、他の方向を除く対照の射影と違い、PDMDだけが両方の分布指標を改善し、理想的な更新との平均二乗誤差を28%減らした。批評器の学習率を生徒の20分の1に落として遅れを作る2峰の設定では、単一の峰への崩壊は、2つの学習率でDMDが20回中14回と19回、PDMDが3回と12回だった。

Wan2.1の13億パラメータの文章からの動画生成モデルを4回の関数評価に蒸留すると、VBenchの総合スコアはPDMDが83.73で、条件をそろえたDMDの82.70、AnyFlowの83.54、50ステップの教師の83.06を上回った。DMDは1,500反復でピークを迎えた後、5,000反復で63.04、7,500反復で56.09まで劣化したが、PDMDは1万反復まで83.5以上を保った。識別器を加えたDMD2との差は0.29ポイントで、動きの大きさの指標は89.72対76.67だった。MiniMax-H3の330億パラメータの映像・音声同時生成モデルでは、VideoGen-Evalの映像総合が83.17で、DMDの82.76を含む4回評価の比較手法すべてを上回り、6つの音声指標すべてで首位だった。20人の評価者による比較でも、4回評価の全比較手法よりPDMDが好まれた。限界として、MiniMax-H3では50ステップの教師が総合で37.0ポイント、映像品質で35.4ポイント好まれており、Wan2.1のように教師に並ぶところまでは届いていない。1回や2回の評価まで減らすと品質は限られ、著者らは識別器の損失など追加の目的関数が必要になる可能性を挙げている。また、理論保証は高次元での集中と弱い整列の仮定に依存し、MiniMax-H3の評価はプロンプトごとに固定した乱数種1つで行われ、文章との整合の判定は64〜80%が引き分けだった。

まとめ

1回の学習で20通りの深さすべてを使える言語モデル（品質と予算の曲線の下側面積を43〜44%削減）、同じパラメータと計算量のまま平坦化と注意の非共有化で損失を下げたループ型MoE、再プリフィルをなくして学習時間を最大で数分の1にしたKVキャッシュの引き継ぎ、修正率を20.59%から64.94%に上げた統合モデルの軌跡単位の強化学習、1行の射影でDMDの劣化を止めてVBench 83.73を得た蒸留、の5本だった。1本目と5本目は、構造を変えずに目的関数や更新ベクトルの成分を選び直すことで、崩壊や過飽和という同じ種類の失敗を防いでいる。2本目と3本目は、計算量やメモリの総量を変えずに、パラメータやキャッシュの配置と引き継ぎ方を変えることで効率を上げた。4本目は、強化学習の効果が新しい能力の獲得ではなく、既に出せる行動からの選択として説明できることを示している。

参考ソース

• 論文1: Telescopic Language Models. arXiv:2609.35769
• 論文2: How to Loop MoE: Flatten the Experts, Untie the Attention. arXiv:2609.35751
• 論文3: KV-streams for Efficient Compaction in Agentic Reinforcement Learning. arXiv:2609.35750
• 論文4: Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning. arXiv:2609.35767
• 論文5: PDMD: Projected Distribution Matching Distillation for Video Diffusion Models. arXiv:2609.35768