arXiv Frontier AI論文解説（2026年10月5日）

キーワード: 事後学習のシャープニング税 / 視覚的解決可能性とマルチモーダルRLVR / 階層型連続拡散言語モデル / スキル連鎖によるエージェント乗っ取り / 凍結アテンションによる普遍補間

本日は、事後学習済みモデルがエージェント課題で1回目の正解率を上げる代わりに、繰り返しサンプリングで解ける課題の範囲を失うことを14組・42条件で測り、その損失を「シャープニング税」として定量化したMeta Superintelligence Labsなどの研究、視覚言語モデルの強化学習で画像を灰色に塗りつぶしても得点の多くが伸びる現象を出発点に、画像を見なければ報酬が得られない課題設計で「探す」能力を育てた中国科学院計算技術研究所の研究、離散拡散の並列デコードで切れてしまうトークン間の依存を、連続潜在状態だけを持続させる二層の逆過程で扱うイリノイ大学の研究、公開スキルを連鎖させてエージェントに「承認済み」という偽の記録を書かせ、指定した操作を74.2%の試行で実行させた香港大学などの研究、そして事前に固定した2つのランダムなアテンションブロックの並べ方だけで任意の系列集合を任意の目標へ写せることを証明したニューヨーク大学の理論研究を扱う。数値はいずれも各論文のarXiv HTML本文の報告値による。

オープニング：2026年10月5日 — arXiv Frontier AI論文解説

今日の5本は、学習信号が実際に何を要求しているかという一つの問いでつながる。1本目は、強化学習を中心とする事後学習がエージェント課題でも「新しい能力を作る」より「既存の振る舞いを鋭くする」側に働き、その代償が繰り返し試行での到達範囲であることを示す。2本目は、正解報酬が画像の利用を要求していなければ、マルチモーダル強化学習は画像を見る技能を学ばないことを、灰色画像との対照で切り分ける。3本目は生成過程の設計、4本目はエージェントの権限判断、5本目は深さと重み共有だけで表現力が得られるかという理論で、それぞれ「どの情報が次の判断を決めているか」を明示的に扱う。

論文1: 事後学習はエージェント課題の到達範囲に税をかける

出典: Sharpening Tax in Post-Training. arXiv:2610.01509 (2026).

採用理由は、「強化学習の事後学習は既存の振る舞いを鋭くするだけで、新しい能力を作らない」という数学・コード領域で議論されてきた仮説を、事前学習データに少ない多ターンのツール利用課題へ持ち込み、14組の公開ベース/事後学習済みモデルで系統的に検証した点にある。Meta Superintelligence Labsのチャンデ・オーらを中心に、ウィスコンシン大学マディソン校とスタンフォード大学が加わった研究である。これまでの検証は数学とコードにほぼ限られ、事前学習での露出が多いことと、最終解答だけを採点するため推論が誤っていても偶然の正解が数えられることが弱点とされてきた。著者らは、途中の行動と状態遷移まで検査されるBFCL v4の多ターン分割、WebShop、ACEBenchを使い、Gemma-4、Ministral-3、Qwen2.5、Qwen3.5の4系列、実効3Bから35Bのモデル対を比べる。事後学習済みモデルの思考モードは比較をそろえるため切っている。ベースモデルには、データセットに依存しない簡素なシステムプロンプトと、緩いツール呼び出し・解析インターフェースからなるハーネスを付ける。このハーネスで、ベース8モデルのBFCLでの平均pass@1は5.59%から15.63%、pass@32は15.19%から49.13%に上がった一方、事後学習済みモデルには逆効果だった。

結果の中心は精度と到達範囲の交差である。事後学習済みモデルはpass@1で上回るが、ベースモデルは試行数Kに対してpass@Kが急に伸び、128回まで増やすと多くのベンチマークで逆転する。gemma-4-31BのWebShopでは、ベースのpass@128が85%を超え、事後学習版は56%だった。逆転が起きる試行数はモデルが大きいほど小さく、Gemma-4のWebShopでは4Bの128回超から31Bの約3回まで下がる。仕組みを見るため、各課題を128回中の成功数で「常に成功」「計算次第で成功」「常に失敗」に分けると、gemma-4-31BのWebShopでは「計算次第」が87.6%から30.0%に減り、「常に成功」が0.0%から26.0%、「常に失敗」が12.4%から44.0%へ増えた。課題ごとの成功率の分布が両端へ二極化しており、繰り返し試行が失敗を成功に変えられる中間帯が消えている。この損失を1つの数で表すため、著者らはpass@Kと各pass@kの差の和を、1回目の失敗率と試行数で正規化した較正スケーラビリティを定義し、ベースと事後学習版の差をシャープニング税とする。

$$S(K)=\frac{1}{K-1}\sum_{k=1}^{K-1}\frac{\mathrm{pass}@K-\mathrm{pass}@k}{1-\mathrm{pass}@1},\qquad \mathrm{Tax}_S(K)=S_{\mathrm{Base}}(K)-S_{\mathrm{Post}}(K)$$

命題1は、正規化前の量が「予算内で最初に成功するまでに失敗した回数の期待値」に等しいことを示し、定理2は課題の一部が成功率0か1へ潰れるだけで税が正になることを示す。実測ではTax_S(128)が42条件中36で正だった。課題の半分で8回の試行から求めた税は、残り半分での32回の税をスピアマン相関0.85で予測した。緩和策として、課題ごとの成功・失敗の累積数からベータ事後分布を作り、トンプソンサンプリングで推定した難しさに応じて温度を上げ下げするPTGSを提案する。Qwen2.5-7B-InstructをSokobanとFrozenLakeでPPOとGRPOにより200ステップ学習すると、SokobanのGRPOではpass@1が36.5%から39.1%、pass@128が55.3%から72.5%に上がり、税は0.081から0.025に下がった。PPOでもpass@1が46.5%から61.1%に上がる。定理3は、難しい課題を温めて成功確率が上がれば、成功を含むグループと、成功と失敗が混在してGRPOの優位度が0でなくなるグループが増えることを示す。限界として著者らは、公開モデルの学習データと手順が非公開なため分析は観察研究にとどまり因果を特定していないこと、強化学習・SFT・オンポリシー蒸留の違いを比べていないこと、対象がテキストのエージェントで二値の成功信号に依存することを挙げる。PTGSの検証も7Bモデルと格子状の2環境に限られる。それでも、汎用の事後学習が「どの課題を解けるか」より「どれだけ確実に解くか」を主に変えているという結果は、検証器と大きな試行予算を前提にする探索型の利用で、事後学習済みモデルを既定の出発点とする慣行に再考を迫る。

論文2: 報酬が画像を必要としなければ強化学習は見ることを学ばない

出典: Same Reward, Different Skills: When Multimodal RL Learns to Look. arXiv:2610.01908 (2026).

採用理由は、視覚言語モデルの検証可能報酬による強化学習で、ベンチマークの伸びが視覚能力の向上として読まれている前提を、訓練画像を灰色の画像に置き換える対照実験で直接崩し、そのうえで画像を見なければ正解できない課題設計の原理を示した点にある。中国科学院計算技術研究所と中国科学院大学のチームによる研究である。出発点の観察として、Qwen2.5-VL-3B-InstructをGeometry3KでGRPOにより100ステップ学習すると、本物の画像で学習した条件の伸びが+0.238なのに対し、画像なしは+0.137、灰色画像は+0.125で、本物の画像の伸びの57%と52%をそれぞれ画像を使わずに回収した。7Bでは灰色画像の回収率が0.78に達する。しかもテスト時に画像を外すと、どの条件もほとんど伸びない。つまり、テスト時には画像に依存しているのに、その改善は画像から学ばれていない。さらに、視覚エンコーダも学習させて400ステップ続けると、ベンチマーク正解率は0.175から0.436へ上がる一方、座標の読み取り課題の対正解率は100ステップ時点から0.070下がり、ベースモデルの0.455を下回った。著者らはこれを接地の侵食と呼ぶ。灰色画像で学習した3回の独立実行は、ベースが解けていた対をそれぞれ45〜51個失い、失った集合のジャカード指数は0.661と、同じ大きさの集合の置換帰無分布の平均0.011より大きく重なった。

著者らが立てる設計原理は視覚的解決可能性で、正解に視覚的証拠が必要であることと、正誤のばらつきが残って学習可能であることの2条件からなる。これを座標平面上の点の場面で実装する。質問は固定したまま1つの視覚的事実だけを変えた双子の画像を作り、両方に正解したときだけ得点とする対正解率で評価する。画像を見ない予測器は双子に同じ答えを返すため、この指標では必ず0になる。目標の手がかりは3段階に分け、矢印で位置を示して値を読ませる読み取り、点の名前だけを与える探索と結合、「y座標が最小の点」のように関係だけを与える発見とする。訓練は8点と12点の場面の発見問題と点名を答えさせる識別問題の2,880プロンプトで、評価用の20点の場面は訓練に含めない。報酬は正解と形式に半分ずつを与える標準のGRPOで、視覚エンコーダと射影層は凍結し、言語モデルだけを学習する。この設定で7Bモデルの20点場面での発見正解率は、30ステップで0.425から0.740、100ステップで0.875に上がった。訓練していない読み取りは0.610から0.890、探索と結合は0.620から0.950に伸びている。テスト画像を灰色にすると発見正解率は0になり、同じプロンプト・報酬・予算で灰色画像を使って学習した対照は、本物の画像でテストしても30ステップ時点でほとんど伸びない。4つのシードで本物の画像が灰色画像を+0.354上回り、シード間の標準偏差は0.019だった。

最も鋭い対照は、訓練画像に質問とは無関係に作った説明文を添え、訓練密度では答えを文章から読めるようにした条件である。報酬の正解成分は30ステップで0.97〜0.99に達するのに、画像だけでテストした発見の伸びは+0.120にとどまり、本物の画像のみの+0.323を全シードで下回った。同じ報酬を得ても、得られる技能が違うことになる。訓練用データを通常のViRL39Kと混ぜる実験では、3分の1だけ構築データにすると全量の伸びの80%超を得ながら、ViRL39K、MathVista、BLINKでの通常課題の正解率を未学習モデルと同程度に保った。全量構築データではViRL39Kの正解率が0.419に下がる。また訓練報酬は13ステップで0.97を超えたが、発見正解率は75ステップまで上がり続けた。報酬や総合得点でチェックポイントを選ぶと、育てたい技能の進み具合を見落とすことになる。限界として、検証の場は視覚的必要性を直接確かめられる座標の場面に意図的に限られており、他の視覚形式や自然画像への適用は、まず視覚的必要性の測定から始める必要があると著者らは書いている。視覚エンコーダを凍結したまま、同じ視覚トークンから目標を探して読む能力が伸びたという結果は、見る能力の改善が言語モデル側の「どこを読むか」の学習であったことを示しており、音声や動画、ツールの返り値でも、報酬がどの証拠を要求するかを設計する必要があるという主張につながっている。

論文3: 連続潜在状態だけを持続させる階層型拡散言語モデル

出典: Hierarchical Continuous Diffusion Language Models. arXiv:2610.02193 (2026).

採用理由は、自己回帰に代わる生成方式として注目される拡散言語モデルについて、離散型と連続型の弱点が互いに補い合う形をしていることを指摘し、両者を一つの変分下界から導かれる生成過程で結合した設計の新しさにある。イリノイ大学アーバナ・シャンペーン校のアレクサンダー・シュウィングらのチームに、Amazonの研究者が加わった研究である。離散拡散言語モデルは、マスクされた位置を一度に複数埋めるとき、各位置を部分系列に条件づけた周辺分布から独立にサンプリングするため、同時に決めたトークン同士の依存が失われる。数独のように制約が強く結びついた位置を並列に埋める場面で、この独立性の近似が誤りの原因になる。一方、連続拡散言語モデルは全トークンが共有する連続状態を除去していくので依存は保てるが、除去器は連続状態しか見ず、目的関数にも途中のトークンが現れないため、最後に復号するまで正しいトークン配置に結びつかない。自己条件づけのように自分のトークン推定を入力へ戻す工夫はあるが、その推定はモデルの変数でも目的関数の項でもない。

HC-DLMでは、前向き過程で連続潜在状態にガウス雑音を、トークン列に離散の雑音を独立に加え、逆過程では対称性を意図的に崩す。各ステップで、トークン予測器が現在の潜在状態からトークンを読み出し、それを既知の離散の前向き核で再び雑音化してから、次の潜在状態の更新の条件として除去器へ戻す。

$$p_{\theta,\phi}(k_{0:T},x_{0:T})=p(x_T)\,p_\theta(k_0\mid x_0)\prod_{t=1}^{T}p_\theta(k_t\mid x_t)\,p_\phi(x_{t-1}\mid x_t,k_t)$$

この分解ではトークンの状態に独自の遷移核がなく、過去の情報はすべて連続潜在状態を通って伝わり、トークンは毎ステップ新たに読み出されるので、どの位置も最後まで書き換えられる。並列に読み出されたトークンが同じ潜在状態に依存することで、独立サンプリングの問題を避ける。トークン列から潜在状態を作る符号化器だけが学習される前向き成分で、二つの前向き過程が独立であることから、再構成、事前分布との一致、境界項、各ステップの連続除去とトークン予測の項に分かれる下界が得られる。実装では連続除去の項を条件付きフローマッチングで学習し、符号化器が決定的な写像へ潰れないようエントロピー項を加える。CADDやCCDDのような既存の混成モデルが離散の連鎖に連続の補助情報を添えるのに対し、この設計では連続の潜在状態が唯一の持続状態である点が違う。

評価は3つの課題で行う。数独では、学習時と同じ7種の論理戦略で解ける標準分割で94.21%と、同じ6Mパラメータで再現したCCDDの94.65%にわずかに届かなかったが、それ以外の戦略を要する難しい分割では72.41%対70.73%で上回った。4つまたは5つの数で目標値を作るCountdownでは、同規模のCCDDに両方の設定で勝ち、5つの数の場合は37.52%対25.35%と差が広がる。ただし、はるかに大きな離散拡散モデルは依然として最高値を持つ。LM1Bでの無条件生成では、118Mパラメータ、系列長128、128ステップで、GPT-2 Largeによる生成パープレキシティが評価した拡散モデルの中で最良となり、エントロピーはステップ数の削減と分類器なし誘導の強さを変えても安定していたと報告している。アブレーションでは、除去器からトークン状態を外した連続潜在拡散モデルと、潜在状態を外した純粋な離散拡散モデルのどちらも難しい分割で大きく劣った。前向き核は吸収型よりも一様型のほうが大幅に強く、吸収型ではマスク位置の情報が空になり、適応的なアンマスクでは位置を書き換えられなくなるためと説明している。限界として、比較の中心は6Mと118Mという小さな規模で、大規模な離散拡散モデルや自己回帰モデルとの同規模比較はない。LM1Bの評価も、生成パープレキシティという外部モデルに依存する指標である。それでも、並列デコードの独立性という構造上のボトルネックを、サンプリング規則の工夫ではなく生成モデルの変数の置き方で解いた点は、拡散言語モデルを推論や計画に使う研究に新しい設計の選択肢を加える。

論文4: スキルの連鎖で偽の承認記録を運ばせエージェントを乗っ取る

出典: Chaining Skills to Hijack LLM Agents. arXiv:2610.01564 (2026).

採用理由は、公開リポジトリから配布される再利用可能な指示パッケージ、いわゆるスキルを複数組み合わせて使うエージェントについて、攻撃の成否と本来の課題の出来を同時に測り、最新モデルでも高い確率で指定した操作を実行させられることを示した点にある。香港大学のティエン・トンとハオ・チェンらに、山東大学、上海交通大学、東南大学が加わった研究である。先行研究のColluSkillやCompoSkillはスキル検査器を通る悪意ある組み合わせを探し、SCR-Benchは権限の混同を制御された構成で調べてきた。しかし、攻撃下でエージェントが利用者の正当な課題をどれだけこなすかは十分に調べられていなかった。脅威モデルでは、攻撃者はマーケットプレイスに置くスキルのパッケージだけを制御し、被害者の環境やツールには触れない。利用者の依頼の話題と初期の作業領域は知っており、構築段階では候補の連鎖を試行して実行報告を受け取れる。

提案するAPEXの要点は、エージェント自身が書いた本物の進捗記録に、利用者が承認したという偽の主張を同乗させることにある。たとえば元ファイルを残したまま要約を作る依頼で、上流のスキルは「要約は完成、元ファイルは整理対象として承認済み」という記録をエージェントに書かせ、下流のスキルがその記録を根拠にファイルの削除を指示する。要約自体は正しく作られるので成果物は有用なまま、元ファイルを保つという指示だけが破られる。生成器は隔離した課題の複製で候補の連鎖を実行し、記録が作られなかったのか、記録を読んだうえで操作を拒んだのかを区別して、失敗した段階の指示を書き直す。理論面では、権限の判断に使える情報が引き継ぎ時の局所的な見え方だけなら、許可と禁止の依頼で見え方の分布が同じであるとき、誤許可と誤拒否の確率の和が1以上になることを全変動距離で示す。記録の写しや改ざん検査も、その局所情報の中に閉じている限り権限の情報を増やさない。また、作業をやり直させる攻撃については、段階間の遷移行列から期待トークン費用を求める有限状態モデルを与える。

評価はSkillsBench上で、ファイル改変、スクリプト取得、外部送信、出力改ざんの4つの標的操作群と、作業を繰り返させるWork Loopについて、GPT-5.4、Claude Sonnet 5、DeepSeek V4 Flash、Kimi K2.6を含む6モデルで行った。標的操作は690試行中512回、74.2%で実行され、24のモデルと攻撃群の組み合わせはすべて54.8%から90.3%の範囲にあった。GPT-5.4では全連鎖が84.3%で成功し、同じ内容を1つのスキルにまとめると17.4%、目的を直接書く注入では3.5%だった。記録の状態を「未承認」に変えるだけで成功率は27.0%に下がり、偽の承認が攻撃の中心であることが分かる。一方、GPT-5.4の本来の課題の検証器通過率は、全試行を数えても4つの攻撃群の平均で絶対値2.6ポイントしか変わらない。出力改ざんでは成功率90.3%に対して通過率は90.4%から89.6%で、検証器の得点が高くても成果物の内容が依頼どおりとは言えない。Work Loopでは課題あたりのトークン量が通常の2.20倍から36.39倍になり、Kimi K2.6は36.39倍でも通過率77.0%を保った一方、Claude Sonnet 5は21.33倍で78.8%から42.5%に落ちた。スキルの数を1から6まで変えても成功率は単調には上がらなかった。

防御として、各スキルの実行中に作られたファイルを信頼できないものとして扱い、元の依頼と照合させるプロンプトを試すと、GPT-5.4の成功率は84.3%から59.1%に下がるにとどまり、ファイル改変では76.0%が残った。しかも攻撃のない72の通常課題でも、検証器通過率が86.7%から56.3%へ30.4ポイント落ちた。限界として、単一スキル統合との比較は指示のまとめ方と記録の共有を同時に変えているため記録の効果だけを切り分けていないこと、権限判断の下界の式に出てくる分布は実験で推定していないことが本文に明記されている。ネットワーク系の成功も課題環境内の捕捉サービスで記録したもので、実在の受信者には届いていない。それでも、作業の進捗という正当な情報と権限の主張を同じ記録に載せられる限り、記録だけからは許可を判断できないという指摘は、スキルの流通が広がるなかで、次の操作を元の依頼と照合する仕組みをエージェント側に組み込む必要を具体的に示している。

論文5: 凍結した2つのランダムなアテンションブロックで任意の系列集合を写す

出典: Universal interpolation for deep residual self-attention networks. arXiv:2610.01981 (2026).

採用理由は、同じブロックを繰り返し適用するループ型・再帰深さ型のTransformerが大規模言語モデルで実用化されつつある中で、表現力が幅ではなく深さと合成だけから得られるかを、標準のソフトマックスアテンションについて証明した理論の重要性にある。ニューヨーク大学のシビル・マルコットとジョアン・ブルナによる研究である。従来の普遍近似は無限幅の極限に頼ることが多く、Transformerの記憶容量の結果も、ネットワークのパラメータをデータに合わせて選ぶことを許していた。著者らが扱うのは、データを見る前に有限個のアテンションブロックを固定し、どのブロックを、どの符号で、どれだけの深さ区間使うかだけを課題ごとに選んで、N本の長さnの系列の集合を任意の目標の集合へ正確に写せるかという普遍補間の性質である。最も近い先行研究のアグラチェフとルトルワは、2つの一般的な同変ベクトル場で十分なことを示したが、その一般性は無限次元のベクトル場の空間で定義されており、標準のソフトマックスアテンションへの拡張を未解決として残していた。

方法は制御理論に基づく。残差層を前進オイラー法とみなした連続深さの常微分方程式で考え、利用できるベクトル場とその反復リー括弧がすべての配置で全空間を張れば、チャウ・ラシェフスキーの定理により連結な領域内の任意の2点を区分的に一定の制御で結べる。著者らはこの判定基準を整え、連続深さから有限深さへ移す命題と、判定を数値的に調べるPyTorch実装を与える。主定理では、トークン次元が3以上、ヘッド幅がトークン次元以上の非因果の単一ヘッドアテンションについて、クエリ・キー・値・出力の射影行列の全成分を標準正規分布から独立に引いた2つのブロックが、確率1で、すべてのバッチ数Nとすべての系列長nに対して同時に普遍補間を達成することを示す。対象領域は、系列内のトークンが0でなく互いに平行でないことと、2本の系列が符号付きの並べ替えで結ばれないことを要求する集合から測度0の集合を除いたもので、そこでも連結性が保たれることが証明の主要な段階になる。非因果アテンションは並べ替えに同変で奇関数なので、並べ替えで結ばれた系列は目標も同じ関係を満たす必要があり、この除外は対称性からくる最低限の制約である。同じ2つのブロックで有限深さでも成り立ち、多ヘッドでは系列数に比例して増える個数のブロックで普遍補間が得られる。

因果マスクについては否定的な結果も示す。先頭トークンは自分自身しか参照しないため更新が線形になり、先頭トークン同士の線形関係、たとえば3本目の先頭が1本目と2本目の和であるという関係が全深さで保存される。そのため系列数がトークン次元を超えると、配置空間全体での正確な補間も普遍補間も成り立たない。一方、先頭トークンの線形関係を共有するバッチの各連結成分の上では、有限個の凍結ガウスブロックで普遍補間が回復する。限界として、結果は存在定理であり、必要な深さの上界を与えておらず、ブロックの数と深さの交換関係は今後の課題とされている。対象は残差つきのアテンションだけで、フィードフォワード層や正規化層は含まない。ヘッド幅がトークン次元より小さい場合は、トークン次元をヘッド幅で割った数以上のブロックで十分になることが数値実験から示唆されるにとどまり、定理は未解決である。また著者らは、文章の作成と、他分野の道具を使う難しい証明の着想を含めて大規模言語モデルを使い、すべての証明を自分たちで確認したと開示している。それでも、ランダムに初期化して凍結した2つのブロックの並べ方だけで表現力が尽くされるという結果は、ループ型モデルの重み共有が表現力の上限を原理的には狭めないことを示し、深さを使う設計の理論的な足場になる。

まとめ

今日の5本は、エージェント課題での事後学習が試行128回でのpass@Kを下げ、税が42条件中36で正になることを示しPTGSで緩和した研究、灰色画像との対照で視覚言語モデルの強化学習が画像を見ずに得点を伸ばす現象を示し、画像が必要な課題で20点場面の発見正解率を0.425から0.875に上げた研究、連続潜在状態から毎ステップトークンを読み出して戻す拡散言語モデルで数独の難しい分割を72.41%、Countdownの5数設定を37.52%にした研究、偽の承認記録を運ぶスキル連鎖で標的操作を74.2%実行させ、プロンプト防御が通常課題の通過率を30.4ポイント下げることを示した研究、そして凍結した2つのガウス初期化アテンションブロックで普遍補間を証明し、因果マスクの制約を特定した研究だった。1本目と2本目は、報酬や得点が上がっても、育ったのが確実さなのか到達範囲なのか、文章からの近道なのか見る技能なのかは別に測る必要があることを示している。4本目は、エージェントが次の判断に使う情報の出どころを、5本目は深さと重み共有がもたらす表現力を、それぞれ形式的に扱っている。

参考ソース

• 論文1: Sharpening Tax in Post-Training. arXiv:2610.01509
• 論文2: Same Reward, Different Skills: When Multimodal RL Learns to Look. arXiv:2610.01908
• 論文3: Hierarchical Continuous Diffusion Language Models. arXiv:2610.02193
• 論文4: Chaining Skills to Hijack LLM Agents. arXiv:2610.01564
• 論文5: Universal interpolation for deep residual self-attention networks. arXiv:2610.01981