arXiv Frontier AI論文解説（2026年9月27日）

キーワード: フィッシャー二次形式ステアリング / 映像起点の逆構築プロンプト / ローリング・デノイズ / 音声ファクトチェックのモダリティ差 / 強化学習勾配からの軌跡復元

本日は、凍結した言語モデルの最終隠れ状態に加えるベクトルをKLの局所幾何で抑えるテスト時整合手法、実写映像から逆向きに作った教師データで動画生成のプロンプト拡張を学習する大規模モデル、ノイズ段階をずらした予測を制御周期をまたいで持ち越す世界行動モデル、音声で与えた主張の真偽判定がテキストより大きく落ちることを示すベンチマーク、分散強化学習で送られる勾配列から観測画像と行動を復元する攻撃を扱う。5本ともarXivのHTML本文を参照し、比較条件と限界を報告値に対応させて読む。

オープニング：2026年9月27日 — arXiv Frontier AI論文解説

5本に共通するのは、生成や制御の途中にある「中間表現」の扱いである。前半3本は、最終隠れ状態への加算ベクトル、動画生成前の台本としてのテキスト、部分的にデノイズした未来予測を、それぞれどう最適化・再利用するかを問う。後半2本は、音声の主張と検索証拠、共有される方策勾配という中間表現が、想定より多くを失う、あるいは想定より多くを漏らすことを定量化する。

論文1: フィッシャー二次形式で抑える最小侵襲ステアリング

出典: Minimally Invasive Steering of Language Models. arXiv:2609.30218 (2026).

採用理由は、パラメータを更新しないテスト時整合で問題になる「過剰ステアリング」を、隠れ状態のユークリッドノルムではなく出力分布の感度で抑えるという発想を、系列レベルKL勾配の厳密な分解と局所誤差評価まで含めて示した点にある。ジョンズ・ホプキンス大学のTaha Entesari、Jingyu Zhang、Daniel Khashabi、Mahyar Fazlyabによる研究である。対象はLMヘッド直前の最終隠れ状態に位置ごとのベクトルを加える「プレロジット・ステアリング」で、変換器本体を逆伝播せずに報酬を最適化できる反面、正則化が弱いと到達可能な表現多様体から離れ、一貫性や多様性が損なわれる。系列KLをそのまま正則化に使うと、ステアリングが接頭辞の分布を変える効果がスコア関数項として現れ、そのモンテカルロ推定は分散が大きい。

著者らは、トークン分布のKLを2次まで展開して得られるフィッシャー情報行列を正則化のコスト行列に使う。この二次形式は、参照分布の下でのロジット摂動の分散の半分に等しく、全ロジットの一様シフトにはコストがかからない。等しいノルムのベクトルでも確率変化が大きく異なるという、等方的なL2罰則の欠点を補う設計である。理論面では、系列KL勾配を解析的なフィッシャー項と接尾辞のスコア関数項に厳密に分解し、生成長を固定すると接尾辞項はステアリングの大きさの2次であること、3種類のフィッシャー代替が原点近傍で一次まで一致することを示した。実装では最初の反復で参照方策から得たロールアウトでフィッシャー行列を推定し、行列を明示的に作らずLMヘッドとの行列ベクトル積で最適化全体に再利用する。報酬勾配はリーブワンアウト・ベースライン付きのスコア関数推定で求めるので、報酬は微分不能でもよい。

評価は、LFM2.5-1.2B、Gemma3-4B、Llama-3-8B、Phi-4（14B）を凍結し、SHPの500プロンプトをSkywork-Reward-V2-Qwen3-0.6Bで採点する選好タスクと、単体テストの通過率を報酬とするMBPP+で行った。生成数を揃えたBest-of-Nと、プレロジット空間の標本ベース最適制御であるAISPと比べ、7設定中6設定で最高の平均報酬を得た。SHPではGemma3-4Bで9.10（BoN）、9.27（AISP）に対し9.56、Phi-4で9.81、10.00に対し10.25で、Llama-3-8BだけはAISPの11.07がMISVOの10.80を上回った。MBPP+では1.2Bモデルで通過率0.703（BoN）に対し0.739、Llama-3-8BではBoNと同じ0.733だった。参照方策の接頭辞上で測ったKLでは、LFM2.5-1.2Bの100プロンプトで、MISVOが報酬9.60・KL47.5、AISPが9.28・303.9、正則化なしが9.31・162.2、KLを直接正則化した変種が8.49・120.1となり、KLを直接使う方が報酬もKLも悪いという結果になった。限界として、近似は局所的で大きな介入後の系列KLを保証せず、KL診断も参照方策の接頭辞に限られる。SHPでは最適化と主評価に同じ報酬モデルを使っているため独立した選好品質は結論できず、ピークメモリはGemma3-4Bで38.8GBとBoNの12.2GBの約3倍、1プロンプトあたりの時間もBoNより長い。

論文2: 実写映像から逆構築する動画生成のプロンプト拡張

出典: WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation. arXiv:2609.30221 (2026).

採用理由は、動画生成が30秒・複数ショットに伸びた段階で、プロンプト拡張の役割を「描写の装飾」から「演出計画」へ置き直し、教師データの作り方を逆転させて3,970億パラメータ規模で検証した点にある。アリババ・グループのWanチームによる研究である。従来のプロンプト拡張は、ユーザーの短い依頼から詳細な記述へ前向きに書き足す方式で、その出力は合成的な書き換えの分布に従う。一方、動画生成器は実写映像に付けたキャプションで学習されているため、拡張器の出力と生成器が学習した条件分布の間に不一致が生じる、というのが著者らの問題設定である。

手法の中心は二段である。第一段では、約105万本の実写クリップ（最長30秒）をマルチモーダルなキャプション器で、ショットごとの構図、被写体、動作、照明、カメラ移動、転換、台詞、音楽、効果音を時刻付きで記述した階層的な条件に変換し、そこからGPT-5.4と人手で書いた2,000件の依頼例を使って自然なユーザー依頼を逆に復元する。こうして作った依頼と条件の対で教師あり微調整を行う。第二段のSC-GRPOでは、約1万5,000件の依頼に対し、Qwen3.7-Maxが様式・被写体・動作・台詞・音・カメラ・照明・空間関係・場面の9観点で、要件の欠落、改変、主語と台詞の結び付けの誤り、ショット間の順序矛盾を0〜100点で採点し、その報酬でGRPOを行う。評価用には249件の依頼からなるWanPEvalを作り、脚本・演出・撮影の専門家60人による匿名の一対比較、約1万1,000件で選好を測った。

同じWan3.0の生成器で、元の依頼をそのまま使う場合と比べた選好スコアの改善は、5秒で10.66、10秒で16.28、15秒で18.84ポイントと、尺が長いほど大きい。30秒ではスコアが9.38から60.24へ上がり、同条件のSeedance 2.5の59.76と拮抗した。5〜15秒の比較では、WanPE-397Bが全体スコア50.61、ブラッドリー・テリーの強さ61.85で、Seedance 2.0を7.19ポイント上回った。教師データの向きを比べる実験では、専門家8人が27版にわたって改良したGemini 3.1 Proの前向き書き換えが39.49、その出力で同じ微調整をした場合が35.17にとどまり、逆構築による微調整モデルの49.86を下回った。SC-GRPOは意味的一貫性スコアを4つの規模すべてで18.6〜23.3ポイント上げ、397B版では失敗率を36.9%から2.8%へ下げ、動画の専門家選好も42.70から49.69へ上がった。書式変換を挟んでLTX-2.5やMiniMax-H3の生成器に渡しても、それぞれの純正拡張器を14.45、5.17ポイント上回った。ただし、意味的一貫性の報酬と評価はいずれもLLMによる採点であり、比較の多くは自社のWan3.0生成器の上で行われている。依頼の逆復元に使ったLLMの文体が評価用の人手依頼とどこまで一致するかも、本文では直接は検証されていない。

論文3: 予測を持ち越して再計画を速める世界行動モデル

出典: Rolling-WAM: World Action Models with Rolling Imagination. arXiv:2609.30247 (2026).

採用理由は、未来映像と行動を同時に生成する世界行動モデルの推論遅延という実用上の障壁に対し、実行されずに捨てられていた予測の後半を次の周期へ持ち越すという単純な再編成で、性能を落とさず4.5倍の高速化を示した点にある。南カリフォルニア大学のYue Wangらのチームに、トヨタ・リサーチ・インスティテュート、ブラウン大学、復旦大学の研究者が加わった。従来の同時デノイズ型は、再計画のたびに予測区間全体を純粋な雑音から完全にデノイズするが、後退ホライズン制御で実際に実行するのは先頭の一部だけである。未来映像を推論時に省略して速くする方法もあるが、その場合は行動生成の手がかりとなる明示的な視覚予測を失う。

Rolling-WAMは、映像と行動の組を W 個のチャンクに分けたスライド窓を持ち、未来へ行くほど雑音レベルを高く設定する。各周期では先頭チャンクだけを完全にデノイズして実行し、残りは部分的に精緻化したまま窓をずらし、末尾に新しい雑音チャンクを加えて、新しいカメラ観測を条件に続きをデノイズする。雑音スケジュールは、ずらした後の各チャンクがそのまま次の位置の開始雑音レベルに一致するよう設計されている。既定の総ステップ数10、窓5チャンクでは、定常状態の1周期あたり2ステップで次の行動チャンクが得られる。モデルはWan2.2-TI2V-5Bから初期化した映像エキスパートと約10億パラメータの行動エキスパートをMixture-of-Transformersで結合し、行動トークンは窓全体の映像特徴を参照できるが、行動同士の注意は同じチャンク内に限る。学習時も推論と同じずらした雑音プロファイルでフローマッチングを行う。

LIBEROの平均成功率は98.1%で、LingBot-VAとJoint-WAMの98.5%に0.4ポイント及ばないが、RoboTwin 2.0では通常条件93.5%、ランダム化条件93.0%、平均93.3%で、LingBot-VAの92.2%、Fast-WAMの91.8%、条件を揃えて再現したJoint-WAMの90.6%を上回った。いずれも身体性データでの事前学習なしの結果である。A100 1枚での再計画遅延は215ミリ秒で、Joint-WAMの978ミリ秒の約4.5分の1、映像生成を省くFast-WAMの548ミリ秒の約2.5分の1であり、π0.5の296ミリ秒より短い。しかもRolling-WAMは80行動分の未来を保持し、比較対象は16行動分である。Unitree G1ヒューマノイドの3タスク各20試行では平均85.0%で、Joint-WAMの78.3%、Fast-WAMの75.0%を上回り、Joint-WAMではチャンク境界での停止が目立ったと報告されている。一方、窓を8に広げると選抜したRoboTwin 6タスクの成功率は78.2%から69.5%へ下がり、遠い予測が現在の行動の助けにならない可能性を著者ら自身が推測している。保持した予測が急な場面変化に遅れて行動を誤らせうることも、限界として明記されている。

論文4: 音声で語られた主張のファクトチェック

出典: To Trust or Not to Trust: Retrieval-Augmented Fact Checking in Speech. arXiv:2609.30227 (2026).

採用理由は、大規模音声言語モデルの事実検証能力が、同じ主張をテキストで与えた場合から音声で与えた場合へ移ると大きく崩れることを、入力形式・検索・推論を一つずつ切り替える統制された条件で分解した点にある。インド科学教育研究所ボーパール校、キングス・カレッジ・ロンドン、MBZUAIの研究者による研究である。テキストの事実検証は証拠を検索して主張を支持・反駁する枠組みで整備されてきたが、音声の場合は主張が音響で、証拠がテキストという異なるモダリティにまたがり、モデルは音声の主張を検証対象として保持したまま証拠と比較しなければならない。

ベンチマークVeriSpeakは、著名人の略歴から抽出した年・場所・関係の3種類の事実3,879件を、真偽が半々になるよう作っている。偽の主張は、年を±10年以内でずらす、国や都市を同じ型の別の候補に入れ替える、「結婚した」を「離婚した」に変えるなど、表層的な手がかりで見抜けないよう決定的な摂動で作る。音声は話者の違いを手がかりにさせないため単一話者のTTSで合成し、書き起こしにはwav2vec 2.0の自動認識結果を使う。評価では、各音声モデルと、その土台になったテキストLLMを対にし、テキストLLM、同じ音声モデルへのテキスト入力、音声入力、音声入力と思考連鎖、書き起こしで検索した証拠の付与、その両方の6条件を比べた。

音声入力だけの正解率は、Qwen-Audio-Chatで50.4%、Qwen2-Audio-7Bで49.2%と、真偽が半々の設定でほぼ偶然水準であり、土台のQwen-7Bのテキスト条件75.3%から約25ポイント低い。Audio-Flamingo-3も71.8%から58.5%へ下がった。差を分解すると、同じ音声モデル内でテキストを音声に替えるだけで6.5〜27.2ポイント落ちており、劣化の主因は音声インターフェースそのものにある。書き起こしで検索した証拠を加えても改善は1.4〜4.7ポイントにとどまった。原因を調べるため、Qwen2-Audio-7Bに検証対象の主張を抜き出させると、元の主張と一致したのは31%で、65%は検索した証拠の文を主張として扱っていた。証拠と主張を取り違え、証拠自体を検証して「正しい」と答えるのである。思考連鎖だけでは全モデルで悪化したが、検索と組み合わせると全モデルで改善し、推論向けに調整されたAudio-Flamingo-next-thinkは86.1%に達して、検索なしのテキスト条件71.8%を14.3ポイント上回った。それでも、テキストで検索証拠を与えた上限92.4%には6.3ポイント届かない。ただし、主張は略歴に基づく単純な事実に限られ、音声は単一話者の合成で、雑音・訛り・自発的な発話を含まない。検索対象も固定の知識ベースである。

論文5: 強化学習の勾配列から身体性エージェントの軌跡を復元する攻撃

出典: Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning. arXiv:2609.30258 (2026).

採用理由は、ロボット群などの分散強化学習で「生のセンサーデータは端末に残し、勾配だけを送る」という前提のプライバシー保護が、勾配の時間的な連なりによってむしろ弱まることを、理論と攻撃の両面で示した点にある。ケンタッキー大学とワシントン大学セントルイス校のチームによる研究である。従来の勾配反転攻撃は、画像を独立同分布の標本として一枚ずつ復元してきた。しかし身体性エージェントの連続する観測は、視点の移動と回転が有界で、同じ部屋の配置・物体・照明を共有しているため、勾配にも相関した痕跡が残る。復元された軌跡は、部屋の配置や、エージェントがどこを見てどこに留まったかを明かし得る。

攻撃手法TRACEは、正直だが好奇心のあるサーバーを想定し、方策の構造と現在のパラメータを知り、同種のタスクの補助軌跡で事前に学習できる攻撃者を置く。百万次元規模の勾配を低次元に圧縮する符号化器、復元済みの画像を文脈として取り込む因果的トランスフォーマー、画像を再構成し行動を予測する復号器からなり、軌跡を自己回帰的に復元する。理論面では、放送されたパラメータ点ではPPOのクリップが効かずA2Cと同じ勾配になること、エントロピー正則化がなければ方策ヘッド勾配の列和から離散行動を厳密に復元でき、正則化が十分小さい場合もその規則が保たれることを示し、時間的な文脈による復元の利得を条件付き相互情報量で特徴づけた。

AI2-THORの点目標ナビゲーション、84×84画素・5行動の設定で、保留した100軌跡を長さ8で評価すると、TRACEはPPOでPSNR 18.8デシベル、行動正解率100%で、1フレームあたり4.5ミリ秒だった。最適化型のDLGとInverting Gradientsは5.5、8.7デシベルにとどまり、1枚に数十秒を要した。学習型のLearning to Invertは16.8デシベルで、TRACEは知覚的な距離LPIPSを0.671から0.362へほぼ半減させた。TRACEは1フレームだけでは12.85デシベルとLearning to Invertより低いので、優位は時間的な条件付けから来ている。軌跡長を64まで伸ばすと20.3デシベルに上がり、未見の場面の軌跡を10%使って適応させるだけでも20.9デシベルになる。防御については、勾配の90%を刈り込んでもほぼ効かず、8ビット量子化も無効で、4ビット量子化や強い雑音で劣化し、差分プライバシー付きSGDではイプシロン1〜10のいずれでも行動正解率が20%前後の偶然水準まで下がった。ただし防御下でのナビゲーション性能は測っていない。実験はAI2-THORの点目標ナビゲーションに限られ、被害方策ごとに攻撃者を学習し直す必要がある。複数ステップの局所更新やクライアント間の秘匿集約のように時間方向の信号を混ぜる仕組みは評価の外で、連続行動の方策には行動復元の定理がそのままは適用できない。

まとめ

KLの局所幾何で抑えたステアリングが7設定中6設定で最高報酬を得た研究、実写映像からの逆構築で30秒動画の選好を9.38から60.24へ上げたプロンプト拡張、予測の持ち越しで再計画を4.5倍速くした世界行動モデル、音声入力だけでは偶然水準に落ち、検索証拠を主張と取り違えることを示した音声ファクトチェック、勾配列から観測と行動を復元し差分プライバシーでしか止まらなかった攻撃の5本だった。共通するのは、中間表現の扱いが結果を大きく左右することである。出力分布の感度で測るか、実写の分布に合わせるか、部分的な予測を捨てずに使うかで性能が変わり、逆に音声の主張と証拠の区別や、勾配の時間的な連なりは、設計者の想定よりも失われやすく、あるいは漏れやすい。

参考ソース

• 論文1: Minimally Invasive Steering of Language Models. arXiv:2609.30218
• 論文2: WanPE: Towards Cinematic Prompt Enhancement for Modern Text-to-Video Generation. arXiv:2609.30221
• 論文3: Rolling-WAM: World Action Models with Rolling Imagination. arXiv:2609.30247
• 論文4: To Trust or Not to Trust: Retrieval-Augmented Fact Checking in Speech. arXiv:2609.30227
• 論文5: Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning. arXiv:2609.30258