arXiv Frontier AI論文解説（2026年9月29日）

キーワード: 自己教師ありの確信度学習 / 暗黙のユーザーモデルと拒否 / LoRAスキルの一方向結合 / コーディングエージェントと文書の負の結果 / 表現オートエンコーダの層融合正則化

本日は、推論の長さを一切目的に入れずに確信度だけを学習させると推論トークンが減るという結果、LLMが会話から推定した「相手が誰か」という信念を低次元ベクトルとして読み書きし、それが拒否行動を因果的に動かすことを示した研究、独立に学習したLoRAアダプタを新旧の結合方向を固定して1つの重みへ畳み込む手法、コーディングエージェント向けの高忠実度な説明文がソースコードの手元にある通常条件では課題解決を改善しないという負の結果、そして表現オートエンコーダで層の組合せを乱択して再構成と生成のずれを縮める正則化を扱う。5本ともarXivのHTML本文を参照し、比較条件と限界を報告値に対応させて読む。

オープニング：2026年9月29日 — arXiv Frontier AI論文解説

5本に共通する軸は「直接最適化した量と、実際に効いてくる場所のずれ」である。1本目は長さの項を持たない確信度予測だけで推論が短くなり、5本目は層の選び方を固定せず乱択するだけで生成指標が改善する。逆に2本目では、要求文を固定しても、モデルが内部で推定した利用者の意図を書き換えるだけで拒否率が動く。3本目は、LoRAの合成で見過ごされてきた因子の座標と結合の向きという「単体では見えない選択」が結果を決めることを示し、4本目は、文書の品質を往復ベンチマークで最大化しても、それが下流の課題解決へは移らないことを大規模に確かめている。

論文1: 確信度だけを学習させると推論が短くなる

出典: Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency. arXiv:2609.31619 (2026).

採用理由は、推論モデルの効率化を「長さの罰則」や「早期打ち切り」といった明示的な仕組みなしに、確信度という別の教師信号の副産物として得られることを、4つのモデル系列で示した発想の新しさにある。著者はメリーランド大学とCapital OneのAI Foundationsのチームである。出発点の観察として、Nemotronの AIME 2024 での480本の推論過程（1問16標本）で、「Wait」の直前ごとに暫定回答を引き出し、その回答トークン確率の幾何平均を確信度とすると、確信度が高いほど暫定回答が正しく、最終回答とも一致しやすい。一方で、確信度が0.95以上に達した後も、中央値で1,766トークンの推論が続き、1万トークン以上続く軌跡も多かった。確信度が高い状態から推論を続けることの正答率上の利得は、平均するとほとんどない。

提案手法ConfSFTは、この確信度を正解なしで自己生成し、中間状態ごとに「0%から100%で、ここまでの答えへの確信度は」という固定の前置きに続けて、2%刻みに量子化した確信度の数値を予測させる。損失は確信度ラベルのトークンだけに掛かり、問題文や推論本体はマスクされる。つまり目的関数には長さ・停止・効率の項がない。方策が変わるたびにロールアウトと確信度ラベルを作り直すオンポリシーの反復で、学習に使う問題はAIME 2000〜2023の600問だけである。推論時は通常の生成のままで、確信度の出力も打ち切り規則も使わない。

$$c_t=\exp\left(\frac{1}{n}\sum_{i=1}^{n}\log\pi_\theta(a_i\mid x,y_{<t},q,a_{<i})\right)$$

Gemma-4-E2B、Qwen3-4B、Nemotron-Nano-8B、GPT-OSS-20Bで、AIME 2025、GSM8K、GPQA-Diamond、HumanEval、LiveCodeBenchを評価すると、平均の生成トークンはそれぞれ10.3%、19.2%、11.1%、11.1%減り、正答率の変化は統計的に有意でなかった。正答率をそろえた比較では、最大25%の削減が報告されている。数学の問題だけで学習したのに、科学とコードにも効果が移っている。長さを明示的に最適化する比較手法と同程度で、Qwenでは On-Policy SFT の17.2%減（平均正答率69.3）に対し、ConfSFTは19.2%減（69.5）だった。推論時に確信度で打ち切るDEERはトークンをより大きく減らせる場合があるが、NemotronではLiveCodeBenchが44.2%から17.4%、HumanEvalが89.7%から47.1%へ落ちた。確信度ラベルを学習例の間でシャッフルすると効果はほぼ消えるか逆転し、位置や正誤の2値を教師にすると効果は弱く不安定になる。推論を8種類のエピソードに分解した分析では、長さを直接削る手法が実装・探索・検証の比率を大きく組み替えるのに対し、ConfSFTは元の構成比をほぼ保っていた。限界として、モデルは最大200億パラメータ規模で、「Wait」と段落区切りのどちらを判断点にするかの比較は学習設定が異なるため対照実験になっていない。著者らの結論も、効率的な推論がメタ認知的な信号を学習した下流の帰結として現れうる、という示唆の形にとどめている。

論文2: LLMが推定する利用者像を読み書きし、拒否を動かす

出典: User Model Extraction via Belief Self-Distillation. arXiv:2609.31603 (2026).

採用理由は、LLMが会話から暗黙に推定している「相手はどんな人か」という信念を、読み出せて書き戻せる低次元の状態として分離し、その状態を書き換えるだけで同じ有害要求への拒否率が変わることを示した点で、AI安全性に直接の含意を持つためである。ミュンヘン工科大学とヘルムホルツ・ミュンヘンのZeynep Akataらのチームによる。従来の線形プローブは属性が活性に含まれることを示し、活性ステアリングは操作できることを示してきたが、読み出しと介入は別々の段階として扱われ、しかも研究者が合成した手がかりやペルソナから出発することが多かった。

提案手法Belief Self-Distillation（BSD）では、凍結した同じモデルを教師と生徒に使う。教師は会話だけを読み、指定した層の最終トークンの隠れ状態を読み出し射影Aで128次元の利用者ベクトルに圧縮する。生徒は会話を見ずに属性の多肢選択の質問だけを受け、書き込み射影Bを通じて同じ層にこのベクトルを加算される。学習するのはAとBだけで、会話と質問を両方与えた凍結モデル自身の回答分布とのKLダイバージェンスを最小化する。選択肢の順序の影響を減らすため、複数の質問テンプレートと選択肢の巡回置換で平均した分布を教師にする。属性は大陸・性別・学歴などの社会人口学的属性と、真実を求める意図・対話の様式・AIへの信頼度などの安全関連属性の計13個で、データはWildChatの実会話約2.7万件とWildJailbreakの敵対的プロンプト約3.1万件である。

Llama-3.1-8B、Qwen3-8B、OLMo-3-7Bで、隠れ状態を32分の1に圧縮しても、線形プローブのマクロF1は生の隠れ状態との差が4%以内に収まった。同じノルムで介入したときの反転率は、Llama-3.1-8Bで生の隠れ状態が21%、BSDのベクトルが78%、乱数ベクトルが13%で、差は方向だけから生じている。ただし標的以外の12属性も平均37%動いており、選択性は完全ではない。安全関連の4属性のステアリング方向は平均コサイン類似度0.91で1本の軸にまとまり、この軸への射影だけで390件の禁止質問への拒否を AUC 0.94、正解率88%で予測できた。StrongREJECTの有害要求を固定したまま、推定された利用者の意図を敵対的から善意の側へ動かすと、拒否率は98%から62%へ下がった。性別の方向で同じ操作をしても乱数ベクトルと同程度の効果しかない。さらに、独立に学習した3モデルの利用者表現は中心化後のCKAが平均0.75で揃い、直交変換でモデル間に移すと、意見が分かれる事例の53〜54%で移植先が移植元の信念を採用した（ランダム回転では30%）。限界として、信念の定義は研究者が選んだ属性と多肢選択の質問に依存し、対象は同程度の規模の3つの指示調整済みモデルの単一層への線形写像に限られる。介入にはホワイトボックスでの活性アクセスが必要で、著者らはこれを利用法ではなく、潜在的な利用者判断に拒否が依存するという脆弱性の提示として位置づけている。

論文3: 新しいLoRAスキルは読むだけで書き込まない

出典: New LoRA Skills Should Read but Never Write. arXiv:2609.31600 (2026).

採用理由は、独立に学習した複数のLoRAアダプタを1つのモデルへ合成する問題について、既存手法が暗黙に下していた2つの選択を明示し、その固定だけで14種類の合成手法の最良値を大きく上回った点にある。上海交通大学、西安交通大学、香港科技大学（広州）、暨南大学のチームによる。重み空間でのマージは干渉を起こし、全タスクで再学習すると高くつき、アダプタ間のルーティングは単一モデルという目標を捨てることになる。著者らは、LoRAの更新 BA が任意の可逆行列 R で (BR)(R⁻¹A) と書き直せるというゲージの自由度と、新旧スキル間の結合の向きという、単体のアダプタでは表に出ない2つの選択に困難の原因を求めた。

提案手法READは、まず各アダプタを薄いQR分解と小さな特異値分解で、更新を厳密に保ったまま両因子が同じ計量を持つ正準形に書き直す。そのうえで全アダプタの因子を積み上げ、その間を結合行列Gでつなぐ。新しいスキルを追加するときは、新スキルが旧スキルの入力部分空間を読む方向のブロックと、新スキル自身の対角ブロックだけを学習し、旧スキルの出力部分空間へ書き込む方向のブロックは0に固定する。これにより旧スキルの計算は構成上変わらない。合成後の更新は基盤の重みに畳み込めるので、推論時のルーターもタスク別ヘッドも追加の計算もない。6スキル時点で学習するのは1モジュールあたり384個、全体で21,504個の浮動小数で、結合行列の保存量はLlamaの56射影全体で12.9万個、アダプタ1個分の約4.7%である。

Llama-3.2-3BとQwen3-4Bに、GLUE、SuperGLUE、BBH、ドメイン課題の4群を1スキルずつ追加し、2つの乱数種と2つの追加順で計32系列を評価した。比較対象は同じアダプタから作れる14手法で、系列ごとに最良のものと比べる。READは32系列中24系列で上回り、平均差は0.073（95%信頼区間0.047〜0.101）、Llamaの SuperGLUE では0.783対0.605だった。多くの系列で最強の比較手法は2022年のRegMeanで、最新の公開手法はむしろ下位に並んだ。負けた8系列はすべてBBHで、その差は小さい。追加のたびの評価では、新スキルの差を半分以上埋めつつ旧タスクの平均低下2ポイント以内などの事前登録した基準を、92回中72回で満たした。BBHでの不合格は旧スキルの劣化ではなく新スキルの獲得不足による。限界として、追加時の1回の学習は新旧タスクの全データを使うので、旧データへのアクセスを前提としている。また評価は30億〜40億規模の2モデル、分類型の課題に限られ、推論の多段性が強いBBHでは効果が出ていない。

論文4: コーディングエージェント向けの説明文は課題解決に効かなかった

出典: Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer. arXiv:2609.31587 (2026).

採用理由は、エージェントに良い文書を与えれば課題解決が上がるという広く共有された仮説を、評価器と最適化器まで自作したうえで大規模に検証し、陽性対照を置いた負の結果として報告している点にある。ハワイ大学マノア校とダフォディル国際大学の2名による研究である。著者らはまず、説明文だけからコードを再生成し元のテストで採点する往復ベンチマークを作った。SWE-bench Verifiedから単一ファイル修正の条件で絞り込んだ11のフィクスチャで、説明文の密度（コード1トークンあたりの説明トークン数）と忠実度の相関は0.88だった。忠実度0の4つはいずれも密度0.45未満で、原因は必要な内部詳細の欠落と、インポート時の構文エラーによる全滅である。事実を1、3、5個含む説明文では、正解数がそのまま1、3、5になり、同じ5つの事実を含む38語と664語の説明文では効果が変わらなかった。効くのは長さではなく完全性である。

この往復スコアに長さの小さな罰則を加えた目的で、説明文を書くプロンプトをGeminiの上位モデルに書き換えさせる探索を行うと、訓練用の3フィクスチャで忠実度1.0に達した後、忠実度を保ったまま語数が減った。探索で見なかった2フィクスチャでも平均忠実度が0.5から1.0へ上がった。見つかったプロンプトは、インポートの列挙、モジュール定数の正確な値、例外と戻り値の条件の明記を求めており、著者らが手で分類した失敗様式と独立に一致した。ソースファイルを隠した条件では、課題文だけの平均テスト通過率0.08が、ベースラインの説明文で0.21、最適化した説明文で0.71まで上がった。

ところが、ソースが作業ディレクトリにある通常の条件では効果が消える。ローカルのQwen系エージェントでは43件中、課題文だけで14件、説明文付きで11件を解決した。Gemini 3.1 Proのdjango課題では、課題文だけで15件中9件、簡潔な説明文で8件、長い最適化済み説明文では4件で、読めるファイルを丸ごと書き直してしまう失敗が増えた。SWE-ContextBench Liteの58課題の比較では、課題文だけ33件、検索された過去文脈30件、簡潔な説明文29件で、差は有意ではなく、並びは一貫して文書に不利だった。同じベンチマーク付属の検索文脈がdjangoの部分集合でわずかな改善を再現したことを、評価系が効果を検出できる陽性対照として置いている。限界として、往復ベンチマークのフィクスチャは11個、汎化の確認は2フィクスチャで、著者ら自身が概念実証と位置づける。文書が効く境界は、コードが説明文よりはるかに大きく文脈に入らない場合で、単一ファイルの規模ではまれだと結論している。

論文5: 層の組合せを乱択して再構成と生成のずれを縮める

出典: FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders. arXiv:2609.31620 (2026).

採用理由は、事前学習済み視覚エンコーダの特徴を拡散モデルの潜在空間に使う表現オートエンコーダ（RAE）で、どの層を融合するかという設計上の固定選択そのものを乱択に置き換え、理論解析と生成指標の改善を両立させた点にある。ブラウン大学、USC、ライス大学などの共同研究で、Randall BalestrieroとYue Wangが共同で指導している。RAEv2はエンコーダの最後の数層を足し合わせる固定の融合を使うが、DINOv3-Lで融合する層を7層から23層に広げると、再構成のPSNRは22.58dBから27.04dBに上がる一方、ガイダンスなしのgFIDは1.65から3.01に悪化する。浅い層は画素の細部を保ち、深い層は生成しやすい。1つの固定融合が、異なる情報を好むデコーダと生成器を縛っている。

FuseRegは学習時に、23層から各層を独立に確率pで落とし、残った層の平均を潜在表現にする。正規化しているので、期待値は全層平均に一致し、層間で食い違う成分だけが揺らぐ。著者らは、線形の二乗損失モデルでこの操作が層間の不一致に対する明示的な罰則項と等価になること、また入力に依存しないどの固定融合も、この重みの2次モーメントを再現できないことを証明した。デコーダは乱択した部分集合から画素を再構成し、生成器のDiTは乱択した部分集合の雑音入り潜在から全層平均を予測する。2つの段で落とす確率を別々に設定する。

$$\mathbb{E}_S[z_S\mid x]=\bar h,\qquad \mathbb{E}_S\big[(z_S-\bar h)(z_S-\bar h)^\top\mid x\big]=c_K(p)\,V(x)$$

ImageNet-256では、固定融合で学習したRAEv2のデコーダが学習時の融合では27.04dBに達しても、他の融合では12.51〜14.31dBに落ちるのに対し、1つのFuseRegデコーダは7層・23層・単一層の3条件で23.77、27.52、25.13dBを保った。生成器と生成済みの潜在を固定し、デコーダだけを差し替えると、23層融合のDiT-XLでガイダンスなしのgFIDが3.01から2.21へ下がった。ただしガイダンスありでは、中間の確率で1.25から1.49へ一時的に悪化し、最も強い正則化でようやく1.25に戻る。DiT-Baseでは、デコーダだけで13.96から12.96、生成器だけで12.09、両方で9.93となり、単独の改善の和を超えた。一方DiT-XLでは、生成器側の正則化単独ではgFIDが改善せず、最良のgFIDはデコーダを強く正則化し生成器側を0にした設定だった。限界として、評価はImageNet-256、凍結したDINOv3-L、DiT-BaseとDiT-XLに限られ、線形モデルでの理論は非線形の実験の解釈を補うものにとどまる。

まとめ

長さの項を持たない確信度予測で平均10〜19%の推論トークン削減、推定された利用者の意図を書き換えるだけで拒否率が98%から62%、結合の向きを固定したLoRA合成で32系列中24系列の勝利、ソースが手元にあると最適化済みの説明文でも課題解決が改善しない負の結果、層の乱択でDiT-Baseのガイダンスなし gFIDが13.96から9.93、の5本だった。1本目と5本目は、目的関数に書いていない性質が、別の信号や乱択を通じて改善しうることを示す。2本目と4本目は逆に、要求文や文書の中身という表面の入力ではなく、モデルが内部で持つ状態や、すでに文脈にある情報との重なりが結果を決めることを示している。3本目は、単体では意味を持たない座標と向きの選択が、合成したときには決定的になる例である。

参考ソース

• 論文1: Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency. arXiv:2609.31619
• 論文2: User Model Extraction via Belief Self-Distillation. arXiv:2609.31603
• 論文3: New LoRA Skills Should Read but Never Write. arXiv:2609.31600
• 論文4: Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer. arXiv:2609.31587
• 論文5: FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders. arXiv:2609.31620