arXiv Frontier AI論文解説（2026年9月14日）

キーワード: 機械学習解除 / 形式検証 / 長期深掘り調査 / 不確実性推定 / エージェント基盤

本日は、公開済み解除モデル263件の監査、自然言語の数学推論とLean証明の閉ループ化、依存鎖を持つ深掘り調査ベンチマーク、単一生成からの不確実性推定、多数サンドボックスのメモリ圧縮を扱う。いずれもモデル規模ではなく、評価手順、検証器、内部活性、実行基盤に残る誤差や費用を明示的に扱う研究である。

オープニング：2026年9月14日 — arXiv Frontier AI論文解説

五つの研究を、課題設定、評価条件、核心数値、一般化の境界という共通の順序で比較する。

論文1: 公開済み解除モデル263件で判定値の揺れを監査

出典: Published Unlearning Numbers Move Per Checkpoint, and Not Because the Removed Data Survives: An Audit of 263 Released Batch-Normalized Checkpoints. arXiv:2609.11490 (2026).

機械学習解除の評価値が、解除アルゴリズム以外の保存状態にどれだけ依存するかを公開チェックポイント単位で調べた点を採用理由とした。解除済みモデルと再学習参照モデルには、勾配更新が直接書き込まないバッチ正規化統計も同梱されるが、その再計算規約は通常記録されない。著者らは重みをビット単位で固定したまま保持データで統計を再適合し、221件中47件で、同じリリースの乱数シード間変動幅を超えて公表値が動くことを示した。平均では動かない手法の内部にも動く個別チェックポイントがあり、手法平均だけでは測定チャネルを隠す。

削除データが状態に残存したためかを切り分けるため、固定した適合集合の内部で保持レコードを削除レコードへ交換したところ、公表セルの変化はほぼなかった。一方、配布時の統計が再適合可能な状態からどれだけずれているかは変動を追跡した。判定への影響は限定的だが実在し、12件の判定が境界を越え、4件は測定した再較正予算を超え、2件は全反復で超えた。ただし著者らが自ら訓練し判定基準近傍へ配置した母集団では越境はゼロだった。したがって結論は解除一般の破綻ではなく、バッチ正規化を持つ視覚モデルでは、数値とともに統計の適合規約を公開しなければチェックポイント単位の判定を再現できない、という狭く具体的な監査結果である。

この設計では重みを固定しているため、解除アルゴリズムの再訓練差と、評価直前の状態調整を混同しない。報告単位を手法平均だけにせず、個別チェックポイントと反復へ下げたことで、測定規約が意思決定へ入る位置を特定している。

論文2: 自然言語の数学解答をLean証明まで閉ループ化

出典: Magenta: Closing the Loop Between Mathematical Reasoning and Lean Verification. arXiv:2609.11319 (2026).

自然言語で正しいらしい解答を得るだけでなく、問題文の意味を保つ形式化と機械検証済み証明まで一つの推論ループに入れた点が新しい。Magentaは追加学習を使わず、自然言語問題から解答を作り、それをLean 4の命題へ変換し、証明を構成する。ここで証明器が通るだけでは十分でない。誤って弱い命題へ形式化すれば偽の証明書を作れるため、statement judgeが元問題と形式命題の意味保存を判定する。失敗時にはerror-attribution judgeが、数学的導出そのものの再実行と、局所的なLeanコード修復へ経路を分ける。

評価ではAIME 2025、AIME 2026、HMMT February 2026を含む全オリンピック系ベンチマークで100パーセントを報告し、オープンウェイトのK2-Horizon-7Bと組み合わせてIMO 2026の6問すべてを解いた。分析ではstatement adjudicationが偽の証明書を防ぐために不可欠で、フィードバック誘導修正が難問で独立再サンプリングを上回った。比較の核心は、単なる多数決や試行回数ではなく、失敗原因を数学と形式言語へ分解したことにある。ただし要旨は計算予算、試行数、各問題の証明長を示しておらず、100パーセントという結果を同一予算の単発モデル精度として解釈できない。自然言語から命題への意味保存を別判定器へ依存する構造も残り、再現にはプロンプト、探索上限、Lean環境を含む実行条件が必要である。

訓練不要という主張は基盤モデルを更新しないという意味であり、推論時の探索が無料という意味ではない。最終証明の検証可能性と、そこへ到達する計算効率は別指標であるため、後者の比較には同一モデルと同一予算での成功率が要る。

論文3: 平均12.1個の中間結論を要求する深掘り調査評価

出典: Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents. arXiv:2609.11318 (2026).

検索件数ではなく、依存関係を壊さずに長い証拠鎖を維持できるかを測る設計が、既存の中程度ホライズン評価との差分である。Mr.LHDRの各問いは非公開のノード関係グラフから構成され、短く一意で検証可能な最終解へ至るまで、平均12.1個の必須中間結論と平均依存深さ10.4を要求する。8カテゴリを含み、画像、地図、PDF、ロゴ、チャート、表、動画フレームの少なくとも一つが推論状態を変えるように設計される。最終答だけでなく、注釈済み依存関係に沿った中間結論も採点するため、偶然正答と証拠鎖の完成を分離できる。

一般モデル、深掘り調査システム、エージェント枠組みを、Overall Accuracy、Strict Accuracy、Checklist Score、Dependency-Aware Checklist Scoreで比較した。最強システムでもOverall Accuracyは43.1パーセント、Strict Accuracyは34.3パーセントで、最終答中心の値が調査工程の完全性を過大評価する。画像を除くと依存関係を考慮したスコアが12.6ポイント下がり、推論鎖が長くなるほどStrict Accuracyは一貫して低下した。隠しグラフは精密な診断を可能にする反面、現実の調査課題の分布をどこまで代表するか、検索環境やページ更新に対して評価をどう固定するかが再現上の境界になる。ここで測られたボトルネックは単発の検索失敗ではなく、長距離の依存整合性である。

四つの指標を併置することで、正答へ到達したが根拠鎖を欠く系と、途中まで正しい証拠を集めたが結論に失敗した系を区別できる。この区別は、検索器、視覚認識器、証拠統合器のどこへ改善を配分するかを決める診断情報になる。

論文4: 全層・全生成トークンの活性を96キロバイトへ圧縮

出典: ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps. arXiv:2609.11498 (2026).

複数回答のサンプリングをせず、特定の一回答を信頼するかを単一生成から推定するため、内部計算の軌跡を固定形状へ保存する。既存法は複数生成を要求するか、出力トークン確率だけを見るか、内部状態を一つの隠れベクトルへ潰す。ActMapは全層・全生成トークンの隠れ状態を時間統計チャネルへ圧縮し、モデルの深さや隠れ次元に依存しない12掛ける32掛ける128のテンソルを作る。生成時に計測可能な追加時間なしで取得でき、容量は96キロバイトである。オクルージョン分析では分類器の信号がマップの中間深度領域へ局在した。

軽量な視覚トランスフォーマーが各マップから正答確率を1ミリ秒未満で読み、容量を合わせた多層パーセプトロンも同程度だったため、性能源は特定分類器より表現自体にあると解釈される。短答式質問応答、直接回答型数学、要約の事実性を、3つの70億から80億パラメータ級指示調整モデルでドメイン内学習・評価した。サンプリング、トークン確率、アテンション、埋め込みの各ベースラインを一貫して上回り、67倍大きい密な活性テンソルで学ぶACT-ViTと平均AUROCがほぼ同じで、12組中10組では較正誤差が低かった。限界はホワイトボックスアクセスとドメイン内評価であり、未知モデル、分布外課題、長文生成で同じ較正を保つことは示されていない。それでも棄却、モデル振り分け、選択的検証へ渡せる監査単位を単一生成から作る点は実装上明確である。

固定形状なので異なる深さのモデル間で下流分類器の設計を共有できる一方、表現の座標がモデル間で対応することまでは保証しない。96キロバイトという保存費用と、モデルごとの較正データ取得費用を分けて評価する必要がある。

論文5: 多数エージェント環境のメモリを最大8.7分の1へ圧縮

出典: Memory Compression for High-Fanout Agent Sandboxes. arXiv:2609.11294 (2026).

一つの課題から多数の隔離サンドボックスを並行起動する高ファンアウト型エージェントでは、モデル推論だけでなく環境複製のメモリが律速になる。これらの環境は共通テンプレートから始まり、関連した軌跡を実行するため、完全に独立ではなくテンプレート相対およびサンドボックス間の冗長性を持つ。従来圧縮は、非同一ページ間の類似を利用しにくく、ページフォールトを避けるため対象を保守的に選び、メモリ圧迫時または実行位相と無関係な時刻に圧縮する。AgentZipは、この三点をエージェント実行に合わせて再設計した最初の専用システムとして提示される。

手法はテンプレートとの差分とサンドボックス横断の類似を圧縮に使い、利益のある表現を持つ任意ページまで対象を広げる。前景のツール実行を妨げないよう、高価な圧縮を言語モデル応答待ち時間へ合わせ、復元時プリフェッチでページフォールト費用を制御する。言語モデルの訓練・推論ワークロードでサンドボックス所有メモリを最大8.7分の1へ削減し、比較したLinux設定は2.1分の1だった。積極圧縮の減速は最大3.1倍だったが、プリフェッチと実行位相対応スケジューリングにより1.40倍へ抑え、メモリ利得のほぼ全てを保った。最大値はワークロードと共有度に依存し、異質な環境や待ち時間の短いツール中心処理では冗長性と隠蔽余地が減る。モデル品質を変えず同時実行数を増やすシステム研究として、エージェント評価時には推論トークンだけでなく環境メモリも端から端の費用へ含める必要を示す。

圧縮率だけを最大化すると復元遅延でスループットを失うため、この研究の比較対象は容量と減速の組である。待ち時間へ処理を重ねる設計は、モデル応答時間が変われば最適点も変わるので、配備環境ごとの位相計測が前提になる。

まとめ

五本は、公開数値の裏にあるバッチ正規化状態、数学解答と形式証明の意味対応、長い調査鎖の依存整合性、生成中の内部活性、並行環境の共有メモリを、それぞれ観測・検証可能な対象へ変えた。強い数値も、解除モデルの特定構造、オリンピック問題と探索条件、構成済み調査グラフ、ドメイン内の70億から80億級モデル、共有度の高いサンドボックスという条件に結び付く。共通する研究課題は、最終出力だけでは見えない状態を計測し、性能と再現性の境界を工程単位で特定することである。

参考ソース

• 論文1: Published Unlearning Numbers Move Per Checkpoint, and Not Because the Removed Data Survives: An Audit of 263 Released Batch-Normalized Checkpoints. arXiv:2609.11490
• 論文2: Magenta: Closing the Loop Between Mathematical Reasoning and Lean Verification. arXiv:2609.11319
• 論文3: Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents. arXiv:2609.11318
• 論文4: ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps. arXiv:2609.11498
• 論文5: Memory Compression for High-Fanout Agent Sandboxes. arXiv:2609.11294