arXiv生成AIニュース（2026年8月23日）

キーワード: 自己改善の測定監査 / 概念単位のアンラーニング / エージェント型ツール利用 / 文書知識の内在化 / スキル転移 / テスト時推論配分

（今日のハイライト: 「モデルは本当に自己改善したのか」を統計的アーティファクトの観点から徹底監査した研究、訓練アルゴリズム自体を書き換えさせる再帰的自己改善ベンチマーク、そして問題ごとに考える時間を自分で調整させる適応的推論の3本を中心に、LLMエージェントの能力形成と評価の足場そのものを問い直す論文を10本紹介する。なお、arXivは土日に新規論文の告知を行わないため、本日は直近の平日（8月20日）に投稿された論文群から採用した。）

オープニング：2026年8月23日 — arxiv生成AI論文解説

本日はエージェント型LLMのスキル獲得・自己改善・推論配分をめぐる研究を中心に、安全なアンラーニング、モデルルーティング、文書知識の内在化まで10本の論文を幅広く紹介する。

論文1: 自己改善の「見かけの伸び」を暴くPhantom Gains

自己改善を主張する研究の多くが依拠する統計的比較そのものに潜む測定上の欠陥を、具体的な数値で7種類も指摘している点が際立つため取り上げる。近年、言語モデルが自己改善したかどうかは平均正解率ではなく、個々の問題ごとにどれを新たに解けるようになり、どれを解けなくなったかという「遷移」で判定されることが増えている。しかしこの遷移は2つのノイズを含む推定値の差分であり、測定アーティファクトに弱い。研究チームはQwen3-8Bに対してランク32のLoRAによる3ラウンドの自己訓練を行い、まったく訓練していない凍結モデルを同一パイプラインに通す対照実験で監査した結果、7種類の測定の失敗を特定した。たとえば単一の貪欲デコードだけに基づく記録は、訓練していないモデルにさえ能力変化があったように見せかけてしまい、これは主に推論時のバッチ処理の副作用にすぎなかった。

研究チームはこの問題に対し、複数腕の研究がすでに保有している凍結対照群からベースラインを構築し、問題ごとの厳密な検定を偽発見率で制御する手法に置き換えた。この手法を実際のアーム比較に適用すると、外部からの蒸留はベースモデルがほとんど解けない問題を改善する一方、3種類の自己訓練はいずれもそれを改善できないという非対称性が見つかり、これは蒸留全体の効果量が大きいことの単なる副産物ではないと回帰分析で確認された。逆にベースラインで解けていた問題を自己訓練が壊してしまう率は、測定された床値を大きく上回っていた。自己改善を語るあらゆる主張は、新たな実験を追加しなくても手元の対照群から個別に測定された「無効仮説」を持つべきだという、評価方法論そのものへの警鐘を鳴らす結果である。

出典: Phantom Gains: Auditing Self-Improvement Against a Measured Null. arXiv:2608.20290 (2026).

論文2: 訓練アルゴリズムそのものを書き換えさせるAI4AI-Bench

「エージェントは自分を賢くする学習アルゴリズムを設計できるか」という再帰的自己改善の核心を、ハイパーパラメータ調整で誤魔化せない形で切り出した設計の新しさから取り上げる。再帰的自己改善とは、AIシステムがAIシステムを生み出す過程そのもの、つまり訓練アルゴリズムを改善できるかという問いである。研究チームは、10個の訓練アルゴリズム系統にまたがる10個の凍結された研究リポジトリからなるAI4AI-Benchを構築した。各タスクでエージェントは1台のGPU上で4時間かけて訓練アルゴリズムを書き換え、そのコードは最大12時間かけてゼロから再実行され、エージェントからは隠された固定の評価者によって、リポジトリ本来のアルゴリズムと同一手順で比較採点される。10種類の指標は互いに比較できないため、0を無情報なモデル、0.1をリポジトリが最初から備えるアルゴリズム、1.0をタスクの理論上限とする共通尺度に写像している。

6システム・29構成を全10タスクで走らせた結果、平均スコアは0.166、最良のシステムでも0.250にとどまり、最強のシステムでさえ既存アルゴリズムと理論上限の距離の5分の1も縮められていないことが分かった。提出されたコードの大半はモデルの学習の仕方そのものには一切手を加えておらず、実際に学習方法を変更した少数派だけが平均0.226を記録し、変更しなかった多数派の0.126を上回っていた。推論に割く計算量を増やすと、学習方法を変更する意欲を持つ提出の割合が8%から64%に跳ね上がり、平均スコアも0.094から0.196へ改善した。訓練アルゴリズムの中身を書き換える再帰的自己改善は、現状のエージェントにはまだ手の届かない領域にあることを定量的に示した結果である。

出典: AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement. arXiv:2608.20318 (2026).

論文3: 問題の難しさに応じて考える長さを自分で選ぶLearning When to Think

固定の思考トークン予算という前提を崩し、モデル自身に「考える量」を選ばせるという発想の転換が明快なため取り上げる。強化学習で訓練された推論言語モデルは通常、明示的に適応的とはいえない固定のトークン予算のもとで動作しており、簡単な問題に計算を使いすぎたり、難しい問題に計算が足りなかったりする。研究チームは、応答の最初のトークンとして「即答（考えずにすぐ答える）」「短い推論」「長い推論」の3つのモードから1つを選ばせ、その選択自体をGroup Relative Policy Optimization（グループ相対方策最適化、GRPO）の内部で学習させた。別立てのルーターは置かず、各モードが異なる応答長のもとで割に合うように報酬を整形し、モード同士が区別を保つよう各モードにトークン上限を課している。

1.5Bパラメータの蒸留モデルをMATHで訓練した結果、3つのモードは1つに潰れることなく共存し、短いモードの方が長い推論モードより正解率が高くなる場面すらあり、これはルーターが難易度に応じて問題を振り分けていることを示している。3シードの平均で、保留データのMATH500での正解率はベースモデルとほぼ変わらない0.782対0.796を保ちながら、平均応答長は4796トークンから2811トークンへと41%削減された。興味深いことに、この方策は再訓練なしで他のベンチマークにも転移し、問題が簡単なほど節約効果が大きく、たとえばGSM8Kでは76%のトークン削減を達成しながら、同程度の応答長のベースラインより高い正解率を示した。問題ごとにどれだけ考えるべきかを自ら判断する推論モデルを、追加のルーターなしで作り上げた点に意義がある。

出典: Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation. arXiv:2608.20256 (2026).

論文4: 単純な事実でなく「概念」単位でアンラーニングを測るConceptGuard

安全性研究で急速に重要性を増しているアンラーニング（学習内容の選択的削除）の評価基準そのものが不十分だと指摘し、新しい評価軸を提示している点が新しいため取り上げる。大規模言語モデルには有害・機微な知識を選択的に取り除くアンラーニングが求められる場面が増えているが、既存の手法とベンチマークの多くは、互いに独立した事実からなる忘却集合と保持集合を単純な事実想起で評価しており、有害な使い方だけを消して有益な使い方は残すという実務上の要求を捉えきれていない。研究チームは、有害にも良性にも使える「両用概念」という考え方を導入し、忘却集合と保持集合が概念の使われ方において明示的に補完関係になるよう設計したベンチマークConceptGuardを構築した。これにより、まばらな事実の単位ではなく概念の単位でアンラーニングの効きを検証でき、文脈に応じた意図の違いを重視した評価が可能になる。

既存のアンラーニング手法をこの設定で試したところ、いずれも文脈による使い分けの精度が低く、ROUGEスコアや概念レベルの指標でも成績が振るわないことが分かった。忘却と有用性の間のトレードオフは強く、文脈感度の向上はわずかにとどまり、概念レベルでの制御の一貫性も手法間でばらついていた。単に「その事実を言えなくする」だけでは不十分で、危険な使い方だけを狙って消し、正当な使い方は保つという現実の安全要件に、現状の手法群がどれだけ届いていないかを具体的に可視化した結果である。

出典: ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models. arXiv:2608.20338 (2026).

論文5: 高コストな価値推定をいつ行うかをパンドラの箱として定式化するPandora's AI Model Routing Box

古典的な「コストのかかる探索」の理論であるパンドラの箱問題を、複数モデルへのクエリ振り分けという現代的な問題に厳密に対応づけた発想の転換のため取り上げる。複数のモデル・アーキテクチャ・推論設定からなる異種混合のAIシステムは、各クエリを最も効果的かつ低コストに答えられる専門家へ振り分けることで品質と効率を高められるが、その振り分けには各専門家の期待成果を見積もるコストが伴う。埋め込みベースの安価な推定器は速いがノイズが多く、検索結果や部分的な推論過程を使う高精度な推定器は遅く高価という板挟みがある。研究チームはこのトレードオフを、コストのかかる検査を伴う最適探索の古典問題であるパンドラの箱問題として定式化し、ガウス信号モデルのもとで、専門家ごと・入力ごとに価値推定を洗練させる価値があるかどうかを判定する閉形式の情報価値表現を導いた。

この中央集権的な方策をPandora's Routerと呼び、さらに各専門家が自己評価に投資するかどうかを独立に決める分散型の設定Pandora's Bidderへも拡張している。標準的な複数LLMベンチマーク、検索拡張された専門家群、推論時計算量が可変なLLM群という3つの領域での実験では、Pandora's Routerは高価な推定器への問い合わせ回数をはるかに減らしながら、全数推定と同等のルーティング品質を達成した。分散設定では、競合する推定が正確な場合には情報価値に基づく判断が全体の配分効率を高める一方、推定にノイズが多い場合には、それが他者を犠牲にして特定の専門家の効用だけを高めてしまうことも示された。効率化の追求が常に全体最適につながるとは限らないという、実運用上重要な留保を伴う結果である。

出典: Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation. arXiv:2608.20316 (2026).

論文6: ツール利用能力そのものを事前学習段階で育てるMidTool

数学や科学のような推論能力に限定されがちだった「中間学習」の効果を、汎用的なツール利用というあまり調べられていない能力に適用した点が新しいため取り上げる。中間学習（mid-training）は大規模言語モデルの能力形成における重要な段階として近年注目されており、数学や科学など推論負荷の高い能力や、ソフトウェア工学分野でのエージェント能力を強化できることが分かってきた。研究チームは、これと並行しながらあまり探られてこなかった汎用ツール利用の能力に着目し、大規模なウェブ・PDF・コードデータと、実在のツールAPI・MCPスキル・文書に基づくワークフローから合成した教師データを組み合わせたコーパス構築パイプラインMidToolを提案した。モデルがツールの使いどころを認識し、文脈から引数を接地させ、ツール呼び出しの手順を組み立て、情報が不完全な状態からも立て直せるように設計されている。

Qwen3-4B-BaseとQwen3-8B-Baseに対してMidTool-Mixで中間学習を行い、続けて教師あり微調整と強化学習の両方で後段の学習を施したところ、ベースラインと比較してBFCL、tau2-Bench、MCP Universeという3つのベンチマークすべてで、教師あり微調整と強化学習の両方の設定下で一貫して性能が向上した。この結果は、数学や科学能力と同様に汎用的なツール利用も、後段の学習だけに委ねるのではなく専用の中間学習によって恩恵を受けることを示唆している。エージェントが実世界のツールを使いこなす能力の土台を、学習パイプラインのどの段階で育てるべきかという設計判断に具体的な材料を与える結果である。

出典: MidTool: Mid-training Data Synthesis for Agentic Tool Use. arXiv:2608.20314 (2026).

論文7: 検索なしで文書知識を答えられるようにするInject, Align, Recover

検索拡張生成（RAG）に頼らず、文書集合の知識をモデルのパラメータ自体に焼き込むという方向性を、3段階の学習に明確に切り分けて扱った設計のため取り上げる。大規模言語モデルは、推論時に元の文書を検索できない場合、限定された文書集合についての質問にしばしば答えられない。研究チームはこれを「文書知識の内在化」問題と位置づけ、固定されたコーパスを検索不要の質問応答に使える知識へ変換する3段階の後段学習フレームワークIAR（Inject, Align, Recover）を提案した。通常の継続事前学習とは異なり、Injectの段階では文書を継続文・書き換え文・指示に条件づけた再構成という複数の学習目的に変換し、Alignの段階では解答のみを教師信号とするQA指導でモデルを適応させ、Recoverの段階ではドメインに適応したモデルをベースの指示モデルと統合して汎用能力を回復させる。

Common CorpusとCCIという2つのコーパス、Llama・Phi・Qwen・SmolLMという4つのモデル系列にわたる実験で、IARは検索なし文書内在化における「ドメイン性能と汎用性能の両立」の最前線を押し上げた。主要な比較では、8つのデータセット・モデルの組み合わせのうち7つで、単純な教師あり微調整に対して報告した4つの指標すべてで上回り、ドメインQAの正解率で平均3.6ポイント、IFEval・MMLU・MSBenchにわたる汎用性能で平均12.1ポイントの改善を得た。LoRAなど一部の手法が個別の汎用指標で上回る場面はあるものの、ドメイン内在化で同等以上の性能を持つ手法の中では、IARが最も強い汎用性能のプロファイルを維持していた。RAGに頼れない場面でモデル自身に知識を持たせる際の学習設計に、具体的な手がかりを与える結果である。

出典: Inject, Align, Recover: Staged Post-Training for Retrieval-Free Document Knowledge Internalization. arXiv:2608.20281 (2026).

論文8: スキルを教える粒度が転移の成否を分けるBreak It Down, Pass It On

エージェントが経験から学んだスキルを再利用する際に「時に有害にすらなる」という問題を、粒度と形式という2つの軸に沿って統制実験で切り分けた点が丁寧なため取り上げる。LLMエージェントは完了したタスクからスキルを抽出し、後で再利用することで経験とともに能力を伸ばせるはずだが、実際には抽出したスキルの転移は当てにならず、それを参照したエージェントの性能をかえって落とすことさえある。研究チームは、タスク単位でスキルを抽出する場合とサブタスク単位で抽出する場合、テキスト形式のスキルとコード形式のスキルという、既存手法が分かれている2つの軸に沿って統制比較を行った。その結果、タスク単位のスキルは平均してメモリなしのベースラインより性能を下げてしまう一方、サブタスク単位のスキルは平均して上回り、テキスト形式のスキルはコード形式より転移がよいことが分かった。

この違いを理解するため、研究チームはスキルが実際のタスクにどれだけ近いかを表す「特異性」と、関連度がタスク群にどれだけ均等に広がっているかを表す「抽象性」という2つの性質を調べた。どちらか単独ではタスクの成否を予測できないが、両者を組み合わせた「スキル有用性スコア」を提案したところ、これがスキル転移時の成功と一貫して相関し、サブタスク単位・テキスト形式のスキルほど高いスコアを示した。このスコアはスキルとタスクの説明文だけから計算でき、実際にタスクを実行する必要がないため、新しいタスクを走らせる前にスキルメモリの質を診断する実用的な指標として使えることを示している。

出典: Break It Down, Pass It On: Cross-Task Skill Transfer in LLM Agents. arXiv:2608.20274 (2026).

論文9: 未知のマウス操作の記録から仕事の型を自動で抽出するTask Model Induction

コンピュータ操作の生の記録という低レベルなイベント列から、監査・再利用が可能な構造化されたタスクモデルを取り出すという野心的な目標設定のため取り上げる。共著者にはコンピュータ操作エージェント研究で知られるスタンフォード大学の研究者が名を連ねる。日常的なスクリーンショットやマウス・キーボード操作の記録は、実際の仕事がどう行われているかを表す象徴的で監査可能かつ再利用可能なモデルを導き出す貴重な資源になるが、活動は低レベルなイベントとしてしか観測されず、実世界の仕事は複数の目的が入り乱れた多重スレッドであるため、そこからタスクモデルを導くのは難しい。既存手法は単一のタスクや単一のワークフローを前提とし、構造化されたタスクモデルではなくステップ単位の要約しか生成できなかった。研究チームは、制約のない記録の中に潜む複数のタスクを見つけ出し同時進行の活動を解きほぐす手法と、見つけた各タスクについて再帰的な目標分解の階層モデルと実行を組織した制御フローの手順モデルを対にして導くTask Model Induction（TMI）を提案した。

統制された人間およびエージェントの操作軌跡での内在的評価では、TMIは入り乱れたタスクを正解のグループ分けと0.974の一致率で復元し、観測された実行ステップの74.9%を再構成でき、最も強いワークフロー抽出のベースラインを大きく上回った。外在的評価では、TMIのタスクモデルから導いたスキルが、保留タスクの正解率を最強のベースラインに対して30.0%改善した。人間の作業記録から再利用可能な知識を自動で取り出すという方向性は、コンピュータ操作エージェントが実務に入り込むほど、組織側が「エージェントが何をどう学んだか」を監査する必要性と表裏一体であり、その基盤技術を具体的な数値とともに示した点に意義がある。

出典: Inducing Task Models from Computer-Use Traces. arXiv:2608.20319 (2026).

論文10: ルールに従って迷路を解けるかでマルチモーダルLLMを試すRuleMaze

視覚的な空間認識と自然言語のルール理解を同時に要求する設定を、手作業でのルール設計を排した自動生成パイプラインごと提示している点が新しいため取り上げる。マルチモーダル大規模言語モデルは言語的推論と視覚知覚を組み合わせられるが、明示的あるいは未知のルール制約のもとで視覚的な空間計画を行う能力はあまり調べられていない。この設定では、モデルが空間配置を理解し、自然言語で書かれたルールを解釈し、それに従って有効な行動を計画するという3つの能力を同時に発揮する必要がある。研究チームは、複雑さの異なる自然言語ルールに従いながら迷路を進ませるベンチマークRuleMazeを構築し、正確な知覚・ルール解釈・制約付き行動計画を切り分けて評価できるようにした。手作業でのルール設計を避けるため、自然言語ルールを自動生成し、それを論理表現と実行可能な検証器へ翻訳するLanguage-Logic-Function Hybridizationという手法も提案している。

さらにルール遵守と汎化を高めるため、知覚・実行・ルール検証を解釈可能な推論の基本要素へ切り分けるDisentangled Multimodal Planning（DMP）を導入した。これらの要素を切り分けることで、より複雑で未知のルールへの体系的な汎化を促しつつ、途中の計画過程を透明にトレースできる。実験では、DMPは end-to-end のテキストベース計画のベースラインと比べてルール遵守率と計画成功率を大きく改善した。空間認識・言語理解・制約遵守が絡み合う課題でマルチモーダルLLMの弱点を体系的に測る土台と、それを改善する具体的な設計原理の両方を示した結果である。

出典: Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models. arXiv:2608.20237 (2026).

参考ソース

• 論文1: Phantom Gains: Auditing Self-Improvement Against a Measured Null. arXiv:2608.20290
• 論文2: AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement. arXiv:2608.20318
• 論文3: Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation. arXiv:2608.20256
• 論文4: ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models. arXiv:2608.20338
• 論文5: Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation. arXiv:2608.20316
• 論文6: MidTool: Mid-training Data Synthesis for Agentic Tool Use. arXiv:2608.20314
• 論文7: Inject, Align, Recover: Staged Post-Training for Retrieval-Free Document Knowledge Internalization. arXiv:2608.20281
• 論文8: Break It Down, Pass It On: Cross-Task Skill Transfer in LLM Agents. arXiv:2608.20274
• 論文9: Inducing Task Models from Computer-Use Traces. arXiv:2608.20319
• 論文10: Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models. arXiv:2608.20237