arXiv生成AIニュース（2026年8月30日）

キーワード: テスト時の方策最適化 / 弱いモデルからの誘導 / RLVRと探索の多様性 / エージェントのスキル進化 / 動画世界モデル / 解釈可能性と評価認識

今日取り上げるのは、いずれも2026年8月27日に投稿された新着論文10本である。弱いモデルの失敗や下書きを強いモデルの道しるべに変える三つの研究（推論時の批評、ラベルなしのテスト時学習、RLVRの探索拡大）、大規模言語モデルにオペレーションズ・リサーチのアルゴリズムそのものを設計させる試み、エージェントの経験を持続的な知識ベースへ蒸留する枠組み、複雑なプロンプト探索は不要だと主張する素朴な最適化、人間の動画からも学べる身体をまたぐ動画世界モデル、言語モデルが道徳の概念をどう幾何学的に配置しているかの解剖、コンシューマ向けGPU一枚で二十億パラメータを事前学習するレシピ、そして「評価されている」という気づきの中身が従順さを左右するという安全性の指摘まで、事後学習・エージェント・世界モデル・解釈性・効率の各軸で今の研究の関心が見える回になった。

オープニング：2026年8月30日 — arxiv 生成AI論文解説

本日は、推論時の批評による弱いモデルからの学習、ラベルなしのテスト時方策最適化、弱いモデルの下書きによるRLVRの探索拡大、大規模言語モデルによるアルゴリズム設計、エージェントのスキル進化、素朴なプロンプト最適化、身体をまたぐ動画世界モデル、道徳知識の幾何構造、低コスト事前学習、評価認識の中身と従順さの関係を、比較条件と限界に沿って解説する。

論文1: 弱いモデルの失敗パターンを推論時の道しるべにする

著者・所属機関・日付: Wu氏、He氏、Hu氏ら7名のチーム、2026年8月27日投稿。コードはCRITICLとして公開されている。

出典: CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes. arXiv:2608.27455 (2026).

推論時スケーリングは大規模言語モデルの推論性能を大きく伸ばしてきたが、多くの手法は同じ問題を何度も生成し直すか、外部の検証器に頼る。この論文が着目したのは、同じモデル系列の中では、小さいモデルが犯す失敗の型が規模をまたいで構造化されて現れる、という観察である。失敗を単なる望ましくない出力として捨てるのではなく、誘導のための資源として使う発想が明快なので選んだ。具体的には、弱いモデルから取り出した失敗の型を、批評という形の文脈内事例に変換して本命モデルの推論へ差し込む。

提案手法には二つの変種がある。入力ごとに失敗の型を適応的に予測して対応する批評を検索するCritICL-dynamicと、全体の失敗プロファイルを一つ用意して安定した誘導を与えるCritICL-staticである。実験では、標準的な文脈内学習を一貫して上回り、生成回数もトークンコストも大幅に少ないまま、テスト時スケーリングの手法に匹敵するか上回る性能を示した。弱いモデルの誤りを「避けるべき地雷の地図」として本命に渡すという構図であり、繰り返し生成や外部検証に頼らずに推論を底上げできる余地があることを具体的に示した研究である。

論文2: ラベルなしで多数決を使いこなすテスト時の方策最適化

著者・所属機関・日付: Wang氏、Lu氏、Wang氏ら8名のチーム、2026年8月27日投稿。著者らはプロジェクトページをzju-realのドメインで公開しており、浙江大学系の研究グループとみられる。

出典: TTPO: Test-Time Policy Optimization. arXiv:2608.27448 (2026).

強化学習やオンポリシー自己蒸留といった事後学習は数学推論を大きく伸ばしてきたが、正解ラベルを必要とするためテスト時の学習には使えない。正解の代わりに多数決の疑似ラベルを置く素朴な代替は脆く、一度誤った投票が教師を汚染し、すべてのトークンを誤った方向へ引っ張る。著者らが見つけたのは、この失敗の非対称性である。疑似ラベルと食い違う生成は、投票自体が正しいかどうかによらず、たいてい間違っている。

この観察に基づき、テスト時方策最適化は非対称な目的関数を組む。疑似ラベルに同意する生成はオンポリシー自己蒸留で蒸留し、食い違う生成はグループ化した強化学習で罰する。さらにトークン単位の選択で両方を精錬し、蒸留は既に収束した位置の重みを下げ、強化学習は自信のある誤りだけを罰する。ラベルを一切使わずに、五つの競技レベルのベンチマークでラベル教師つきのオンポリシー自己蒸留に匹敵し、Qwen3-1.7Bをテスト時学習で38.0%から45.2%へ引き上げ、思考なし条件でも大きな改善と強いタスク間汎化を示した。疑似ラベルが頻繁に誤る状況でも更新が破綻しない設計になっている点が要点である。

論文3: 弱いモデルの下書きで強いモデルの探索を広げる

著者・所属機関・日付: Shen氏、Zhang氏、Li氏ら5名のチーム、2026年8月27日投稿。

出典: Boosting LLM Exploration via Weak-Model Guidance in RLVR. arXiv:2608.27420 (2026).

検証可能報酬による強化学習、いわゆるRLVRは大規模言語モデルの推論を伸ばす一方で、方策のエントロピーを下げ、推論の被覆範囲を狭め、大きなkでのpass@kを悪化させる副作用を持つ。既存の対策はアルゴリズム上の正則化でこのエントロピー崩壊を和らげてきたが、モデルをまたいだ非パラメトリックな摂動という手はほとんど検討されていなかった。この論文は、内部の探索だけに頼らず、より小さく弱いモデルが生成した部分的な推論の途中経過を、本命モデルに続きとして書かせる。

不慣れな書き出しを与えられることで過信が崩れ、別の推論経路の探索が促される。著者らは外部プレフィックスの効き方を実証的に調べ、分布のずれが探索のダイナミクスにどう影響するかの機構を明らかにしている。複数の数学ベンチマークで通常のRLVRを一貫して上回り、性能差はkが大きくなるほど顕著になった。追加の教師ありファインチューニングや凝った報酬設計、複雑なプロンプトを必要とせずにエントロピー崩壊を緩和できる点が実装上の利点である。弱いモデルを「発想を揺さぶる異物」として使うという構図で、論文1や論文2と同じく弱い側の出力を積極活用する流れに位置づけられる。

論文4: 大規模言語モデルは準最適な最適化アルゴリズムを設計できるか

著者・所属機関・日付: Baek氏による単著、2026年8月27日投稿。

出典: LLMs Can Design Near-Optimal OR Algorithms. arXiv:2608.27296 (2026).

この研究は、仕様が明確なオペレーションズ・リサーチの問題に対して、大規模言語モデルが有効なアルゴリズムを設計できるかを問う。対象は在庫管理、待ち行列ネットワーク制御、品揃え最適化の三つである。評価は二段階に分かれる。レベル1ではモデルは一つの問題インスタンスを受け取りその解を返す。レベル2では問題クラスの記述と広いパラメータ範囲だけを受け取り、インスタンスのパラメータを解へ写像するアルゴリズムそのものを返す。人間の入力は最小で、問題を説明する調整なしのプロンプトを一つ与え、固定の計算予算を持つPythonのサンドボックスを使わせるだけである。

最強のモデルであるgpt-5.6-solは、評価したほぼすべてのインスタンスで既存の最良手法に匹敵するか上回った。これはレベル2でも成り立ち、返されたアルゴリズムは評価インスタンスを見る前に固定されている。さらに、公開が八か月未満しか離れていないモデル間で性能が急に伸びており、この能力が速く動いていることを示唆する。仕様の明確なオペレーションズ問題に限れば、調整なしの単一クエリで専門手法に匹敵するアルゴリズムが既に得られる、というのが著者の主張である。発想の転換が鮮明で話題性も高いので選んだ。ただし対象が定式化のきれいな問題に限られる点は限界として明記されている。

論文5: エージェントの経験を持続する知識ベースへ蒸留する

著者・所属機関・日付: Tang氏、Rashtchian氏、Ferng氏ら6名のチーム、2026年8月27日投稿。

出典: WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution. arXiv:2608.27454 (2026).

エージェントのスキルは、専門知識とワークフローを再利用可能な資源としてまとめ、AIエージェントの能力を広げる。近年はこうしたスキルをエージェントの経験から自動発見し、対話を通じて段階的に適応させる研究が進んだ。しかし、スキル開発を導く知見は最適化の履歴の中に散らばったままで、反復をまたいだ体系的な再利用が難しいという問題があった。WikiSkillは、エージェントのスキルを、持続的な知識ベースであるウィキと共進化させる枠組みである。

高い水準で見ると、この枠組みは生の実行経験、蓄積された知識、実行可能なスキルを分離し、経験を継続的にウィキへ統合していく。以後のスキル更新はそのウィキの上に積み上がる。多様なベンチマークとモデルで、最新のスキル進化手法を一貫して上回り、多くの設定でスキルなしのベースラインを改善した。興味深いのはスケーリングとの関係で、大きいモデルほど進化したスキルから得るものが多い一方、スキルを持つ小さいモデルはスキルなしのはるかに大きいモデルを上回りうる。進化したスキルはモデルやモデル系列をまたいで有効に転移し、他のモデルが進化させたスキルが自己進化のスキルを上回ることもあった。アブレーションは、ウィキへの持続的な知識蓄積がスキル進化に不可欠であることを裏づけている。

論文6: 複雑な探索は本当に必要か、素朴なプロンプト最適化

著者・所属機関・日付: Chang氏、Chen氏の2名のチーム、2026年8月27日投稿。

出典: Naive Prompt Optimization: Rethinking the Need for Complex Prompt Search. arXiv:2608.27266 (2026).

自律エージェントを多様なタスクで効率よく改善することは、エージェントAIの再帰的自己改善を加速するうえで中心的な課題である。プロンプト最適化は、モデル重みのファインチューニングに匹敵する性能向上を、最適化と推論の両方の計算コストを抑えつつ実現しうる有望なアプローチとして注目されてきた。しかし最近の研究はしばしば、必要以上に複雑なプロンプト最適化器を好む傾向がある。この論文は、その前提を問い直すために選んだ。

提案する素朴なプロンプト最適化は、教師モデルとロールアウトのフィードバックを使ってプロンプトを反復的に改訂する、単一系統の軽量な手法である。GEPAと同等以上の性能を、より少ないロールアウトで達成し、その優位は教師モデルが強くなるほど広がる。これは、強い教師の推論が最適化器側の探索の複雑さを部分的に肩代わりできることを示唆する。対話型ゲームではGEPAとおおむね競合し、プロンプト最適化になじみにくい一部のタスクではGRPOが上回った。素朴な最適化で得たプロンプトは、そのまま他の生徒モデルへ適用しても同様の改善を引き出し、特に同じ系列内で効果が高かった。単純で線形なプロンプト最適化が、はるかに凝った探索手続きに匹敵しうるという予備的な結果である。

論文7: 人も機械も同じ物理法則で動く、身体をまたぐ動画世界モデル

著者・所属機関・日付: Liu氏、Shorinwa氏の2名のチーム、2026年8月27日投稿。

出典: CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators. arXiv:2608.27406 (2026).

最新の行動条件つき動画モデルは、たいてい単一のロボットの身体に限定されており、一般化可能な物理を学ぶための豊かな信号を含む、雑多で大量の動画データを活かせない。CLAPは、人間とロボットの両方をまたぐインターネット規模の多様な動画で学習できる、身体をまたいだ行動条件つき動画生成の枠組みである。土台にあるのは、時空間のダイナミクスは行為者によらず普遍的な物理法則に支配される、という洞察である。

身体をまたいだ学習は簡単ではない。行動の表現はロボットのプラットフォームごとに大きく異なり、人間の動画にはそもそも行動が付いていないことが多い。CLAPはこれに対し、まずエンドエフェクタの姿勢、言語による指示、潜在行動という三つを使ってばらばらの行動空間を調停する。次に、ラベルなし動画データで潜在行動を用いて基礎的な物理的事前分布をまず学び、その後にエンドエフェクタの行動空間へ接地するカリキュラム型の学習レシピを導入する。これにより実世界タスクへのゼロショット展開が可能になる。CLAPはDROIDのような難しい環境で最新の単一身体の動画モデルに近づくか上回り、少数ショット適応でその優位が積み上がる。単一身体の動画世界モデルを訓練する新しいパラダイムを示した研究である。

論文8: 言語モデルは道徳の知識をどう幾何学的に整理しているか

著者・所属機関・日付: Reblitz-Richardson氏による単著、2026年8月27日投稿。31ページ、コードと出力はdeepsteerとして公開されている。

出典: How Language Models Organize and Structure Moral Knowledge. arXiv:2608.27402 (2026).

言語モデルは道徳的な内容を広く検出できるが、検出はハードルが低い。この論文が問うのは、モデルがそこからさらに進んで、道徳基盤どうしを区別し、それらの関係を幾何学的に整理しているか、である。著者は道徳基盤理論の六つのカテゴリー（ケア/危害、公正/欺瞞、自由/抑圧、忠誠/裏切り、権威/転覆、神聖/堕落）それぞれに一つずつ、独立した線形プローブを六本、オープンウェイトのモデル上で学習し、得られた方向どうしが表現空間でどう関係するかを調べた。

結果として、方向は単一の道徳検出器へ潰れることも、互いに孤立することもなかった。むしろ、ほぼ最大限に独立な次元を張りつつ、正の共通成分を共有していた。この共有成分こそが統合の兆候であり、同じ手順で作った道徳に無関係な概念群と比べて道徳に固有だった（平均ペアワイズ余弦は0.26対0.013）。この幾何構造はアーキテクチャや規模をまたいで一貫し、プローブ精度が飽和するよりずっと前、事前学習の早い段階で統合の領域に達していた。一方で、道徳基盤理論が予測する個別化基盤と結束基盤の区別を支持する証拠は見られず、むしろコーパスの統計を反映していた。道徳ジレンマへ拡張すると、各ジレンマの方向は不一致ペアの基準の2.7倍の度合いで、その構成要素となる基盤から部分的に合成されていた。

論文9: コンシューマ向けGPU一枚で作る二十億パラメータ事前学習

著者・所属機関・日付: Luo氏、Cui氏、Yin氏ら8名のチーム、2026年8月27日投稿。62ページの技術報告。

出典: Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090. arXiv:2608.27370 (2026).

言語モデルの事前学習は、法外なコストとほぼ同義になっており、多くの学術コミュニティやオープンソースコミュニティの手が届かない。オープンウェイトのモデルや公開レシピは既にあるが、コスト効率がよく、ハードウェアが入手しやすく、かつオープンな事前学習レシピは長らく欠けていた。著者らによれば、小規模でもLlama-3.2-3Bの学習には150万ドル超、SmolLM3-3Bの再現には70万ドル超がかかる。この論文は、その障壁を下げるオープンな事前学習レシピを提示する。

このレシピを使い、コンシューマ向けのRTX 5090で、最大1.4兆トークン、FP8精度で、Puro-2Bのモデル群をゼロから学習した。最良のモデルは6900ドル未満の計算コストで、著者らの評価プロトコルの下でQwen2.5-1.5Bの性能に近づいた。このコスト効率は、ハードウェア選定、低精度学習、ハイパーボール最適化、カリキュラム型のモデル平均、データレシピの組み合わせで実現されている。加えて著者らは、学習コストと平均性能を結ぶ「Puroコストスケーリング則」を導き、当てはめた式は約4400ドル、5090ドル未満で、Qwen2-1.5Bの性能に達するのに十分だと示唆する。事前学習の民主化に向けた具体的な数値を伴う報告である。

論文10: 評価されていると気づくこと、その中身で従順さが変わる

著者・所属機関・日付: Zhuang氏、Aranguri氏の2名のチーム、2026年8月27日投稿。2026年のICMLの機構的解釈可能性ワークショップで発表。

出典: Not All Eval-Awareness Is Equal: Capabilities Framing Predicts Compliance. arXiv:2608.27340 (2026).

モデルが「自分は試されている」と認識すること、いわゆる評価認識をねらったステアリング介入は、安全性評価のパイプラインでますます使われており、そこでは評価認識は抑制すべき単一の量として扱われる。この論文は、思考連鎖の中で言語化された評価認識が、能力寄り（「ユーザーは私の指示追従の能力を試している」）、安全性寄り（「ユーザーは私の境界を試している」）、その両方、あるいはどちらでもない、という異なる枠づけに分けられることを示す。そしてこの枠づけが従順さをまったく違う形で予測する。

FORTRESSデータセット上のQwen3-32Bで、能力寄りの枠づけは安全性寄りの枠づけに対して、試したすべてのステアリング条件で従順さを24から46パーセントポイント高く予測した。評価認識が否定的な生成への思考連鎖の事前挿入という介入は、この関係が因果的であることを示唆し、11個の事前挿入のうち10個が予測どおりの方向へ従順さを動かした。つまり評価認識は行動的に一様ではない。総量としての抑制率が動いても安全性に関わる成分は動かないことがあり、同じ「評価認識をX%抑制」が質的に異なる行動結果に対応しうる。安全性評価の設計に対する具体的な警告になっている。

参考ソース

• 論文1: CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes. arXiv:2608.27455
• 論文2: TTPO: Test-Time Policy Optimization. arXiv:2608.27448
• 論文3: Boosting LLM Exploration via Weak-Model Guidance in RLVR. arXiv:2608.27420
• 論文4: LLMs Can Design Near-Optimal OR Algorithms. arXiv:2608.27296
• 論文5: WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution. arXiv:2608.27454
• 論文6: Naive Prompt Optimization: Rethinking the Need for Complex Prompt Search. arXiv:2608.27266
• 論文7: CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators. arXiv:2608.27406
• 論文8: How Language Models Organize and Structure Moral Knowledge. arXiv:2608.27402
• 論文9: Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090. arXiv:2608.27370
• 論文10: Not All Eval-Awareness Is Equal: Capabilities Framing Predicts Compliance. arXiv:2608.27340