生成AI・LLM 最新論文解説

2026年5月30日

1. LLMのワーキングメモリを活用した潜在推論（RiM）

arxiv: 2605.30343 | 著者: Lukas Aichberger, Sepp Hochreiter（ヨハネス・ケプラー大学リンツ）

• 背景: 大規模言語モデルの Chain-of-Thought 推論は中間ステップを外部化するため、推論コストが増大する
• 手法: Reasoning in Memory（RiM）を提案。自己回帰的な思考生成を固定メモリブロックに置き換え、潜在空間内で推論を完結させる
• 結果: 外部化された中間ステップなしに高精度推論を実現。推論速度・効率が大幅改善
• 意義: LLMの推論パラダイムを「外部化→内在化」へシフトさせる重要な研究

2. VideoMLA：動画拡散モデルの KVキャッシュを92%削減

arxiv: 2605.30351 | 著者: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral（テキサス大学ほか）

• 背景: 長時間動画生成では KVキャッシュのメモリ消費が爆発的に増大する問題がある
• 手法: Multi-Head Latent Attention（MLA）機構を動画拡散モデルに適用。トークンごとの KVメモリを低ランク潜在表現に圧縮
• 結果: KVメモリを92.7%削減しながら生成品質を維持。分単位スケールの動画生成が可能に
• 意義: 長時間動画生成の実用化に向けたメモリ効率化の重要な突破口

3. LLMSurgeon：大規模言語モデルの学習データ組成を診断する

arxiv: 2605.30348 | 著者: Yaxin Luo, Jiacheng Cui, Xiaohan Zhao（中国科学院ほか）

• 背景: LLMの事前学習データの組成は非公開であり、モデル挙動の解釈可能性を妨げている
• 手法: 事後分析フレームワークを開発。学習データ組成の推定を逆問題として定式化し、混合行列補正で精度向上
• 結果: 複数の主要 LLM の学習データ比率を高精度で推定することに成功
• 意義: LLM の透明性・監査可能性の向上に貢献するデータフォレンジクス手法

4. SoundnessBench：AIはダメな研究アイデアを見抜けるか？

arxiv: 2605.30323 | 著者: Sy-Tuyen Ho, Minghui Liu, Huy Nghiem（シンガポール国立大学ほか）

• 背景: AI による科学研究支援が進む中、LLM が研究提案の妥当性を正しく評価できるか検証が必要
• 手法: 1,099件のML研究提案データセットを構築。手法の正しさ・問題点を評価するベンチマークを設計
• 結果: 最先端 LLM には「楽観バイアス」があり、欠陥のある手法提案を頻繁に高評価することが判明
• 意義: AI科学者の信頼性評価に向けた重要なベンチマーク。研究支援AIの限界を明らかにする

5. Qwen-VLA：視覚・言語・行動を統合したロボット基盤モデル

arxiv: 2605.30280 | 著者: Qiuyue Wang, Mingsheng Li, Jian Guan（清華大学・アリババ）

• 背景: ロボット操作・ナビゲーション・軌跡予測を単一モデルで扱う汎用基盤モデルが求められている
• 手法: 視覚言語モデルに連続的なアクション生成能力を統合。多様なロボット環境・タスクで統一的に動作
• 結果: 操作・ナビゲーション・軌跡タスクで一貫した高性能を達成。複数のロボット形態に対応
• 意義: 汎用ロボット基盤モデルへの重要な一歩。視覚言語行動の統合アーキテクチャを実証

6. Loong：観察と行動による適応的文脈選択の長文書翻訳エージェント

arxiv: 2605.30274 | 著者: Yutong Wang, Xuebo Liu, Derek F. Wong（マカオ大学）

• 背景: 長文書翻訳では文脈の一貫性維持が難しく、従来手法では用語・スタイルが崩れやすい
• 手法: 要約・固有表現を保持するメモリモジュールを導入。強化学習で文脈選択を適応的に最適化
• 結果: 最大13.0ポイントの翻訳品質向上を達成。長文書での一貫性が大幅改善
• 意義: LLMエージェントを翻訳タスクに応用した先進的アーキテクチャ。専門文書翻訳の実用化に貢献

7. RADAR：マルチエージェント通信構造を拡散モデルで最適化

arxiv: 2605.09907 | 著者: Zhen Zhang, Wanjing Zhou, Juncheng Li（上海交通大学ほか）

• 背景: マルチエージェントシステムでの通信トポロジーは静的設計が多く、タスクへの適応が困難
• 手法: 条件付き離散グラフ拡散モデルを用いて通信構造を動的生成。冗長な通信を削減
• 結果: トークン使用量を削減しながら推論能力を維持。動的に最適化された通信トポロジーを実現
• 意義: 拡散モデルをグラフ構造生成に応用した新手法。マルチエージェント効率化の新潮流

8. In-Context Reward Adaptation：多様な人間の好みを適応的にモデル化

arxiv: 2605.30323 | 著者: Zhenyu Sun, Zheng Xu, Ermin Wei（ノースウェスタン大学ほか）

• 背景: RLHF では単一の報酬モデルが多様な人間の好みを捉えきれないという課題がある
• 手法: トランスフォーマーベースのフレームワークでインコンテキスト学習により異質な好みを適応的にモデル化。応答時間シグナルも活用
• 結果: 個人差の大きい好みデータでも高い汎化性能を達成
• 意義: よりパーソナライズされた RLHF システムの実現に向けた重要な進歩

9. Plan First, Diffuse Later：グラフ計画で拡散モデルの長期推論を改善

arxiv: 2605.16863 | 著者: Yaniv Hassidof, Adir Morgan, Yilun Du（MIT・テルアビブ大学）

• 背景: 拡散ベースの計画モデルは長期的な意思決定において一貫性を保つのが困難
• 手法: 拡散プロセスの外部でグラフベース計画を先行実行し、その結果を拡散モデルに誘導信号として提供
• 結果: 長期タスクでの推論精度が向上し、計算オーバーヘッドも低減
• 意義: 記号的計画と深層拡散モデルのハイブリッドアプローチとして注目

10. Demystifying Data Organization：データ順序が LLM 学習に与える影響

arxiv: 2605.30334 | 著者: Yalun Dai, Yangyu Huang, Tongshen Yang（マイクロソフトリサーチ）

• 背景: 大規模 LLM の学習効率はデータの内容だけでなく並び順にも依存するが体系的研究が不足
• 手法: データ順序が学習効率に与える影響を体系的に検証。4つのガイドラインと2つの新手法を提案
• 結果: 複数のモデルスケールで検証し、適切なデータ順序が学習速度・性能を改善することを確認
• 意義: LLM 学習コスト削減に直結する実用的知見。大規模学習の最適化に貢献