arXiv生成AIニュース（2026年7月13日）

今日の生成AI論文から、計算量を抑える言語モデルの推論、アライメント評価の検証、知識グラフの事実確認、長文推論の評価と適応を中心に10本を選んだ。特に、検索で根拠を集めても「別の対象の根拠」を取り違える危険を指摘した臨床RAG研究と、長い文書のどの箇所から学習するかをモデル自身に選ばせる研究が注目点だ。

論文1: 必要なトークンだけ考え直す「HALO」

論文: HALO: Hybrid Adaptive Latent Reasoning for Language Models
著者: Micah Zhang
arXiv: 2607.08775

凍結した事前学習済み言語モデルに、少量の追加計算で改善を加える方法を扱う。隠れ状態を固定回数だけ精錬する方式では、一段では弱すぎる一方、二段目を全トークンに強制すると計算だけが増え、転移性能が良くならない場合がある。

提案するHALOは、まず粗い精錬を行い、トークンのスコアリングと単調な停止判定で選んだ一部のトークンだけに、二段目の潜在表現の精錬を適用する。MMLU-ProとGPQA-Diamondから構成した公開ベンチマーク比較では、凍結済みの基盤モデル、固定一段、固定二段を上回る総合平均を示した。

分析では、固定二段にほぼ近いトークン精度を、固定一段より少なく、固定二段より大幅に少ない平均精錬回数で得たという。論文は、単純に考え直す回数を増やすより、どこへ追加計算を配分するかが重要だと示している。

論文2: アライメントの急変は見かけかを検証する

論文: An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?
著者: Abhinav Rao, Liancheng Gong, Bin Hu, Atharva Naik
arXiv: 2607.09053

狭い領域の不整合なデータでファインチューニングすると、言語モデルが急に広範な不整合行動を示すという「創発的ミスアライメント」と、少量の再アライメントで戻せるという先行報告を検証した研究である。

研究チームは、制御したファインチューニングの反復ループで、アライメントとミスアライメントのサイクルを繰り返した。その間、行動の性能と、ローラ表現を追跡した。創発的ミスアライメント自体は再現できたとしている。

ただし、ミスアライメントと再アライメントはいずれもデータセットの表面的な特徴に非常に敏感だった。応答の長さの違いを統制すると、急速に再アライメントしたように見える効果は大部分が消えた。ローラ空間の表現の相転移のような、以前に報告された機構的な指標も、訓練を通じて行動上の不整合と一貫して対応しなかった。評価では表面的なデータ要因を厳密に統制すべきだ、という結論である。

論文3: 知識グラフをエージェント型RAGで事実確認する

論文: AgentKGV: Agentic LLM-RAG Framework with Two-Stage Training for the Fact Verification of Knowledge Graphs
著者: Yumin Heo, Hyeon-gu Lee, Sumin Seo, Youngjoong Ko
arXiv: 2607.09092

大規模な文書から自動構築される知識グラフには、ノイズ源や抽出失敗による事実誤りが含まれうる。産業規模でそれを信頼して検証することが課題になる。本論文は、知識グラフの事実確認向けにエージェント型LLM-RAGのAgentKGVを提案する。

AgentKGVは、動的ルーティングと反復的なクエリ書き換えを組み合わせる。これにより、文書検索で表現形式が一致しない問題を扱う。さらに二段階学習を採用し、一段目では大きな教師モデルから小さなモデルへ、ターン単位の蒸留によって安定したクエリ書き換えと推論能力を移す。二段目では、軌跡単位のGRPOで検索方策を最適化し、不要な検索を減らす。

オープンドメインT-RExベンチマークの長尾述語分割では、単一ターンRAGよりマクロF1を5.5ポイント改善し、二段階学習ではさらに9.4ポイント改善した。平均検索回数は、精度を下げずに3.24回から1.63回へ減ったという。

論文4: 学習済み重みの形を初期化に使えるか

論文: Complexity-Guided Component-wise Initialization for Language Model Pretraining
著者: Konstantin Garbers, Nicholas Oh
arXiv: 2607.09204

事前学習済み言語モデルの重みには、層や部品ごとに構造化されたスペクトルが見られる。この論文は、その繰り返し現れる形を、GPT-2型言語モデルの事前学習における初期化信号として再利用できるかを調べた。

サイズ、言語、トークナイザー、学習コーパスが異なる11個のGPT-2型チェックポイントを解析し、各層とトランスフォーマーの部品ごとにフロベニウスノルムと有効ランクエントロピーを測定した。深さに応じた共通傾向、特に残差を書き込む行列での規模増加とスペクトル集中を報告する。

その観察をまねて、部品ごとの大きさとスペクトル形状を模倣する初期化方式を作り、複数の重み初期化法と比較した。構造上のスペクトルパターンは変えられたが、評価性能の優位性にはつながらなかった。学習済み重みの再利用は競争力を保ち、粗いスペクトル一致だけでは信頼できる最適化戦略にならない、と結論づけている。

論文5: 小型モデルで創造性・誠実さ・忘却を探る

論文: Creativity, honesty and designed forgetting emerge in small hyperbolic language models
著者: Kwan Soo Shin, In Seok Kang, Yunkyung Min
arXiv: 2607.09306

個人に合わせて記憶を蓄積するAIコンパニオンが、迎合、依存の助長、作り話の記憶といった望ましくない性質を持ちうる問題を扱う。論文は、評価者間の一致自体が低いことを示し、何を信頼できるコンパニオンと呼ぶかを測る難しさから出発する。

双曲的な基盤を共有する、1億4600万から30億パラメータの三つの小型言語モデルを用いた。最小の行動監査モデルは、二値のコンプライアンス判定で90.7%の精度を示した。凍結表現の線形読み出しは、学習で見なかった生成器群に対しても、コンパニオン起因の迎合、依存助長、作り話の記憶を検出した。

スタイルを統制した評価では、その検出のAUROCは0.804で、同じ項目のフロンティアモデルによるゼロショット判定の0.721を上回った。創造的な枠組みを提案するモデルは、311件の確定した比較で四つのプロンプト基準をすべて上回った。選択的な検索ゲートを使う四条件の予備実験では、設計された忘却の予測された記憶分割が現れたという。小型モデルにも、信頼できるコンパニオンAIへの道筋があるという主張である。

論文6: 長文内の自然な証拠の道筋を測るWILDTRACE

論文: WILDTRACE: Benchmarking Natural Evidence Trails in Long-Context Reasoning
著者: Zixin Chen ほか
arXiv: 2607.09328

長い文書の複雑な質問では、答えに必要な根拠が離れた箇所に自然に散らばる。事故報告なら運転条件、設計欠陥、安全確認漏れが何十節も離れて現れうる。既存の長文ベンチマークは、人工的に埋めた事実や逆算した多段推論を使うことが多く、実際の文書推論を測れているかが曖昧だった。

WILDTRACEは、技術事故報告やあまり知られていない文学作品など、214の自然な長文資料にまたがる481タスクのベンチマークである。根拠の道筋は、文書自身の因果、時間、物語の論理から生じる。パールの因果階層と既存の多段推論類型を参照し、分析的読解に必要な関係を表す七つの文書内証拠形状を定義した。

作成では、まず文書構造から候補の道筋を採掘し、その後に質問を書く。各項目は、手掛かりの必要性、回答の根拠性、採点基準の忠実さ、汚染への耐性、回答可能性を多段階で検証する。情報へアクセスできることと、自然に分散した証拠を推論できることの隔たりを、重要な評価課題として提示している。

論文7: 対話AIの矛盾を制約充足問題として検出する

論文: Towards Detecting Inconsistencies in End-to-end Generated TODs
著者: Tiziano Labruna, Giovanni Bonetta, Bernardo Magnini
arXiv: 2607.09338

大規模言語モデルを使うエンドツーエンドの対話システムでは、回答が知識ベースの情報を厳密に守る必要がある。たとえば存在しないレストランを勧めれば、タスク指向対話では重大な失敗になる。この論文は、対話の矛盾を自動検出する方法を提案する。

中心の考え方は、タスク指向対話を制約充足問題として表すことだ。会話領域に言及する対話の断片を変数にし、ターン間の整合性や知識ベースへの準拠を、変数間の制約として置く。パイプラインは対象対話から変数を見つけ、制約ソルバーで有効な解を求める。

対象の対話を有効な変数割り当てと比べることで、矛盾を検出し、一貫性を満たすための最小変更を提案できるとしている。実験では、この制約充足問題に基づく方式が矛盾検出で高い精度を示したと報告する。

論文8: 専門知識で非構造データから因果を見つける

論文: DKCD: Domain Knowledge-Enhanced Causal Discovery from Unstructured Data
著者: Xin Li, Jin Li, Shoujin Wang, Kun Yu, Fang Chen
arXiv: 2607.09348

医療、金融、教育のような高い専門性を要する領域で、非構造データから因果関係を見つけることは難しい。既存手法はLLMの一般知識で因果要因を取り出し、構造化データへ注釈して因果グラフを作るが、暗黙の要因を見落とし、領域に根ざさない注釈の誤りがグラフへ伝わるという二つの問題がある。

提案するDKCDは、三つの接続した部品からなる。第一の知識採掘は、観測できる要因を手掛かりに関連する領域知識を検索する。第二の知識誘導因果推論は、その知識を使って潜在的な因果要因を発見し、より正確に注釈するための因果的手掛かりを作る。第三の因果構造発見は、より完全な要因集合と注釈から最終的な因果グラフを組み立てる。

二つの領域特化データセットでの実験では、因果要因の識別と因果グラフ構築の両方を大きく改善したと報告する。専門知識を検索しながら推論へ使うことで、一般知識だけに頼る弱点を補う設計である。

論文9: 医療RAGで「別の薬の根拠」を取り違える危険

論文: Deceptive Grounding: Entity Attribution Failure in Clinical Retrieval-Augmented Generation
著者: Cedric Caruzzo, Donggeun Yoo, Tae Soo Kim
arXiv: 2607.09349

検索拡張生成の評価は、回答の主張が検索文書に根拠づけられているかを調べる。しかし、その根拠が正しい対象に帰属しているかまでは検査しない。本論文は、薬Yについての臨床根拠を、質問された薬Xについての根拠として示す失敗を「欺瞞的グラウンディング」と呼ぶ。

この失敗では、引用は実在し、各主張も文書内の事実に基づくため、幻覚なし・高い忠実性という自動評価を通過しうる。それでも対象が違うため、回答は危険になりうる。13モデルを使った統制された要因実験では、敵対的条件のピークでこの失敗率は8%から87%に及んだ。医療・生物医学向けにファインチューニングされたモデルでは最大86.7%だった。

実運用のRAGシステムで740の薬剤・疾患ペアを測ると、全体で7.8%、最近承認された薬では13.6%の欺瞞的グラウンディングが見つかった。検索文書から対象固有の臨床根拠を除くと、対象帰属の失敗は完全に消え、失敗は作り話へ移ったという。引用が質問対象に本当に適用されるかを確認する評価は、97.0%の適合率と98.7%の再現率を示した。

論文10: 長文の必要箇所だけでテスト時学習する

論文: Self-Guided Test-Time Training for Long-Context LLMs
著者: Xinyu Zhu ほか
arXiv: 2607.09415

言語モデルのコンテキスト窓を長くしても、長い入力を有効に使えるとは限らない。入力が長くなると精度が落ちることがあり、質問に関係する根拠を特定して使うことが難しい。テスト時学習は、入力文脈を学習例として扱い、個々の問題に合わせてパラメータを適応させる方法だ。

しかし文脈全体でテスト時学習を行うのは高コストで、無作為に選んだ断片で学習するとノイズが大きい。多くの断片は質問に無関係で、そこから学習すると基盤モデルの性能を下げる可能性もある。予備実験では、LongBench-v2で無作為な断片による学習は性能を損ない、正解となる断片を使うと大幅に改善した。

提案する自己誘導テスト時学習は、適応の前にモデル自身が学ぶべき証拠断片を選び、その部分だけに標準的な言語モデル学習目的を適用する。LongBench-v2とLongBench-Proで、Qwen3-4B-Thinking-2507とLlama-3.1-8B-Instructの両方を改善し、最大15%の相対的な精度向上を示した。