arxiv 論文解説 2026/07/02

今日のハイライト: KDDI総合研究所が提案するRAGの「トークン単位ハルシネーション検知」CORTEX、マサチューセッツ工科大学とカーネギーメロン大学がAIエージェント1,120体をXに展開して行った「アルゴリズム監査」、そしてカナダのヨーク大学らが手がけたメンタルヘルス支援LLMの評価・改善フレームワーク「セラジャッジ／セラエージェント」の3本を注目論文として取り上げる。

論文1: RAGのハルシネーションをトークン単位で検出するCORTEX

arXiv:2606.31033 | Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka（KDDI総合研究所）

検索拡張生成（RAG）の出力に紛れ込む「事実に基づかない記述（ハルシネーション）」を、文単位ではなく単語（トークン）単位で検出する手法CORTEXを提案した研究。

背景: 長文のRAG出力では、ハルシネーションは回答全体にまんべんなく発生するのではなく、局所的な一部分に集中して現れることが多い。そのため、回答のどの単語がハルシネーションなのかをピンポイントで特定できる技術が求められていた。

手法: CORTEXの着想は、検索した文書に根拠づけられたトークンは、その文書がない場合とある場合でLLMの内部表現が大きく変化するはずだ、という点にある。CORTEXは文書ありと文書なしの2条件でLLMの内部表現を比較し、各トークンが文書にどれだけ影響を受けたかを測る。さらに、直前のトークンを通じて文書の根拠情報が伝播していく効果も利用することで、すでに文脈に根拠が取り込まれているトークンを誤ってハルシネーションと判定してしまう誤検知を減らす。最後に、ハルシネーションのラベルが連続した範囲にまとまりやすい傾向をモデル化する平滑化処理を後段に加え、局所的なノイズを抑えて範囲として一貫した予測にする。

結果: 2つのRAGベンチマークと3種類のLLMを用いた実験で、CORTEXはトークン単位のハルシネーション検出精度を大きく改善した。導入した各要素がそれぞれ性能向上に寄与していることも確認された。

意義: 回答全体を「正しいか誤りか」で判定するのではなく、誤った箇所だけを細かく特定できるようになることで、RAGを使った生成AIの検証・修正がしやすくなる。日本の通信キャリア系研究所発の実用志向の研究である。

論文2: セラジャッジとセラエージェント——人間に寄り添うメンタルヘルス支援AI

arXiv:2606.30887 | Mizanur Rahman, Abeer Badawi, Elahe Rahimi 他（カナダ・ヨーク大学、ベクター研究所、コネクテッド・マインズ、ダルハウジー大学）

LLMによるメンタルヘルス支援の応答品質を高めるため、「評価」を単なる採点ではなく応答改善の実働信号として使う2段階フレームワークを提案した研究。

背景: LLMはメンタルヘルス支援に有望視されているが、治療的な質が本当に向上するのは、評価が受動的な指標ではなく能動的な制御信号として機能する場合に限られる。

手法: 第1段階では「セラジャッジ」という、人間が注釈したデータへの選好ベース最適化によって訓練されたオープンソースの治療評価器を導入する。安全性・共感性など7つの心理的次元にわたって信頼できる判定を出せるようにする。第2段階では「セラエージェント」を導入する。これはセラジャッジの評価結果を、批評役・コーチ役・セラピスト役という専門化された役割が連携する改良プロセスに落とし込み、評価の信号を的を絞った応答の修正へと翻訳する仕組みである。

結果: セラジャッジは臨床家の評価との一致度が級内相関係数で0.87から0.95と高く、特に安全性・関連性・共感性という重要な次元で、教師あり学習によるベースラインやクローズドソースの強力な判定モデルを上回った。セラエージェントによる改善を経ると、盲検評価での人間評価による治療的な質が5点満点中0.43ポイント向上し、臨床家同士の評価者間信頼性は96%に達した。特に低品質な応答（3点以下）は2.45ポイントも改善し、94%の割合で許容できる水準まで回復した。

意義: メンタルヘルス支援LLMの効果的な整合には、生成能力そのものを強化するよりも、人間に寄り添った評価に基づいて行動することが重要だと示した。コードはオープンソースとして公開されている。

論文3: たった1回の書き直しで十分——AIエージェントのスキル説明文最適化

arXiv:2606.30775 | Yangqiaoyu Zhou, Mohammad Alqudah, Kwei-Herng Lai 他（マイクロソフト）

企業向けAIエージェントが、ユーザーの問い合わせを適切な「スキル」に振り分ける際の説明文を、自動で最適化するパイプラインの実運用結果を報告した研究。

背景: 企業向けAIエージェントは、ユーザーの問い合わせを自然言語のスキル説明文と照合して、対応する専門スキルに振り分ける。2つのスキルの説明文が似通っていると、振り分け役のLLMが取り違える「スキル衝突」が起きる。エージェントが扱うスキルが数十個規模に増えると、説明文を手作業で調整して振り分け精度を保つ作業が大きなボトルネックになる。

手法: 実際に稼働している企業向けグループチャットエージェント（9スキル・372件の回帰テストケース）に、自動化された説明文最適化パイプラインを導入した。さらに、パイプラインのどの構成要素が実際に効果を生んでいるのかを、本番システムと16,000ツール規模のベンチマーク「ツールベンチ」の両方で体系的に検証した。

結果: 最適化されたスキル説明文は平均F1スコア79.2%を達成し、手作業で調整した説明文の79.4%（スキルあたりの差はマイナス0.20%で、複数シードのノイズ幅0.78%の範囲内）とほぼ同水準だった。一方でスキルあたりの作業時間は120分から3.8分へと32倍短縮された。さらに、誤検知・見逃しの事例を使ったLLMによる1回の書き直しだけで、改善効果の大部分が得られることが分かった。反復回数やフィードバックの構成、混同ペアの二重編集、訓練データ量といった他の設計上の工夫は、それぞれF1スコアへの影響が0.5%未満にとどまった。

意義: 説明文の最適化は、説明文が重なり合うことで起きるスキル衝突には効くが、2つのスキルの役割そのものが本質的に重複している場合は解決できない。訓練データと検証データでF1スコアに大きな差が出る場合は、そうした本質的な重複のサインであり、文章レベルではなく設計レベルの見直しが必要だと著者らは指摘している。

論文4: AIエージェントでXのパーソナライズアルゴリズムを大規模監査

arXiv:2606.30801 | Alessandro Morosini, Sarah H. Cen, Andrew Ilyas 他（マサチューセッツ工科大学、カーネギーメロン大学）

生成AIエージェントを「合成アカウント」として大量投入し、SNSのパーソナライズアルゴリズムをブラックボックスのまま監査する新しい手法を提案し、旧Twitter（X）で実証した研究。

背景: パーソナライズアルゴリズムはSNSやチャットボットでユーザーが目にするコンテンツを左右するが、外部の監査者はアルゴリズムの中身を見られない「ブラックボックスアクセス」しか持てないうえ、パーソナライズはユーザーの属性・行動・変化していく利用履歴に依存するため監査が難しい。実際のユーザーによる調査は現実的な行動が取れる一方でコストが高く制御が難しく、逆に台本通りに動く「ソックパペット監査」は規模を拡大しやすいがリアルさに欠ける。どちらの方式もユーザーの属性と行動を切り離して考えることが苦手で、パーソナライズの因果関係を理解しづらいという課題があった。

手法: そこで、生成AIエージェントを合成アカウントの「行動エンジン」として使うブラックボックス監査の枠組みを導入した。各エージェントには、人口統計・政治的な調査データに基づいた固定の人物設定（ペルソナ）を与え、プラットフォームのコンテンツについて考え、行動を選択させる。ペルソナ内での行動は固定したまま、年齢・性別・居住地といったプラットフォームに見える属性情報だけを実験的に変化させることで、属性の違いにプラットフォームがどう反応するかを反事実的に監査できる設計にした。

結果: 2024年アメリカ大統領選挙の直後、14種類のペルソナと3つの反事実条件にまたがる1,120体のエージェントをXに投入し、20万件以上のコンテンツ露出を収集した。その結果、Xのアルゴリズムによるフィードは、時系列順のフィードと比べて有害・分極的・政治的・右寄りのコンテンツを増幅しており、その増幅度合いはユーザーのイデオロギーによって大きく異なることが分かった。反事実分析ではさらに、属性情報がコンテンツ配信に与える影響がペルソナごとに異なる形で現れることが示された。全体をまとめた効果はほぼゼロだが、サブグループ単位で見ると効果の方向や大きさがばらついていた。

意義: 生成AIエージェントを使った合成アカウントが、アルゴリズム監査の新しい方法論のツールになり得ることを実証した研究である。

論文5: GradeSQL——報酬モデルでテキストからSQLへの変換を検証する

arXiv:2606.30851 | Mattia Tritto, Giuseppe Farano, Dario Di Palma 他（イタリア・バーリ工科大学、IBM T.J.ワトソン研究所）

自然言語の質問をSQLクエリに変換する「テキストからSQLへ」タスクにおいて、複数の候補クエリの中から正しいものを選ぶための報酬モデルを訓練するフレームワークGradeSQLを提案した研究。

背景: 推論時にLLMの信頼性を高めることは、テキストからSQLへのような構造化推論タスクの中心的な課題である。ベストオブN（複数候補生成して最良を選ぶ）や多数決といった一般的な推論時手法は、実行の成否や出力頻度といったヒューリスティックな信号に頼っており、候補同士を意味的に区別する力が弱い。

手法: この課題に対し、学習された意味的なスコアリング関数として「アウトカム報酬モデル（ORM）」を検証時の選別に使う手法を研究した。ORM自体は以前から推論時のスケーリングや整合性調整に使われてきたが、構造化されたクエリ生成への応用は手つかずだった。GradeSQLは、自動的な候補生成と実行結果に基づくラベル付けによってタスク特化のORMを訓練する、手作業のアノテーションなしで検証器を訓練できる拡張性の高い枠組みである。訓練したORMを、検証駆動型のベストオブNパイプラインに組み込んだ。

結果: BIRDとSpiderという2つのベンチマークで、複数のオープンソースLLMファミリーにわたって評価したところ、ORMによる選別は実行結果ベースのベストオブNや多数決を一貫して上回り、BIRDで最大4.33ポイント、Spiderで最大2.10ポイントの性能向上を達成した。さらにORMは候補数を増やすほど効果的にスケールし、複雑なクエリほど改善幅が大きいことも示された。

意義: テキストからSQLへの変換において、ヒューリスティックな推論時選別に代わる、シンプルで効果的かつ拡張性のある手法であることを示した。コード・データセット・モデルは公開されている。

論文6: 較正の順位は逆転する——LLMを公平に比較するACE評価枠組み

arXiv:2606.30814 | Zhichao Yang, Caiqi Zhang, Ruihan Yang 他（中国・復旦大学、英国・ケンブリッジ大学）

LLMの「自信度と実際の正答率がどれだけ一致しているか」を測る「較正（キャリブレーション）」の評価が、実はモデルの正答率の違いに交絡されていることを理論と実験の両面から示し、公平な比較手法ACEを提案した研究。

背景: 較正は、モデルの自信度がその実際の正答率とどれだけ一致しているかを評価する指標である。既存研究は期待較正誤差（ECE）やブライアスコアといった大域的な較正指標を使ってモデル同士を比較することが多いが、著者らはまずこうした比較が、モデル間の正答率の違いによって交絡されていることを理論的・実証的に示した。

手法: より公平な比較のために、正答率をそろえた上で評価する枠組みACEを提案した。ACEは「インスタンス整合」「分布整合」「候補整合」という3つの補完的な視点から構成される。複数のベンチマーク、モデルファミリー、自信度の引き出し方にわたって、ACEを使って「小型モデル対大型モデル」「思考型モデル対非思考型モデル」という2つの実務上重要な比較軸を検証した。

結果: 生の大域的指標のもとでこれまで報告されてきた較正上の優位性の多くは、正答率をそろえると大幅に弱まることが分かった。さらに順位の逆転が頻繁に起きることも判明した——生の指標で有利とされていたモデルが、正答率をそろえた途端に有利ではなくなるケースが多く見られた。

意義: 生の大域的な較正指標はモデル間の公平な比較には頑健でなく、公平な較正比較には正答率を考慮した評価が必要であることを示した。LLMの信頼性評価に一石を投じる研究である。

論文7: 見えているものが違う対話——摩擦方策最適化を知覚的非対称性へ拡張

arXiv:2606.30973 | Yifan Zhu, Kyeongmin Rim, James Pustejovsky（米国・ブランダイス大学）

会話中の食い違いや誤解、その修復を「ノイズ」ではなく共通認識を築くための重要な手がかりとして扱う「摩擦方策最適化（FPO）」という枠組みを、対話participantが異なる情報しか持っていない状況にまで拡張した研究。

背景: 従来のFPOは、対話者同士が同じ場面を見ていて、その解釈のずれから摩擦が生じるという「命題的非対称性」を前提にしていた。しかし実際の対話では、対話者がそれぞれ部分的にしか情報を持たず、同じ指示表現でも「誰の情報状態を基準にするか」によって指し示す対象が変わってしまう「知覚的非対称性」も存在する。

手法: そこで著者らはFPOを知覚的非対称性の状況に拡張した。地図を使った参照課題であるHCRCマップタスクを主な対象に、複数コーパスにまたがる分析とLLMを使ったプロービングによって、指示対象が参加者間で非対称になる対話タスクを評価した。

結果: FPOの摩擦を測る関数は、各参加者自身の情報の見える範囲の内側から評価した場合にのみ、実証的に妥当であることが分かった。目印（ランドマーク）の配置構成が異なると、質的に異なる種類の「共通認識構築の失敗」が生じる。特に、一見うまくいっているように見えながら実は静かに認識がずれていく、少数の曖昧な配置構成が、誤解の大部分を生み出していることが分かった。LLMによるプロービングでも、「正しい視点」を持っていることの方が「すべての視点」にアクセスできることよりも重要であることが確認された——一方の対話者の情報だけを知っている単一視点のほうが、両方の対話者の文脈を全知的に見られる設定よりも高い性能を示した。

意義: これらの知見をもとに、共通認識が未確定な状態をより細かく分類する手法と、話者間の調整（アコモデーション）を意識した整合分類という、2つの注釈手法の改良を提案した。

論文8: 「私は今、公平だろうか?」——演繹的ステレオタイプ化とその是正

arXiv:2606.30989 | Naihao Deng, Yilun Zhu, Joan Nwatu 他（米国・ミシガン大学）

推論はLLMの公平性を全般的に高めるが、それでも生じてしまう失敗パターンを特定し、推論の途中に短いフレーズを挿入することで公平性を引き出す手法を提案した研究。

背景: 近年のLLMでは推論によって公平性が向上する傾向にあるが、それでも失敗は残る。著者らは既存のオープンソースLLMや確立された公平性ベンチマークを調べ、失敗の多くが特定の推論パターンから生じていることを発見した。

手法: 著者らはこの失敗モードを「演繹的ステレオタイプ化」と名付けた。これは、モデルが集団レベルの統計的な規則性を個別のケースに適用し、論理的には筋が通っているのに社会的には偏った推論を導いてしまう現象である。著者らはこの現象の統計的な解釈を与えたうえで、モデルの推論の途中に「私は今、公平だろうか?」のような短い公平性を促すフレーズを直接挿入する「推論時介入」の手法を提案した。さらに、こうした介入フレーズを手作業ではなく自動的に見つけ出す手法「フェア・ジーシージー」を導入した。これは勾配情報を使った座標探索によって、種となるフレーズから公平性を引き出す挿入文を自動発見する仕組みである。

結果: フェア・ジーシージーが発見した挿入フレーズは、複数の公平性ベンチマークで性能を改善し、小型モデルから大型モデルへの汎化も確認された。推論レベルでの公平性を高め、自由記述生成における偏りを低減し、実世界の公平性が問題になる実務タスクにも効果が移転することが示された。

意義: LLMが「もっともらしいが偏った」推論をしてしまう具体的なメカニズムを特定し、モデルを再学習せずに公平性を引き出す実用的な介入手法を提示した点に意義がある。なお本論文には有害・攻撃的な表現の実例が含まれている。

論文9: 予測トーナメントで測る「説明の質」——エルエルエムで採点するEQM

arXiv:2606.30987 | Christopher W. Karvetski, Sheldon S. Huang, Simas Kučinskas 他（フォーキャスティング・リサーチ・インスティテュート、トロント大学、スタンフォード大学ほか）

専門家の予測に添えられる文章による説明の「質」を大規模に測定する指標「説明品質マーカー（EQM）」を提案し、予測トーナメントのデータで検証した研究。

背景: 意思決定者は、文章による説明を伴う専門家の判断に日常的に頼っているが、その説明の質を大規模に測ることは難しい。予測トーナメントは、確率的な予測に文章による根拠（理由づけ）が添えられ、実際の結果と照らして採点される、格好の検証の場になる。

手法: 著者らは、理論に基づいた60種類の推論パターンをLLMに採点させる指標「説明品質マーカー（EQM）」を導入した。複数年にわたる予測トーナメントから集めた55,000件以上の予測・根拠のペアを対象に、事前登録された分析を行った。

結果: EQMは予測1件ごとのレベルでも予測者ごとのレベルでも正答率を予測でき、LLM登場以前のテキスト分析手法を一貫して上回った。統計的に有意なパターン単位のEQMと正答率の相関のうち、90%以上が事前に立てた方向性の仮説と一致した。ただしこの信号は非対称であり、EQMは成績が振るわなそうな予測者を見分ける方が、最も優れた予測者同士を区別するよりも得意だった。従来の予測スキル指標と比べても、EQMは予測1件レベルで最も強い予測力を持ち、予測者レベルでも競争力があったが、過去の正答率そのものには及ばなかった。一方、人間による根拠の質の評価は正答率との相関が一貫しておらず、根拠の長さに偏って重みを置いてしまう傾向があった。この結果は独立した別の予測研究にも再現された。

意義: 文章による説明から、判断の質に関わる情報を大規模かつ解釈可能な形で抽出する手法を提示した。予測やビジネス判断における「説明の質」を定量評価する新しい道具になりうる。

論文10: トランスフォーマーは「不可能な言語」から何を学んでいるのか

arXiv:2606.30815 | Ram Janarthan, Coleman Haley, Sharon Goldwater（英国・エディンバラ大学）

人間には習得不可能とされる「不可能な言語」に対して、トランスフォーマー言語モデルが人間の言語ほどうまく学習できないと言われる現象の背後にある能力を、直接的に評価し直した研究。

背景: 近年の研究は、トランスフォーマー言語モデルが不自然な「不可能な言語」よりも人間の言語を学習しやすい傾向（バイアス）を持つことを示唆してきた。しかし、こうした主張の多くは、学習効率やテストセットでのパープレキシティの違いに基づくものであり、人間の言語に「不可能な言語」が現れない理由を説明しうる言語能力そのものを直接評価したものではなかった。

手法: 著者らは2つの理論的な仮説を検証した。1つは文法的な感度の欠如、もう1つは生成能力の欠如が、不可能性の原因になっているという仮説である。英語を人工的に変形させた「不可能な言語」の変種で訓練したGPT-2スタイルのモデルを用い、文法性への感度をBLiMPという最小対データセットで測定した。

結果: 文法性への感度については、モデルの性能はゆるやかにしか低下せず、その低下の度合いは言語の「情報の局所性」によって左右されることが分かった。一方で、これらのモデルは文の生成において顕著な失敗を示し、特に長い文になるほど質の高い文を生成できる数が大きく減少した。

意義: これらの結果は、言語モデルの振る舞いと「不可能な言語」が人間の言語として実在しないことを結びつける仮説として、生成能力の欠如と伝達の失敗が有力であることを示唆している。人間の言語進化・習得の理解にもつながりうる基礎研究である。