arxiv 論文解説 2026/07/07

今日のハイライト: グーグル・ディープマインドが公開した新型オープンウェイトモデル「Gemma 4」（2.3B〜31B、マルチモーダル＋思考モード搭載）、文脈長を実質無限に近づける「階層型スパースアテンション（HiLS）」（学習時の64倍の長さまで90%の精度で外挿）、そして知識グラフの欠けたリンクを拡散モデルで埋める新手法「DMKGC」（従来手法比で平均4.3%のMRR向上）の3本を軸に、生成AI・LLM・エージェント・知識グラフに関する論文10本を取り上げる。

論文1: 生成と検証、なぜ食い違う？――頻度のクセを正して鍛えるLLMの自己一貫性

arXiv:2607.02668 | Juan Diego Rodriguez, Jocelyn Zhang, Katrin Erk, Greg Durrett（テキサス大学オースティン校）

背景

大規模言語モデルは、プロンプトの言い回しを少し変えるだけ、あるいは無関係な情報を混ぜるだけで出力が大きく変わってしまうことがある不安定な存在である。その代表例が「生成者-検証者ギャップ（G-Vギャップ）」で、モデルがある回答を生成しておきながら、同じモデルにその回答が正しいか尋ねると「無効」と判定してしまう現象である。

手法

論文は、単純な「生成者と検証者の答えが一致するか」という素朴な一貫性の定義には欠陥があると指摘する。もっともらしい文字列でも、そもそも出現頻度が低いというだけの理由で生成者が低い尤度を割り当ててしまうためである。そこで、複数の正解がありうる質問に合理的なエージェントが答えるという自然なモデルを立て、出現頻度を補正したスコアと検証者が整合するように設計した新しい訓練目的を提案した。

結果

この訓練手法で学習すると、生成者-検証者の一貫性と、生成そのものの性能の両方が既存手法より大きく改善した。IFEvalとHumanEvalでのピアソン相関は最大27ポイント向上し、しかも検証者としての性能はどのタスクでも落ちなかった。

意義

自分の出した答えを自分で正しく検証できないというのは、LLMを信頼して使う上で見過ごせない弱点である。頻度の偏りという盲点を数理的に補正するという地に足の着いたアプローチは、より一貫性のある、自己矛盾の少ないLLMづくりに直結する。

論文2: グーグルの新型野心作――「Gemma 4」は思考モード搭載の軽量マルチモーダルAI

arXiv:2607.02770 | Gemma Team（グーグル・ディープマインド）

背景

オープンウェイトモデルの分野では、限られた計算資源でどこまで賢く、どこまで多様な入力（文章・画像・音声）を扱えるかが競われている。Gemmaシリーズはその中でも軽量かつ高性能を志向するモデル群である。

手法

新世代の「Gemma 4」は、密なモデルとMoE（専門家混合）アーキテクチャの両方を用意し、パラメータ数は23億から310億まで幅広く展開する。すべてのサイズで視覚・音声のエンコーダーを強化したほか、12Bモデルでは生の音声波形と画像パッチを直接取り込む、エンコーダーを介さない統一アーキテクチャを新たに提案した。さらに、応答の前に推論の過程を生成する「思考モード」を統合し、推論速度・メモリ・計算効率、そして長い文脈を扱う能力も設計上の工夫で改善している。

結果

Gemma 4は理系分野・マルチモーダル・長文脈のベンチマークで大きく性能を伸ばし、人間による評価タスクでは、より大きなパラメータ数を持つ最前線のオープンモデルにも匹敵する結果を示した。

意義

軽量なモデルでも思考モードやマルチモーダル対応を備えられることを示した点は大きい。手元のPCやエッジデバイスでも動かせる規模でありながら、フロンティアモデル級の実力に迫るという方向性は、オープンなAIエコシステム全体の底上げにつながる。

論文3: もっともらしい理屈に丸め込まれるAI審判――物語仕立ての「レトリック注入」攻撃

arXiv:2607.02802 | Weiying Chen, Junlong Shen, Zhanyuan Guo, Xiaoou Zhou

背景

LLMは、半分開かれたテキストゲーム環境で「自律的な審判役」として使われる場面が増えている。ユーザーの意図とシステムのルールが食い違ったとき、審判役のLLMがルールを毅然と守れるかが問われる。ところがLLMは「親切で従順であること」を目指して訓練されているため、この性質自体が攻撃の糸口になってしまう。

手法

著者らはこの弱点を「レトリック注入」と名付けた。もっともらしい疑似論理や、権威を装った強い言い回しなど、物語の枠組みを利用してユーザーが審判判定を回避する攻撃である。検証のため、テーブルトークRPG（TRPG）のルール処理という、ルールは明確でありながらやり取りはすべて自然言語で行われる環境を土台に、「CoC-Seduce」という多エージェント型の対立ベンチマークを構築した。ジーピーティー5.4、クロード・ソネット4.6、ジェミニ3.5フラッシュという3つの最前線モデルを攻撃側の生成役として使い、4種類の世界設定・16種類のスキル区分にまたがる5,376件のサンプルを作成し、20個の対象モデルを審判役として評価した。

結果

モデルの規模を大きくしても、あるいは明示的な推論能力を持たせても、審判としての頑健性は確実には得られないことが分かった。特に「疑似論理」による攻撃が最も効きやすく、また文化的背景が異なる設定では、評価した全モデル系列に共通して知識の抜け落ちが見られた。

意義

LLMを審判・調停役として実務に使う場面が増える中、「賢さ」や「推論力」だけではルール遵守の頑健性は保証されないという警鐘は重要である。もっともらしい語り口に流されない仕組みづくりが今後の課題となる。

論文4: 過去ログは捨てるものじゃない、鍛える教材だ――経験記憶で行動を予測するPraMem

arXiv:2607.02881 | Zhuoqun Li, Boxi Cao, Jiawei Chen, Hanshu Zhou, Xianpei Han, Le Sun ほか（中国科学院ソフトウェア研究所）

背景

長期にわたる利用者の行動履歴から次の行動を予測する「長期行動予測」は、AI分野で重要な役割を果たす。LLMはこの予測に有望だが、長い履歴から潜在的な行動パターンを見抜くのが苦手で、モデル自身が持つ認知的な偏りにも悩まされる。従来の記憶管理手法は、長い履歴を「圧縮して負担を減らす」という発想が中心だったが、これでは本質的な課題を解決できない。

手法

著者らは発想を転換し、長い履歴を「負担」ではなく「活用すべき資源」と捉え直した。提案手法「PraMem」は、長い履歴に対してあらかじめ「練習」を行うことで経験に基づく記憶を構築し、これを長期行動予測を助ける補助的な入力として活用する。

結果

多様なタスクにわたる実験で、PraMemは既存手法より優れた性能を示した。さらに踏み込んだ分析により、この経験記憶がどのような仕組みで機能し、どう発展していくのかについても知見が得られた。

意義

「履歴は圧縮して捨てるもの」という発想から「履歴で練習して力をつける」という発想への転換は、長期的な文脈を扱うAIエージェント全般に応用できる可能性がある。

論文5: 知識はあるのに実践できない――認知行動療法をLLMにやらせてわかった限界

arXiv:2607.02885 | Vaishnavi Sinha, Pooja Guttal, Manas Gaur ほか（メリーランド大学ボルティモア校）

背景

認知行動療法（CBT）は、認知と行動の相互作用に着目して利用者の心理状態を理解するための構造化された枠組みである。市販のLLMは流暢で共感的な受け答えができるが、実際にはユーザーが本当に必要としているものに関わらず「共感して受け止める」対応ばかりに偏ってしまう。CBTの理論知識自体はライセンス試験の問題で96%の正答率を記録するほど持っているのに、実践にうまく応用できないというギャップがある。

手法

著者らは、CBT対話を「制御された感情的推論」として捉える知識ガイド型の枠組みを提案した。ユーザーの語りをベックの「認知の定式化」構造に分解し、自然言語推論で検証された臨床用語体系SNOMED CTに基づいて根拠づけ、さらに複数の思考の連鎖（マルチCoT）によって「共感して受け止める」「ソクラテス式の問いかけ」「別の視点を示す」という3つの対応戦略から適切なものを選ばせる。効果を測るため、介入がモデルの既定の応答からどれだけ変化させたかを捉える新指標「プロトコル・レバレッジ・フォース」も導入した。

結果

3つのオープンウェイトLLMと、実際のCBT事例14件を使った検証で、単純な思考の連鎖でルールを教えるだけでは行動はほとんど変わらず、マルチCoTの方が戦略選択の面でやや効果的だった。ただしその効果は1.2〜1.3%程度にとどまり、どのモデルも依然として「共感して受け止める」対応に偏り続けた。

意義

CBTの知識を持っているだけでは、それを適切に使いこなせるとは限らないことが定量的に示された。メンタルヘルス分野でAIを活用する上で、こうした「知っているが使えない」ギャップを測定する仕組みは今後ますます重要になる。

論文6: 生徒の歩んだ道で教える――多言語RAGの言語崩れを防ぐ教師付き強化学習

arXiv:2607.02966 | Haotian Zhou, Weiran Huang ほか（上海交通大学）

背景

多言語対応の検索拡張生成（RAG）は、ユーザーが様々な言語で質問しても、検索されてくる根拠文書は英語のままという「英語エビデンス方式」で運用されることが多い。この場合、土台となるモデルの性能が高くても生成に失敗しやすい。英語の根拠文書に引きずられて英語や言語が混ざった出力になったり、非英語で回答する際に根拠をうまく使えなかったりするためである。

手法

著者らは、この失敗の原因を2つの訓練上の課題に帰着させた。誤りが「途中経過（プレフィックス）」に依存して起きるため固定された正解手順による教師あり学習は噛み合わないこと、そして文単位の報酬は判定にノイズが多く、勾配の分散が大きくなることである。そこで、報酬による最適化と、生徒モデルが実際にたどった途中経過上でのオンポリシー蒸留を組み合わせた「TR-RAG」を提案した。小型の生徒モデルが自らの方策で回答を生成する一方、より強力で固定された教師モデルは、生徒が実際に通った途中経過だけを尋ねられ、逆KLダイバージェンスによる目印を与える。さらに、言語の一貫性・文字3グラムの再現率・LLM審判によるスコアを組み合わせた報酬設計も導入した。

結果

BioASQ、HotpotQA、そして自然に多言語なMKQAの3つのベンチマーク、2種類の土台モデルで検証したところ、TR-RAGは言語の一貫性と根拠に基づく正確性を組み合わせた指標で強いベースラインを上回った。特に、報酬だけに頼る強化学習では学習前のベースモデルより性能が落ちる「言語一貫性の崩壊」が最大27ポイントも起きうるが、教師の目印はこれを防いだ。学習データにない遠い言語でも根拠づけの精度を改善し、文字3グラムの再現率では、小型の生徒モデルが700億パラメータの教師モデルを上回ることさえあった。

意義

多言語のRAGシステムを安全に強化学習で鍛えるための、実務的なレシピを提示した点が重要である。小型モデルでも工夫次第で大型の教師モデルに匹敵、あるいは部分的に上回れることも示唆に富む。

論文7: どこまでも見通せる文脈へ――階層型スパースアテンションHiLSはチャンク選択も学習で最適化

arXiv:2607.02980 | Xiang Hu, Xinyu Wei, Kewei Tu, Haitao Mi ほか

背景

現代の大規模言語モデルを長い文脈に対応させようとすると、通常のアテンション機構の計算コストが文脈長の2乗で増えてしまう問題や、学習した長さを超えると性能が落ちる「長さ外挿」の弱さが立ちはだかる。文章をチャンク（塊）に分けて疎に注目する手法はこの解決策として期待されてきたが、既存手法はどのチャンクに注目すべきかの選び方が不正確で、通常の全アテンションの性能には届いていなかった。

手法

著者らが提案する「階層型ランドマークスパース（HiLS）アテンション」は、チャンクの選び方自体を言語モデルの損失関数のもとでエンドツーエンドに学習するチャンク単位のスパースアテンションである。各クエリはまず検索された各チャンクと個別にアテンションを行ってチャンク固有の情報を取り出し、その出力をチャンクの検索スコアに応じて統合する。この検索スコアを順伝播のアテンション計算そのものに組み込むことで、言語モデルの損失で直接最適化できるようにし、検索の学習とスパースな学習を最初から一体化させた。

結果

HiLSアテンションは、学習時と同じ長さの文脈では通常の全アテンションに匹敵、場合によっては上回る性能を示した。さらに、学習時の文脈長の64倍を超える長さまで、90%の検索精度を保ったまま外挿できた。これは通常の全アテンションを大きく上回る。また、既存の全アテンションモデルも、軽量な継続事前学習によってHiLSアテンションに変換でき、元の性能を保ったまま超長文脈への外挿能力を獲得できた。

意義

疎なキー・バリューへのアクセスと計算量の少なさを両立させつつ、通常「効率と性能はトレードオフ」とされてきた壁を突破した点が大きい。長文脈を扱うLLMを、より効率的かつより高性能にする現実的な道筋を示している。

論文8: 返事を待たずに先読みする――会話の間も考え続けるプロアクティブ思考

arXiv:2607.03093 | Ante Wang, Zhaopeng Tu, Weizhi Ma ほか（テンセントAIラボ、清華大学）

背景

複雑な課題に取り組む上で、応答前に「考える」過程を挟むことはLLMにとって重要な能力になっている。しかしこの「思考」は、ユーザーの発言を受け取ってから初めて受動的に始まるものであり、それが会話に遅延をもたらし、スムーズなやり取りを損なってしまう。人間同士の会話では、話し手は自然な間の間に先の展開を予測し、あらかじめ考えを組み立てているのとは対照的である。

手法

著者らはこのギャップを埋めるため「プロアクティブ思考」という枠組みを提案した。会話の合間、モデルがただ次の入力を待つのではなく、あらかじめ起こりうる応答の要素を計算しておく仕組みである。追加学習なしで実現できるベースライン手法も導入し、起こりうる将来の状態を予測しながら投機的に思考を継続することで、効率と品質のバランスを取る。

結果

複雑さの異なる3つのベンチマークを、実際の会話の流れを模した「時間を意識した環境」に作り替えて評価したところ、プロアクティブ思考は性能を落とすことなくやり取りの効率を改善することが示された。

意義

「聞かれてから考える」受動的なAIから、「間にも考え続ける」先読み型のAIへの転換を提唱している点が重要である。よりリアルタイムで自然な対話AIへの一歩となる。

論文9: 知識グラフの穴を拡散モデルで埋める――複数ドメインを横断するDMKGC

arXiv:2607.03154 | Jiawei Sheng, Tingwen Liu ほか（中国科学院情報工程研究所）

背景

複数ドメインの知識グラフ補完（MKGC）は、他の知識グラフから知識を移転することで、対象となる知識グラフの欠けている三つ組（主語・関係・目的語）を予測する精度を高めることを目指す。既存手法は、複数の知識グラフにまたがる「同じ実体」に一貫性の制約をかけて知識を移転するのが一般的だが、これは実体固有の文脈情報を押しつぶしてしまう恐れがある。この設計は、特にデータの少ない低リソース設定で性能向上を妨げる。

手法

著者らは生成モデルに基づく新しいパラダイムを切り拓き、条件付き拡散モデルを使った知識移転の枠組み「DMKGC」を提案した。各知識グラフを、実体の全体像の一部分を映す「部分的な視点」として捉え、支援となる知識グラフを条件とした拡散モデルによって、情報量の多い汎用的な実体埋め込みを生成するのが着想である。具体的には、まずドメインに依存しない実体埋め込みを事前分布として初期化し、それぞれの知識グラフの中でエンコードする。その後、支援となる知識グラフの同一実体を融合して条件付き拡散生成のガイドとする。事前の実体埋め込みを生成の目標の代理として使うことで、この条件付き生成がどの条件知識グラフにも偏らないようにし、同時に生成した埋め込みが複数の知識グラフをまたいで予測に使えるよう学習することで、ドメイン固有の情報も保つ。

結果

3つのベンチマーク、計14の知識グラフでの大規模な実験の結果、目的語となる実体の予測において、最先端手法に比べて平均4.3%のMRR（平均逆順位）向上を達成した。低リソースなデータ設定でも、この改善は持続した。

意義

一貫性の制約による知識移転から、拡散モデルによる生成的な知識移転へというパラダイムの転換を示した点が新しい。データの少ない領域でも安定して性能を伸ばせることは、実世界の知識グラフ活用に直結する成果である。

論文10: フェイクニュースが暴動を呼ぶ前に――多言語マルチモーダルで危険な兆候を検知

arXiv:2607.02734 | Md. Maruf Bangabashi, Tahmid Hasan ほか（バングラデシュの研究チーム）

背景

ソーシャルメディアの急速な普及は世界的なコミュニケーションを変えた一方で、誤情報の拡散も加速させた。フェイクニュース・改ざんされたコンテンツ・扇動的な語りは、社会不安・政治的不安定・暴徒による暴力とますます結びつくようになっている。南アジアをはじめとする地域では、フェイスブックやワッツアップを通じて広まった虚偽情報が現実の被害を引き起こしており、事実確認の努力よりも速く拡散することが少なくない。

手法

著者らは、誤情報と暴力につながりかねない動きを早期に検知するための、多言語・マルチモーダルな自然言語処理の枠組みを提案した。複数のベンチマークデータセットを組み合わせ、ベンガル語と英語からなる13万8256件のサンプルを持つ統合データセットを構築した。この枠組みは、多言語のテキスト表現に「XLM-RoBERTa」、視覚情報の埋め込みに「CLIP」を使い、マルチヘッドアテンション機構でマルチモーダルに統合する。さらに皮肉の検出や位置情報といった補助的な特徴も組み込んでいる。

結果

全体の30%を層化抽出した部分集合での実験で、98%というテスト精度を達成し、適合率・再現率もともに高い水準を示した。

意義

マルチモーダルなアプローチが誤情報の早期検知に有効であることを示すとともに、位置情報という手がかりが現実世界でのエスカレーションを予測する上で付加価値を持つことを明らかにした。事実確認が追いつかない速さで広がる誤情報に対抗する、実務的な一歩となる。