arXiv生成AI論文解説 2026年7月25日

キーワード: 混合専門家モデル(MoE)ルーティング / 幻覚緩和 / 選好チューニング(RLHF) / 分野横断知識編集 / モデル圧縮と量子化 / 電子透かしの頑健性

オープニング：2026年7月25日 — arXiv生成AI論文解説

今日の論文群を貫くのは、モデルの内部構造を情報理論や表現論の言葉で読み解こうとする動きだ。混合専門家モデル(MoE)のルーティングは単なる選択ではなくハフマン符号化に似た圧縮の営みではないか、選好チューニングが起こす変化はLoRA更新のスペクトル構造として頭部と尾部に分解できるのではないか、といった問いは、いずれも「モデルは何をしているのか」を性能の数字ではなく内部の構造から説明しようとする点で共通している。

もう一つの軸は、訓練後の変更にどう耐えるか、あるいはどう検出するかという頑健性の問題だ。分野を横断しても壊れない知識編集、モデルマージを生き延びる電子透かし、評価用プロンプトと実運用プロンプトのずれを監査する手法などが並ぶ。材料科学文献を読み解くエージェント設計や、自然言語が形式言語を置き換えられる範囲を理論づける議論も含め、今日の10本は「賢さを積み増す」よりも「賢さの中身をどう理解し、どう壊れにくくするか」に関心が寄っている回だ。

論文1: 混合専門家モデルにおける専門家対応コントラスト復号による幻覚緩和

出典: Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs' Hallucinations — arXiv:2607.20426 — https://arxiv.org/abs/2607.20426

中国・国防科技大学のチームによる研究である。既存の幻覚緩和策は、プロンプト工夫やモデル最適化を含め、モデル内部の知識をほとんど変えられないか、分野をまたぐと効きが悪いかのどちらかに偏っていた。層ごとの出力差を使うコントラスト復号は幻覚緩和に有効とされてきたが、これまで検討されてきたのはGPTのような通常のトランスフォーマー型モデルに限られ、アーキテクチャが根本的に異なる混合専門家モデル(MoE)は素通りされてきた。著者らはまず、MoEでも同様の層ごとの差が存在するかを実証的に調べている。

結果は入り組んでいる。専門家を共有するタイプのMoEでは同様の層差は見られなかったが、異なるMoE同士を比べると、上位層では事実に基づく出力と誤った出力とで専門家の活性化パターンがはっきり異なっていた。この知見をもとに提案されたEAACDは、上位層の専門家を信頼度と一貫性に基づいて「高信頼グループ」と複数の「低信頼グループ」に分け、高信頼グループの予測と各低信頼グループの予測を対比させてモデル本来の予測を較正する。さらに低信頼グループが出す幻覚をアテンションとマスキングで意図的に強調し、より強い負の参照として使う設計になっている。4つのデータセットで既存手法をすべて上回ったとされるが、対象がQA(質問応答)タスクに限られている点や、どのMoEアーキテクチャ一般に効くかは今後の検証課題として残る。

論文2: MoEのルーティングはハフマン符号なのか——思考連鎖に潜む頻度と多様性の法則

出典: Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought — arXiv:2607.20427 — https://arxiv.org/abs/2607.20427

3人の研究チームによる論文で、混合専門家モデル(MoE)のルーティングという長らくブラックボックスとされてきた仕組みに情報理論の視点を持ち込んだ。著者らは、MoEのルーティングは単なる専門家選択ではなく、ハフマン符号化の一種として振る舞っているという「頻度・多様性法則」を提示する。Phi-3.5-MoEやGemma-4-27B-A4Bのような最新モデルは、頻出トークンには少数の専門家しか割り当てず、思考連鎖(Chain-of-Thought)に現れる稀で複雑なタスクには多様な専門家からなる大規模な委員会を招集するという、情報理論的な圧縮エンジンとして自発的に振る舞っていたという。

一方でQwen3.5-35B-A3Bには「冗長性の罠」と呼ぶ問題が見つかった。実効的なスパース度(選択専門家数kと実効専門家数E_effの比)が十分低いとき、負荷分散の仕組みがかえって機能的な冗長性を生み、本来あるはずのハフマン効率のシグナルを覆い隠してしまうという。著者らはこの重複を外科的に取り除くSubset Difference Pruningを提案し、枝刈りをしても推論性能は落ちず、むしろモデルに潜在していたハフマン的な効率性が解放され、高密度な経路へと論理が収束することを示した。この結果から、次世代のMoEは強制的な負荷分散を離れ、高頻度情報には短い符号を、低頻度情報には長く多様な符号を割り当てる最小記述長(MDL)の最適性へ向かうべきだと著者らは論じている。ルーティングをヒューリスティックからきちんとした圧縮理論の対象へ格上げする主張だが、複数のモデル系列にまたがる観察結果である点には留意したい。

論文3: 多いほど良いわけではない——LLMの意見多様性を決める要因

出典: More Is Not More: What Matters for Diversity in LLM Opinions? — arXiv:2607.20429 — https://arxiv.org/abs/2607.20429

ニューヨーク大学の研究者による単著論文である。大規模言語モデルは、合成アンケートやフォーカスグループの模擬、世論予測といった開放的なタスクで多様な人間の意見を再現するために使われる場面が増えているが、出力には体系的な「意見の均質化」が見られる。多様性を高める介入策はこれまでにも試みられてきたが、それぞれ別々の指標で個別に評価されており、実運用では複数の手法が同時に導入・更新されるため、どの工夫がどれだけ効いているのかを切り分けにくいという課題があった。

そこで著者は、介入を「入力条件づけ(ペルソナの深さで操作)」と「対話アーキテクチャ」という2つの主要な次元に分ける要因分解実験を設計し、7つのモデルにわたり100件の実際のユーザーによる開放型質問で複数の多様性指標を測定した。結果はいくつかの通念を覆すものだった。ペルソナの詳細さを増やしても多様性は単調には増えず、最初の一段階のペルソナ条件づけだけで効果の大半が得られ、それ以上の人口統計的な詳細の追加は一貫した改善をもたらさず、モデルによってはむしろ多様性を下げることさえあった。また唯一最良の対話アーキテクチャを探すよりも、異なるアーキテクチャがほぼ重ならない意見領域を探索しており、複数のアーキテクチャを組み合わせる方が単一の最適化より広い範囲をカバーできることも分かった。サンプリング温度を上げる、多様性を促す指示を加えるといった手軽な代替策は、構造的な介入と比べて効果がごくわずかだったという。多様性は単一の軸を拡大して得られるものではなく、介入の構造とその組み合わせ方に強く左右されるという結論である。

論文4: スキル契約型エージェントによる材料科学文献のエビデンス重視分析

出典: Skill-Contracted Agents for Evidence-Aware Materials Literature Analysis — arXiv:2607.20431 — https://arxiv.org/abs/2607.20431

6人の研究チームによる論文である。材料科学の文献分析は、組成・プロセス・特性評価・物性の関係を同時に見渡す必要があるが、従来の検索拡張生成(RAG)パイプラインは、単一の「検索してから生成する」というアーキテクチャの中に性質の異なるタスクを詰め込もうとして無理が生じていた。著者らが提案するAlphaAgentは、検索に基づく質問応答と論文単位のレポート生成を、明示的な「スキル契約」によって切り分けるスキル駆動型のエージェントフレームワークである。

専用の検索スキルは、ユーザーの要求を素材固有の検索意図へ書き換え、Journal Citation Reportsの冶金・金属工学カテゴリから集めた30万本超の論文インデックスに問い合わせ、初期の証拠が不十分なら検索意図そのものを再構成する。別のレポート生成スキルは、全文PDFを解析して論文ごとの構造化された分析レポートと、複数論文を横断した要約を作る。深い分析的推論を要する設問を半数含む40問の材料科学の質問でブラインド評価したところ、AlphaAgentは基盤モデル・文書インデックス・検索規模をそろえたベースラインシステムを大きく上回り、特にメカニズムの説明や、情報の信頼できる範囲を見極める能力で差が大きかった。タスクの明示的な分離、検索意図の精緻化、根拠を意識した生成という設計が、LLMによる文献分析の質を高めることを示した論文である。

論文5: 自然言語は形式言語を完全には代替すべきではない

出典: Position: Natural Language Should Not Fully Replace Formal Languages — arXiv:2607.20432 — https://arxiv.org/abs/2607.20432

3人の研究チームによるポジション論文(主張提示型の論文)である。大規模言語モデルの進歩と普及により、プログラミング言語のような形式言語をソフトウェア設計から自然言語が完全に置き換えられるという主張が広まってきた。著者らはこの見方が、自然言語がもともと開放的な文脈での「あえて言い切らないこと」に最適化されているという言語学的な性質を見落としていると主張する。

そのために著者らは「タスク特異性」を、ユーザーの具体的な要求が与えられたときに出力空間(例えばあらゆる可能な画像の集合)の不確実性を情報理論的にどれだけ減らせるかとして定義する形式的な枠組みを導入し、自然言語で形式的な要求を表現するコストが、形式言語で直接指定するコストを上回る閾値が存在するという「特異性交差定理」を証明した。画像生成、コード合成、音声生成といった複数のモダリティの事例分析から、自然言語は特異性の低いタスクで優れ、形式言語はより厳密な要求を持つタスクで優位に立つことを示している。自然言語と形式言語は互いを置き換える関係ではなく補完関係にあり、ユーザーが特異性の高低を自在に行き来できるハイブリッドなシステムの開発を著者らは提唱している。数学的な枠組みに基づく主張であり、実データでの大規模な実証というより、議論の骨格を提示する性格の論文である点には注意したい。

論文6: モデル自身に語らせる、分野横断に頑健な知識編集手法Moir

出典: Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing — arXiv:2607.20433 — https://arxiv.org/abs/2607.20433

ドイツ・マックスプランク情報セキュリティ研究所(MPI-SP)のチームによる研究である。言語モデルは訓練された時点の知識で固定される一方、世界は動き続けるため、フル再訓練に代わる手段として知識編集が注目されてきた。しかし実際の運用では、数学的推論やプログラム的推論が崩れる一方で百科事典的な知識の想起は保たれるという、非対称な能力劣化がボトルネックになっている。著者らはこれを分布のミスマッチとして説明する。共分散に基づく編集手法は、参照コーパスが張る部分空間しか保存できず、教師あり微調整(SFT)やDPOのような事後学習が作り出す実際の稼働分布までは捉えられない。Wikipediaや元の事前学習コーパスのような静的な外部データを使っても、このずれた多様体を回復できないという。

そこで提案されたMoirは、モデル自身の出力分布からサンプリングすることで、保存すべき共分散を直接推定する。生成の起点にランダムな語彙トークンを1つだけ与えることで、通常の出力を支配してしまう指示追従テンプレートを回避し、モデルが内部化しているより広い部分空間を露出させるという工夫が核になっている。外部データを一切必要とせず、任意の共分散ベース編集手法に組み込めるドロップイン部品として設計されている。OLMo-2、Llama-3.1、Qwen-3(70億から80億パラメータ)を対象に、MEMITとAlphaEdit、バッチ編集と逐次編集の両方で検証したところ、Moirは最も脆弱な領域での保存性能を一貫して伸ばし、特にQwen3-8Bに2万件のAlphaEdit編集をバッチで加えた後でも、GSM8K(数学文章題)の正答率を79.9%に保った。Wikipediaベースラインでは10.9%まで落ちていたという。最新の多くのLLMでは事前学習・事後学習のコーパス自体が非公開であることを踏まえると、モデル自身が保存分布の最も入手しやすい情報源になり得るという指摘である。

論文7: 圧縮のボトルネックを破る——低ランク分解と量子化の非直交性

出典: Break Through the Compression Bottleneck: From Theory to Practice — arXiv:2607.20434 — https://arxiv.org/abs/2607.20434

中国科学院自動化研究所と北京人工知能アカデミーなどのチームによる研究である。言語モデルのパラメータ数が増え続けるなか、計算・メモリ負荷を下げる効果的な圧縮が求められているが、既存の圧縮手法は圧縮率を上げるほど性能が大きく落ちるボトルネックを抱えている。低ランク分解と量子化はそれぞれ単独でも計算・メモリ要件を大きく減らしつつ精度を保てることが示されてきた代表的な圧縮手法であり、両者を組み合わせれば既存のボトルネックを突破できるはずだと考えられてきた。しかし両者を組み合わせたときにどう相互作用するかは開発者にとって未解決の問題で、多くの研究者は両者が「直交する」、つまり組み合わせても互いの誤差以上の誤差は生じないと仮定してきた。

本論文は、低ランク分解と量子化が実は非直交であることを初めて数学的に証明し、大規模言語モデルでの一連の実験でこれを裏付けた。単純に組み合わせると性能が大きく劣化することを実証したうえで、著者らはこの2つの手法を効果的に組み合わせ、性能劣化を緩和する新手法Diagonal Adhesive Method(DAM、対角接着法)を提案している。モデル圧縮の相互作用に関する理論的な洞察を与えるとともに、複合圧縮の今後の研究に理論的・実験的な土台を提供する論文だが、要旨の範囲では具体的な圧縮率や性能保持率までは示されておらず、実際の削減幅は本文の数値で確認する必要がある。

論文8: オープンソースLLMの電子透かしをモデルマージに耐えさせる

出典: Making Open-Source Text LLM Watermarks Durable Against Merging — arXiv:2607.20435 — https://arxiv.org/abs/2607.20435

スイス・チューリッヒ工科大学(ETH Zurich)のチームによる研究である。オープンソースのLLM(OSM)は最先端に近い性能に達しつつあり、生成されたテキストを追跡するため、電子透かしのアルゴリズムをモデルの重みに直接埋め込む手法が提案されてきた。しかしOSMは公開後に自由に事後学習で改変され得るため、こうした透かしは容易に消されてしまうことが分かっている。とりわけ、専門知識の統合や破滅的忘却の防止のために広く使われるモデルマージ(複数モデルの重みを混ぜ合わせる手法)は、OSMの透かしを強く消し去ってしまう。マージ後も生き残る透かしをどう設計するかが本論文の中心的な問いである。

著者らはMerge-Adversarial Trainingという、後続のモデルマージに対して頑健であるように、テキスト電子透かしをモデルの重みへ蒸留する敵対的学習アルゴリズムを提案した。この手法は、SLERPなど3つの代表的なマージアルゴリズムを使い、専門知識の統合や破滅的忘却の防止という現実的なユースケースを想定した現実的なマージシナリオに対してOSMの透かしを初めて評価した検証の上に立っている。結果は、すべてのベースラインを一貫して上回り、例えばSLERPマージに対しては誤検知率1%でのTPR(真陽性率)が最大51ポイント、平均でも25ポイント向上しながら、下流タスクの性能を保持できたという。事後学習による改変全般に対して、敵対的学習が透かしの頑健性を高める信頼できるアプローチであることを示唆する結果である。

論文9: ルーティング部分空間——微調整済みモデルの評価と実運用の乖離を監査する

出典: Routing Subspaces: Auditing Evaluation-to-Deployment Mismatch in Fine-Tuned Language Models — arXiv:2607.20436 — https://arxiv.org/abs/2607.20436

南デンマーク大学とProMake社のチームによる研究である。安全性評価は、テスト時に観測された振る舞いが通常利用時の振る舞いを反映しているという前提に立つことが多いが、微調整はこの前提を崩し得る。あるチェックポイントは評価スタイルのプロンプトの下では修正済みに見える一方で、同じ望ましくない振る舞いが通常利用スタイルのプロンプトの下では残り続けることがある。出力のスコアはこのずれを表に出すが、どこにそのずれが宿っているかまでは教えてくれない。

著者らは、この評価用と実運用用の振る舞いの区別が、モデル内部の安定した部位に符号化されているかを調べ、パスパッチングで特定した中間深度の窓で対になった活性化のコントラストを当てはめ、その結果得られる座標を保留プロンプト上で書き換えるという介入手法を導入した。4つの完全な行列構成の指示チューニング済みモデルにわたる12のモデル・振る舞いの組のうち10(対になった質問数が120以上ある8設定のうち6)で評価と実運用のギャップを埋めることに成功し、5つ目のモデルでは介入箇所の特定と編集の来歴確認にも使えることを示した。実運用寄りの応答率の変化は最大でも6.1ポイントに抑えられている。一方で、うまくいかなかった2つの設定はいずれも「おもねり(sycophancy)」に関するもので、区別がより高次元だったり、深さのヒューリスティックで見逃されたりする場合には、単一座標での監査だけでは不十分であることを示している。著者ら自身、この手法は微調整済みチェックポイントを調べるための診断ツールであって、訓練時の防御策や実運用での安全性保証ではないと位置づけている。

論文10: 選好チューニングをスペクトル更新の再編として捉える

出典: Preference Tuning as Spectral Update Reorganization — arXiv:2607.20438 — https://arxiv.org/abs/2607.20438

イリノイ大学アーバナ・シャンペーン校と香港理工大学のチームによる研究である。RLHF(人間のフィードバックによる強化学習)のような選好に基づく事後学習は、通常その最終的な振る舞いを見て理解されるが、その振る舞いを生み出す学習された更新そのものは、これまでほとんど不透明なままだった。著者らは、RLHFおよび関連の選好最適化手法を、それらが引き起こすパラメータ更新のスペクトル構造(固有値・固有ベクトルによる分解)を通して調べる。実質的なLoRA更新を分解し、そのスペクトル成分をプラグインモジュールとして読み込み直すことで、選好によって生じた更新を切り出したり、組み替えたり、直接介入できる対象へと変換した。

複数のモデル系列、最適化アルゴリズム、教師あり設定にわたって、これらの更新は一貫して「頭部・尾部」という構造に分かれることが分かった。コンパクトな頭部が学習の早い段階で現れて最終的な振る舞いの変化の大部分を担い、残りの異質な尾部が残るという構造で、この分割は単なる記述ではなく機能的な意味を持つ。プラグイン単位での介入実験では、頭部だけがベースモデルからの目に見える振る舞いの変化を説明する一方、尾部は単独ではほとんど働かないことが示された。異なる学習run同士でアダプタを混ぜ合わせる実験では、混合後のアダプタが頭部の由来元に追随することも分かり、頭部がrun固有の解法バイアスを運んでいることを示している。ただしこの「終端での支配性」は学習として十分であることを意味しない。頭部だけの学習は無意味ではないが完全な解を再現できず、特に分布外の振る舞いで顕著であり、尾部だけの学習は目に見える利得はわずかでも、尾部なしでは完全な解が回復しないという。選好に基づく事後学習を、単一の振る舞い補正としてではなく、構造化された更新の再編成として捉え直す視点であり、整合性を得ることと汎化範囲を失うことが、学習された更新自体の組織構造と結びついていることを示唆している。

今日のまとめ

今日の10本を通して見えるのは、モデルの内部構造を情報理論やスペクトル分解の言葉で読み解こうとする動きだ。MoEのルーティングをハフマン符号として捉える研究と、選好チューニングをスペクトルの頭部・尾部構造として捉える研究は、性能の数字ではなく「更新や選択の中身がどう組織化されているか」を問うという点で響き合っている。MoEの幻覚緩和も、上位層の専門家活性化パターンという内部構造の違いを手がかりにしている点で同じ系列にある。

もう一つの軸は、訓練後に加わる変更にどう耐えるか、あるいはどう検出するかという頑健性の問題だ。分野を横断しても中核能力を壊さない知識編集、モデルマージを生き延びる電子透かし、評価用プロンプトと実運用プロンプトのずれを内部の部位から監査する手法は、いずれも「モデルは訓練後にどう変わり得るか」という同じ問いの異なる切り口といえる。低ランク分解と量子化の非直交性を証明した圧縮研究、材料科学文献を読み解くエージェント設計、自然言語と形式言語の使い分けを理論づける議論も含め、今日の論文群は、モデルを大きくする・賢くするという方向とは別に、モデルの中身をどう理解し、どう壊れにくく運用するかという設計判断に焦点を当てていた回だった。

参考ソース

• 論文1: "Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs' Hallucinations" — arXiv:2607.20426
• 論文2: "Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought" — arXiv:2607.20427
• 論文3: "More Is Not More: What Matters for Diversity in LLM Opinions?" — arXiv:2607.20429
• 論文4: "Skill-Contracted Agents for Evidence-Aware Materials Literature Analysis" — arXiv:2607.20431
• 論文5: "Position: Natural Language Should Not Fully Replace Formal Languages" — arXiv:2607.20432
• 論文6: "Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing" — arXiv:2607.20433
• 論文7: "Break Through the Compression Bottleneck: From Theory to Practice" — arXiv:2607.20434
• 論文8: "Making Open-Source Text LLM Watermarks Durable Against Merging" — arXiv:2607.20435
• 論文9: "Routing Subspaces: Auditing Evaluation-to-Deployment Mismatch in Fine-Tuned Language Models" — arXiv:2607.20436
• 論文10: "Preference Tuning as Spectral Update Reorganization" — arXiv:2607.20438