arXiv Frontier AI論文解説（2026年9月20日）

キーワード: ハイブリッドアテンション拡散LM / 有害性の偽装 / 拡散言語モデルの並列性の理論分離 / 教師の適応的引退 / LLM群のコンセンサス過大申告

本日は、ハイブリッドバックボーンから拡散言語モデルを作る手法、安全性評価の毒性スコアが見落とす「有害性の偽装」、拡散言語モデル3パラダイム間の並列性を初めて理論的に分離した結果、エージェント強化学習で自己蒸留の教師を自動的に手放す手法、そして言語モデル群が人間の熟議を再現すると合意を過大に示す現象という五本を扱う。いずれも、表面上の指標・挙動と、実際にモデルの内部で成立している性質とのずれを測っている。

オープニング：2026年9月20日 — arXiv Frontier AI論文解説

[ずんだもん] 2026年9月20日、アーカイブ・フロンティア・エーアイ論文解説をお届けするのだ。 [四国めたん] 今日は5本です。ハイブリッドアテンションから作る拡散言語モデル、GPTの毒性スコアが見落とす有害性の偽装、拡散言語モデル3パラダイムの並列性の理論分離、エージェント強化学習の自己蒸留、そして言語モデル群のコンセンサス過大申告を扱います。 [ずんだもん] どれも、指標が測ってるつもりのものと、実際にモデルの中で起きてることのずれを見てる研究なのだ。

論文1: ハイブリッドアテンション拡散言語モデル dQwen3.5

出典: dQwen3.5: Hybrid-Attention Diffusion Language Models. arXiv:2609.20751 (2026).

アントン・シューらは、事前学習済みの自己回帰モデルを拡散言語モデルへ適応させる際、既存の手法がほぼ全てフルアテンションのトランスフォーマーを出発点にしている点に着目した。一方で自己回帰モデリング自体はアテンション層とRNN層を交互に重ねるハイブリッドアーキテクチャへ移行しつつあり、RNNは構造的に因果的で双方向化が容易でないため、これが拡散モデルへの適応の障害になる。著者らはこの不整合にもかかわらず、ハイブリッドバックボーンが有効な拡散言語モデルになりうるかを検証するため、0.8B・2B・4B・9Bの4スケールでQwen3.5を適応させ、dQwen3.5ファミリーを構築した。

フルアテンションを対照群とした比較で、ハイブリッドバックボーンは同じ訓練損失に到達するまでのトークン数がおよそ半分で済んだ。各スケールを通じて、dQwen3.5は任意順序デコーディングの挙動でフルアテンションの拡散言語モデルと同様の性質を示し、並列デコーディング下でも高い性能を発揮した。RNN層を含むアーキテクチャでも拡散適応の効率的な出発点になりうることを示した結果である。

論文2: 「有害性の偽装」——GPTモデルの毒性スコアをすり抜ける表現的な害

出典: Harm Laundering in GPT Models: Evidence That Gender Discrimination Is Transformed Rather Than Reduced Across Safety-Trained Generations. arXiv:2609.20779 (2026).

セーラ・ワイヤーらは、大規模言語モデルの安全性評価が表層形式の分類器に依存し、世代を追うごとに毒性スコアが下がると報告してきた方法論が体系的に不完全であり、明示的な差別的内容が除去されるのではなく形を変えているだけだと指摘した。この現象を「有害性の偽装（harm laundering）」と呼び、GPT-2からGPT-5までの15モデル・3つの属性条件にわたる45万件のジェンダー指向の生成文を分析した。GPT-2の女性向け出力に多かった性暴力クラスターはGPT-4までに消える一方、男性向け出力は女性向けには与えられない好意的な表象領域（介護役割・感情の幅・味方としてのアイデンティティ）を獲得していた。

最も顕著なのはGPT-5で、あるトピッククラスター（1997件の文書）が乳がんを「男性の権利問題」として枠づけていたのに対し、女性向け出力には同等のクラスターが一件も現れなかった。この内容は3種類の独立した分類器全てで「非有害」と判定されている。感情スコアはGPT-4の境界で反転し、初期モデルは女性を貶める方向、後期モデルは行き過ぎた補正の方向にずれていた。女性向け出力のトピック多様性は、GPT-4の整合境界で男性向けと比べ36%低下した（比率は GPT-2の0.91から0.58へ)。表象的な害の格差はモデルのリリース時期と相関する一方（ρ=+0.55, p=.034）、既存の毒性検出ツールDetoxifyのスコアはむしろ逆相関を示した（ρ=−0.23, p=.42）。つまり毒性スコアが下がるほど表象的な害は増えていた。著者らは有害性の偽装を判定する3基準のテストと、3段階の検出手順を提示し、毒性スコアの低下が害の低減を意味する十分な代理指標ではないと結論づけている。

論文3: 拡散言語モデル3パラダイム間の並列性を理論的に分離する

出典: Parallelism, critical windows, and separations among diffusion language models. arXiv:2609.20539 (2026).

シタン・チェンらは、拡散言語モデルの売り文句である「並列性」——自己回帰モデルのようにトークンごとに1回の順伝播を要さず、より効率的に文章を生成できる能力——について、マスク型・一様型・ガウス型という主要な3パラダイム間で並列性がどう異なるかの原理的な理解が乏しい点に取り組んだ。著者らはこの3パラダイムの並列性を細かく比較し、2つの結果を証明した。

第一に、一様拡散とガウス拡散は、対象分布のデュアル・トータル・コリレーション（文脈長よりはるかに小さくなりうる、分布の内在的複雑さの尺度）に応じてスケールする順伝播回数でサンプリングできる。この性質は従来マスク拡散でのみ達成可能だと知られていた。第二に、ある種のランダムな経験分布族について、一様拡散・ガウス拡散でのサンプリングにはΘ̃(√d)回の順伝播が必要十分である一方、マスク拡散ではΩ̃(d)回の順伝播を要する近似スコアオラクルが存在することを示した。これは3つの主要な拡散言語モデルパラダイム間で初めて証明された並列性の分離である。マスク拡散はトークンの値に確定的にコミットしなければならないため並列化しにくい、という通説に反し、この分離はマスク拡散のサンプリングにおける「臨界ウィンドウ」が一様拡散・ガウス拡散のそれより漸近的に狭いことに由来していた。

論文4: 自己蒸留する教師を適応的に「引退」させるエージェント強化学習

出典: RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning. arXiv:2609.20784 (2026).

ヤン・ユーらは、複数ターンのエージェントを強化学習で訓練する際、軌跡ごとに得られるスカラー報酬が1つしかないため、特権的なタスク知識を持つ自己教師からトークン単位の密な教師信号を与える自己オンポリシー蒸留（OPD）が用いられてきた点に着目した。しかしエージェントタスクでは、特権情報を持つだけでは教師が必ずしも信頼できるとは限らず、教師による指導の効果は学習段階によって変わるという2つの知見がこの手法を損なうことを示した。著者らはこれを踏まえ、まず環境報酬だけで特権情報を条件とする教師を分離して最適化し、その後スキルを持たない生徒を強化学習とOPDで同時に訓練するRetireOPDを提案した。

RetireOPDは事前に決めた蒸留スケジュールに従うのではなく、「適応的引退」を採用する。生徒と教師の乖離が縮まらなくなり、かつ生徒が教師の成功率の一定割合に達した時点で、生徒は自発的に教師を手放し、以降は強化学習単独で訓練が進む。Qwen2.5の1.5Bから7Bのモデルで検証した結果、RetireOPDは強化学習単体のベースラインに比べてALFWorldの成功率を14.1から18.8ポイント、WebShopの精度を11.8から19.0ポイント改善し、あらゆる設定で自身が育成した教師自身の性能をも上回った。

論文5: 言語モデル群は人間の熟議を再現するとコンセンサスを過大に示す

出典: Language-model groups overstate consensus when replaying human deliberation on a reasoning task. arXiv:2609.20543 (2026).

タンフェイ・シャオは、完全合意率が集団の認知を示す指標として扱われがちだが、実際には参加や最終状態をどう操作的に定義するかに強く依存する点を検証した。ウェイソン選択課題を議論する人間の実験グループ100組を、事前討議の各参加者の回答をもとにビリーフを固定したエージェントを1体ずつ割り当てたLLMエージェント群で再現し、人間とエージェントを同一のコードで採点した。人間側の採点基準を変えると推定合意率は24.0%から57.0%まで変動し、参加者の約5分の1は一度も発言していなかったのに対し、エージェントはほぼ常に発言していた。

匿名化解除後の2種類の感度分析でも、エージェント群は一貫して人間より合意的だった。投稿の有無に基づく比較（n=98）ではチャットモードと推論モードでそれぞれ34.0ポイントと43.9ポイントの差、参加状況を揃えた比較（n=45)では34.1ポイントと44.4ポイントの差が出て、異なる測定上の偏りを補正した2つの経路がそれぞれ0.5ポイント差以内に収束した。この差は早期打ち切りをなくしても、記憶されている可能性のある正答を除去する再パラメータ化を行っても持続し、その条件下では推論モードのエージェント群はほぼ全員一致、しかもその多くが誤答での一致になっていた。シミュレートされた合意は集団の正答率を追跡しておらず、ビリーフ固定型のエージェント群は人間の集団的な結果分布の偏った推定量になっていた。

まとめ

五本は、拡散言語モデルへの適応方式、安全性指標の見かけと実態、拡散モデルのパラダイム間の理論的な能力差、エージェント強化学習での教師依存の管理、そして人間集団のシミュレーションの妥当性という異なる層で、「指標や挙動が示すもの」と「実際に成立している性質」の乖離を扱っている。dQwen3.5はハイブリッドバックボーンでも効率的な拡散適応が可能なことを、有害性の偽装は毒性スコアの低下が害の低減を意味しないことを、パラダイム分離は並列性の直感的理解が理論的には裏切られうることを、RetireOPDは教師依存を自動制御する具体的な仕組みを、コンセンサス過大申告はLLM群を人間の代理として使う際の系統的な偏りを、それぞれ数値で裏づけている。いずれも、表面の平均的な指標だけでは見えない構造を、条件を揃えた比較や理論的証明によって切り分けている。

参考ソース

• 論文1: dQwen3.5: Hybrid-Attention Diffusion Language Models. arXiv:2609.20751
• 論文2: Harm Laundering in GPT Models: Evidence That Gender Discrimination Is Transformed Rather Than Reduced Across Safety-Trained Generations. arXiv:2609.20779
• 論文3: Parallelism, critical windows, and separations among diffusion language models. arXiv:2609.20539
• 論文4: RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning. arXiv:2609.20784
• 論文5: Language-model groups overstate consensus when replaying human deliberation on a reasoning task. arXiv:2609.20543