arXiv生成AIニュース（2026年9月2日）

キーワード: マルチモーダルなユーザー記憶 / 幻覚検出の幾何 / 基盤モデルと専用アーキテクチャ / 構造的に答えられない問い / 多肢選択の人気バイアス / テスト時スケーリングと環境分解

本日は2026年9月1日に投稿された生成AI関連論文から10本を選んだ。前半はモデルの内部表現と振る舞いの分析が厚い。テキストのキャプションでは運べない「声や顔の同一性」をモデル内部のパラメトリックな記憶として持たせる研究、言語モデルの幻覚検出信号が実は隠れ状態の平均のずれ一本にほぼ集約されるという解釈性研究、そして基盤モデルが構造化データ向けの専用アーキテクチャを本当に置き換えたのかを159本の論文で検証したサーベイが並ぶ。後半は安全性・評価・効率に移り、構造的に答えようのない問いに言語モデルが自信満々で答えてしまう理由、多肢選択問題で人気の誤答を選ぶ体系的なバイアス、ウェブエージェントがテスト時に環境を分解して学ぶ手法、方程式発見におけるテスト時スケーリング、アップルシリコン上での推論の電力効率、長文脈プリフィルの入力条件つき疎注意、そして深層リサーチの報告執筆を主張単位で監査し書き直す手法を扱う。

オープニング：2026年9月2日 — arxiv 生成AI論文解説

本日は2026年9月2日、生成AI分野の新着論文解説をお届けする。9月1日投稿分から、内部表現の分析、安全性、評価の落とし穴、推論効率にまたがる10本を選んだ。モデルが「何を表現しているか」と「その表現をどう使えていないか」を切り分ける研究が今週は目立つ。数値と比較条件、そして各手法がどの範囲で成り立つのかに沿って追っていく。

論文1: パラメトリックなマルチモーダル・ユーザー記憶 — キャプションが運べないものを蓄える

この論文を選んだのは、個人化エージェントのユーザー記憶がほぼテキストの書き起こしとキャプションに限られている現状に対し、声や顔のような言語化しにくい同一性をモデルのパラメータ側へ埋め込むという発想の転換を、5つのモダリティで定量的に示しているからである。著者は李伯杰氏らの研究チーム。まず、キャプションに強く依存した再同定器が、専用エンコーダの再現率に対してわずか0.11しか回収できず、名前を付けられない信号ではほぼ偶然の水準まで崩れることを測った。そのうえで想起を二つの部分問題に分ける。文脈の中で「何がどこにあるか」を視覚言語モデルが特定し、「誰か」を表す同一性の鍵を専用エンコーダが抽出して、生成時にアテンションが読む1個のインラインなトークンとして保持する。外部への問い合わせは発生しない。

どちらか一方では足りない。視覚言語モデルは年齢差のある顔を0.54の再現率でしか当てられず、顔エンコーダなら0.81に届く。逆に文脈に接地していないエンコーダは、二人が写る場面の指示対象を0.05でしか認識できない。両者を組み合わせると正しい領域のオラクルに対して0.96に達し、複数話者の音声や動画にも一般化した。認識の中核は訓練不要で、凍結したモデルに対して登録コストが定数のままエンコーダの再現率を再現する。12ドメイン・1080タスクのPerceptMemで評価すると、知覚的な同一性は容量律速で、厳密な事実は結び付け律速という異なる性質を持つ。ゆえに同一性はパラメトリックなバンクへ、事実はテキストストアへ置くと両者はきれいに合成でき、ユーザーが何を言ったかだけでなく、その人がどんな人かも思い出せるエージェントになる、という主張である。

論文2: 幻覚の信号は平均のずれである — なぜ単純なプローブで十分なのか

この論文を選んだのは、幻覚検出のプローブが年々複雑化している流れに対し、検出信号の幾何を統制実験で切り分け、単一の平均シフト成分がほぼすべてだと示した点が明快だからである。著者はイ・ジョンソプ氏らの研究チーム。7B規模の3モデルと3つのデータセットを、対にした事例のパラダイムで調べた。隠れ状態のプローブは幻覚をよく検出するが、その信号は圧倒的に単一の平均シフト成分に支配されており、その方向を取り除くと検出は偶然の水準まで崩れる。収縮推定を入れた線形判別分析は、一次元の分類器と全次元の分類器の差の約73パーセントを埋める。つまり見かけ上のアーキテクチャの複雑さは、利用できる非線形性というより、高次元の共分散推定の難しさを反映しているにすぎない。

具体的な数値では、L2正則化したロジスティック回帰が曲線下面積0.952を出し、統制された12種のアーキテクチャ的な代替案の性能を下限として抑える、あるいは上回る。複数層を束ねる集約は、パラダイムをそろえた比較で層をまたぐアテンション型プローブを超えた。さらに信号は連続した層の帯に広がっているため、LayerMixと呼ぶ集約はオラクルの層を知らなくてもオラクル層の性能に並ぶ。著者らは、これらの主張はあくまで統制された対事例パラダイムの内側で幾何を特徴づけたものだと範囲を明示している。過度に凝った検出器を作る前に、まず一次元でどこまで説明できるかを問い直すべきだという含意である。

論文3: 置き換えの幻想 — 基盤モデル時代に専用機械学習モデルを問い直す

この論文を選んだのは、「言語ベースのモデルが構造化データ向けの専用アーキテクチャを置き換えられるのか」という広く語られる問いに、2016年から2026年までの159本、9つのモダリティを横断するレビューで正面から答えているからである。著者はキヤン・レザイー氏。予測精度だけでなく、構造の表現と計算を軸に据える点が特徴で、タスクを解くことと、タスクを扱いやすくしている構造を保持し計算することを明確に区別する。既存のアプローチを、言語のみのシステムから完全な専用アーキテクチャまで8つの表現レジームに整理した。

言語を介したモデルが強く競えるのは、極端な少数ショット予測、離散化された記号的タスク、テキスト注釈つきの知識グラフ、大規模な単一モダリティ事前学習といった特定の設定である。しかし精度ではなく構造の表現や計算そのものを直接評価すると、一般的な意味でのアーキテクチャの置き換えを支持する証拠は見つからなかった。むしろ独立した研究コミュニティに共通のパターンがある。言語だけでは不十分なとき、欠けた構造がグラフモジュール、構造トークン、専用のアテンションといった非言語的な部品として再導入されるのだ。専門化は消えるのではなく居場所を移すにすぎない。スケールで言語ベースのモデルの性能は上がるが、構造を意識したアーキテクチャとの差を最終的に消せるかは未検証だと結んでいる。

論文4: 認識と拒否のずれ — 言語モデルはなぜ構造的に答えられない問いに答えるのか

この論文を選んだのは、言語モデルが「答えの定義できない問い」に自信をもって答えてしまう現象を、認識の欠如なのか、認識から棄権への配線の失敗なのかという切り分けで捉え直しているからである。著者はドゥ・ユーチェン氏とフー・シーヤン氏。マイナス540度の余接を計算する、あるいは数値の1に文字列メソッドを適用するといった構造的に答えられない問いを対象に、1.7Bから70Bまでの指示調整済みモデルを調べた。隠れ状態の中の単一の線形方向が、答えられる問いと構造的に不可能な数学・コードの問いを分離する。つまりモデルは生成の前に不可能性を表現できている。

ところが、この認識の方向は、有害内容の学習済み拒否を仲介する正準的な安全拒否の方向とほぼ直交していた。振る舞いで定義した不正性を意識する方向は認識により近いものの、部分的にしか揃っておらず、安全拒否とはやはりほぼ直交のままである。生成時に認識の方向へ沿って介入すると、構造的な数学・コードの事例で不正性を意識する振る舞いが双方向かつ用量反応的に変わり、ランダムな方向では変わらない。基盤モデルと指示調整版の比較から、この低い余弦の幾何は事前学習の終点ですでに存在している。したがって、不可能な問いに自信を持つ失敗は、符号化の失敗というより配線の失敗として説明できる。モデルは「認められる答えがない」という使える信号を持っているのに、安全拒否の経路がそれを使うように揃っていないのだ。

論文5: 大規模言語モデルは人気の選択肢を体系的に好む — 多肢選択における証拠と緩和

この論文を選んだのは、多肢選択が言語モデル評価の標準形式であるにもかかわらず、選択肢の「人気」が評価を交絡させるという盲点を、統制ベンチマークで体系的に切り出しているからである。著者はアブデルラフマン・アブダラ氏らの研究チーム。現代の言語モデルは、人気だが誤りの選択肢を、人気の低い正解より体系的に好む。著者らはこれを人気バイアスと呼ぶ。このパターンは自信の誤較正と一致していて、人気の選択肢では正解率が崩れてもモデルの自信は高いままである。現象を分離するために、正解を固定したまま選択肢の人気度を変える6つの統制戦略からなるPopMCQを用意した。

最も敵対的な設定、すなわちすべての誤答候補が正解より人気である場合、モデルは66パーセントの割合で人気だが誤った答えを選んだ。緩和策のPopDebiasは、モデルの予測から人気の事前分布を推定して差し引く軽量な推論時補正である。ファインチューニングは不要で、テスト時はラベル不要、小さな較正用の分割でパラメータを合わせるだけでよく、計算コストの増加はごくわずかだ。0.5Bから32Bまでの22個のオープンソース言語モデルで一貫した改善が見られ、強い人気圧のもとでは正解率が最大54.1ポイント向上した。評価スコアが選択肢の作り方に左右されうるという、ベンチマーク設計に直結する指摘である。

論文6: 言語モデルのウェブエージェントに単純なテスト時環境を学ばせる

この論文を選んだのは、手作りの環境では優秀なのに現実の複雑な環境で性能が崩れるエージェントの問題を、テスト時に環境の観測そのものを分解して学ぶという角度で扱っているからである。著者はリ・ジュンシュアン氏らの研究チーム。従来はこの劣化を、単純でよく構造化された環境の組み合わせに対する言語モデルの合成的一般化の欠如として説明してきた。本研究は、ウェブエージェントがテスト時に単純な環境観測を学べると提案する。具体的には、複雑な環境観測をサブモジュールへ分解するための試行ステップを導入し、推論中に経験で振る舞いを適応させるラベル不要の手法、テスト時環境分解を実装する。

合成ベンチマークと現実的なベンチマークの双方で評価した結果、二つのことが示された。第一に、より単純なサブ環境で得た経験の利得は、効果的に合成されて完全な環境での性能を高める。第二に、サブ環境でのテスト時学習は、現実のウェブ自動化タスクにおけるエージェントの合成的一般化を大きく向上させる。著者らはラベル不要の学習アルゴリズムの設計上の要点も報告し、より複雑な環境がエージェントに開かれていくなかで、環境を分解する技能をテスト時に学ぶことが頑健な実運用に不可欠になると述べている。

論文7: 科学的な方程式発見のためのテスト時スケーリング

この論文を選んだのは、テスト時スケーリングの研究が数学やコードのような閉じたタスクに偏るなか、方程式発見という開いた設定へ持ち込み、計算資源の配分という共通の視点で既存手法を統一している点が発想として新しいからである。著者はリン・ハオウェイ氏らの研究チーム。方程式発見では、モデルが候補となる方程式の空間を探索し、観測データからのフィードバックに頼る。著者らは言語モデル駆動の方程式発見を反復的な探索過程として定式化し、ベストオブエヌ、逐次的な改良、木探索、進化的な手法を、計算資源の配分という一つの見方のもとにまとめた。プロンプトの工夫などのヒューリスティクスから配分の効果を切り離すため、固定予算のもとで最小限の並列コントローラを比較する。

方程式発見のベンチマークで調べると、探索の幅が支配的な配分パラメータだった。掃引の中で最良の幅は計算予算とともにおおむね増加し、集団と分岐の割り振りやコントローラの選択の影響は小さい。適切な幅の選択は並列度を上げることで実時間の効率も改善する。これらの結果は、情報量のある検証器があるなら、探索と活用の制御こそが言語モデルによる方程式発見のスケーリングの中心だと示唆している。閉じたタスクで得られた直感が、開いた探索設定でどこまで通用するかを測った研究である。

論文8: グリーンベンチ — アップルシリコン上のオープンソース言語モデル推論の電力効率と炭素排出を測る

この論文を選んだのは、グリーンAIの研究がデータセンターのGPUや組み込みプラットフォームに集中し、統合メモリを持つアップルシリコン上の推論の電力プロファイルがほぼ未調査だった空白を、実測で埋めているからである。著者はラジェスワリ・カンナン氏らの研究チーム。グリーンベンチは、3Bから9Bのオープンソース言語モデル5個を、3つの自然言語処理タスクにわたり、48GBの統合メモリを積んだアップルのM4プロ上で、電力効率、スループット、炭素排出の観点から評価する枠組みである。電力はmacOSのpowermetricsで直接測り、時間計測はOllamaのナノ秒精度のタイマーを使う。

測定では、M4プロは持続的な推論の間にCPUとGPUのパッケージ電力をわずか0.47ワットしか引かず、システム全体でも8から12ワットで、単一ユーザー運用ではトークンあたりの電力効率がデータセンターGPUより30から40倍良かった。3Bから3.8Bの小型モデルは、7Bから9Bのモデルに比べてスループットが2.6から4.2倍高く、トークンあたりの電力が最大62パーセント少ない。パレート分析では、Qwen 2.5の7Bが正解率57パーセントのMMLU、毎秒59トークンで精度と効率の最良の折り合いとされ、Llama 3.2の3Bは毎秒175トークンで遅延が重要な用途に向く。著者らはパッケージとシステムの両水準でトークンあたりの電力を、インドと米国の電力網に対する二酸化炭素の見積もりとともに提供している。

論文9: ルートスパース — 予算制約つき長文脈プリフィルのための入力条件つきパターン振り分け

この論文を選んだのは、長文脈プリフィルの二乗コストを重みを変えずに下げる動的疎注意で、頭ごとに1つのパターンを固定する主流の設計の前提を崩し、入力ごとにパターンを切り替える点が着眼として新しいからである。著者はチャン・チャオ氏らの研究チーム。既存のMInferenceは各アテンション頭に1つのパターンをオフラインで割り当て、プロンプトごとにそのパターンの疎なインデックスを推定する。効率的だが、頭の好むパターンと疎性の予算が入力をまたいで適切なままだと仮定している。ルートスパースは、各頭とプロンプトの区間を、GPU効率の良い疎パターンの小さなライブラリの中で振り分ける。低コストのプローブがパターンの有用性と不確かさを見積もり、遅延を意識したルータがパターンと予算を選び、不確かな場合はより密なマスクへ退避する。

著者らは振り分けを制約つきのリスク最小化として定式化し、省いた確率質量から注意出力の誤差証明書を導く。長文脈の検索、質問応答、要約、言語モデリングで評価した。Llama 3.1-8B-Instructで12万8千トークンのプロンプトを与えると、ルートスパースは密なプリフィルに対して6.5倍の速度で、密な注意と比べたベンチマーク指標の低下は0.2ポイントにとどまる。これに対し頭ごとに固定する振り分けは7.3倍と速いが1.6ポイント低下する。アブレーションにより、入力条件つきの振り分け、ハードウェアのプロファイリング、選択的な密マスクへの退避が、それぞれ品質と遅延の折り合いに寄与することが確かめられた。

論文10: 深層リサーチの報告執筆を、忠実さのために作り直し監査する

この論文を選んだのは、深層リサーチシステムのルーブリック評価が細かな事実の誤りを覆い隠すという実務的な弱点を、主張単位の監査という具体的な道具で可視化し、執筆器だけの差し替えで大きく改善している点が実装上おいしいからである。著者はハヤシ・ヒロアキ氏らの研究チーム。クレイムプローブは、深層リサーチの報告を主張へ分解し、取得した証拠に照らして幻覚、誤帰属、引用の衛生、必要な事実の再現率を測る主張単位の監査である。これを使うと、強力な深層リサーチのパイプラインでも、ルーブリックのスコアが安定したまま鍵となる証拠を落とし、主張を誤って帰属させることがわかった。

そこで著者らはクレイムライターという階層的な主張ベースの執筆器を提案する。まず情報源の事実を抽出し、それをクエリから導いた見出しへ対応づけ、各節を情報源に結び付いた主張の表現から起草する。3つの既存の深層リサーチの枠組みで、報告の執筆器だけをクレイムライターに置き換えると、幻覚が2.6倍から4.5倍減り、必要な事実の再現率が1.2倍から1.7倍上がり、報告全体の品質はおおむね保たれた。さらに局所的な改訂も可能で、情報源が変わったときに、変更された情報源の事実を改訂版の報告へ伝播させる割合が更新手法の中で最も高く、費用対効果でも優れていた。

参考ソース

• 論文1 Parametric Multimodal User Memory: Storing What Captions Cannot Carry. arXiv:2608.28609 (2026).
• 論文2 The Hallucination Signal Is a Mean Shift: Why Simple Probes Suffice. arXiv:2608.28930 (2026).
• 論文3 The Illusion of Replacement: Rethinking Specialized Machine Learning Models in the Foundation Model Era. arXiv:2608.28980 (2026).
• 論文4 Recognition-Refusal Misalignment in LLMs: Why Models Answer Structurally Unanswerable Questions. arXiv:2608.29109 (2026).
• 論文5 Large Language Models Systematically Favor Popular Options: Evidence and Mitigation Across MCQs. arXiv:2608.29257 (2026).
• 論文6 Learning Simple Test-Time Environments for LLM Web Agents. arXiv:2608.29305 (2026).
• 論文7 Test-Time Scaling for Scientific Equation Discovery. arXiv:2608.28660 (2026).
• 論文8 GreenBench: Benchmarking Energy Efficiency and Carbon Footprint of Open-Source LLM Inference on Apple Silicon. arXiv:2608.28667 (2026).
• 論文9 RouteSparse: Input-Conditional Pattern Routing for Budgeted Long-Context Prefilling. arXiv:2608.29058 (2026).
• 論文10 Redesigning and Auditing Deep Research Writing for Faithful Reports. arXiv:2608.28643 (2026).