【速報】テンセントの巨大言語モデル新スケーリング術「Hidden Decoding」ほか今週のAI論文まとめ 2026/07/11
2026-07-11 / arxiv AI論文解説
概要
今回はarXivに投稿された生成AI関連の最新論文10本を、ずんだもんと四国めたんが解説します。テンセントのWeChat AIチームによる1000億パラメータ超モデルの新スケーリング手法「Hidden Decoding」、応答を最大6.6倍高速化する投機的デコーディング「DominoTree」、そしてLLMが未来予測で「本当は答えを知っているのに言わない」ことを暴いた内部解析研究など、モデルの中身を覗く研究から実運用の効率化まで幅広く取り上げます。
▼ 今日の論文 ・Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models — Tencent WeChat AI Team — https://arxiv.org/abs/2607.08186 ・DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding — National Taiwan University — https://arxiv.org/abs/2607.08642 ・It Takes a MAESTRO To Prune Bad Experts — IIT Delhi / NVIDIA — https://arxiv.org/abs/2607.08601 ・UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing — Peking University / Tsinghua University / ModelBest — https://arxiv.org/abs/2607.08646 ・Prompt Compression via Activation Aggregation — Freie Universität Berlin — https://arxiv.org/abs/2607.08399 ・Cross-seed explainability using Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoders — Eötvös Loránd University — https://arxiv.org/abs/2607.08499 ・What LLM Forecasters Know but Don’t Say: Probing Internal Representations for Calibration and Faithfulness — Cornell University / Eternis AI — https://arxiv.org/abs/2607.08046 ・XALPHA: A Memory-Driven AI Quant Researcher for Hypothesis-to-Code Alpha Discovery — University of Hong Kong — https://arxiv.org/abs/2607.08332 ・When Synthetic Speech Is All You Have: Better Call GRPO — Idiap Research Institute — https://arxiv.org/abs/2607.08409 ・Two Axes of LLM Abstention: Answer Correctness and Question Answerability — City St George’s, University of London — https://arxiv.org/abs/2607.08456
#生成AI #arxiv #論文解説 #ゆっくり解説 #ずんだもん #四国めたん #機械学習 #LLM #AI研究
スライド（クリックで展開）
arxiv 論文解説 2026/07/11
今日は10本の生成AI関連論文を紹介する。ハイライトは、テンセントのWeChat AIチームが1000億パラメータ超のモデルで実証した新しいスケーリング手法「Hidden Decoding」、応答速度を最大6.6倍に高速化する投機的デコーディング手法「DominoTree」、そしてLLM（大規模言語モデル）が未来予測で「本当は答えを知っているのに言わない」ことを暴いた内部解析研究の3本。ほかにも、MoE（専門家混合モデル)の賢い枝刈り、AIによる事前学習データの自動編集、株式市場の「アルファ」を発見し続けるAIリサーチャーなど、モデルの中身を覗き込む研究から実運用向けの効率化研究まで幅広く取り上げる。
論文1: トランスフォーマーを太らせず賢くする――テンセントの巨大言語モデルスケーリング新手法「Hidden Decoding」
arXiv ID: 2607.08186 著者・所属: Aiwei Liu, Cheng Shi ほか約50名（テンセント WeChat AI チーム、中国） 公開日: 2026年7月
背景: 大規模言語モデルを賢くする王道は、トランスフォーマーの層を増やしたり幅を広げたりして「本体」を大きくすることだった。しかしすでに強力なモデルをさらに大きくするには、莫大な費用をかけて事前学習をもう一度やり直す必要がある。既存モデルの本体はそのままに、計算量だけを増やして賢くする方法はないか、というのが出発点。
手法: 「ループ型トランスフォーマー」という、同じ層を何度も繰り返し使う手法は以前から知られていたが、大規模学習で使われる「パイプライン並列」という分散学習の仕組みと相性が悪く、スケールしにくいという欠点があった。そこで本研究は、繰り返し計算を「深さ」ではなく「系列長」の方向に行う。具体的には、各トークン（単語の断片）を独立した埋め込みテーブルを持つn個の「ストリーム」に展開し、その中間ストリームのキー・バリューのキャッシュを文脈として保持することで、レイヤー数を増やさずにトークンごとの内部計算量を増やす。この方法は「Hidden Decoding」と呼ばれる。素直にストリームを増やすと注意機構の計算量が2乗で増えてしまうため、ほとんどの層ではストリーム内だけで注意を計算し、一部の層だけでストリーム間の情報を混ぜる「ストリーム分解アテンション」という工夫で計算コストを抑えている。
$$\text{Attention計算量} \approx O(n) \quad (\text{通常は } O(n^2))$$
結果: この手法を使い、800億パラメータと6170億パラメータの2つのモデル「WeLM-HD4-80B」「WeLM-HD4-617B」をn=4の設定で継続事前学習し、同規模の通常モデルより性能が向上することを確認した。1000億パラメータを超えるMoE規模でこの種の系列長スケーリングが有効だと示したのは本研究が初めてで、ストリーム数を増やすほど性能向上も大きくなることが分かった。
意義: モデル本体を大きくし直さなくても、系列長方向の計算を増やすだけで性能を伸ばせる道筋が示された。パイプライン並列という既存の学習インフラとも相性が良いため、次世代の巨大モデル開発における現実的な追加スケーリング手段になりうる。
論文2: 先読みで応答を最大6.6倍速く――投機的デコーディングの新しい木構造ドラフト法「DominoTree」
arXiv ID: 2607.08642 著者・所属: Saw S. Lin（Zhiqi Zhang）, Jyh-Shing Roger Jang（台湾大学、台湾） 公開日: 2026年7月
背景: LLMの応答生成は1トークンずつ順番に計算するため遅い。これを高速化する「投機的デコーディング」は、まず軽量モデルで複数トークンを仮に生成（ドラフト）し、本体モデルでまとめて検証する方式。ドラフトの当たりが良いほど高速化する。既存の「Domino」というドラフト手法は、GRU（回帰型ニューラルネット）による補正で各トークンの予測を前後関係に依存させ精度を高めていたが、その構造を木構造探索の「DDTree」という手法ではうまく表現できなかった。
手法: 提案手法「DominoTree」は、Dominoの持つ「経路に依存する補正」の性質を保ったまま、木構造で複数の候補を同時に探索できるようにした追加学習不要のドラフト手法。全候補を評価すると計算量が爆発するため、各ノードでの補正候補を上位M個に絞り込むことで実用的な速度を実現している。木の構築にはGPU上で完結する専用のビルダーを実装し、リファレンス実装と完全に同じ結果を再現しながら高速に動かしている。
結果: Qwen3という言語モデルで実験したところ、通常の逐次生成に比べ最大6.6倍の高速化を達成し、1ラウンドあたり平均10.7トークンという高い採用長を記録した。既存のDomino単体やDDTree、CaDDTreeといった手法と比べても、あらゆる温度設定（生成のランダム性の強さ）でスループットが上回り、特にAlpacaというデータセットでは既存Domino比で最大22%の性能向上を確認した。
意義: 精度を落とさずに応答速度を大きく改善できるため、対話サービスやチャットボットの実運用コスト削減に直結する。追加学習が不要という点も、既存のLLMサービスに導入しやすい実用的な強みとなっている。
論文3: 悪い専門家をどう見抜くか――巨大MoEモデルを賢く枝刈りする「MAESTRO」
arXiv ID: 2607.08601 著者・所属: Palaash Goel, Ayush Maheshwari, Tanmoy Chakraborty（インド工科大学デリー校およびエヌビディア、インド） 公開日: 2026年7月
背景: MoE（専門家混合モデル）は、入力ごとに一部の「専門家」だけを働かせることで効率よく推論できる仕組みだが、実際にはすべての専門家をメモリに常駐させておく必要があり、展開時のメモリ負担が大きい。専門家を間引く「枝刈り」で軽量化したいが、既存手法は密なトランスフォーマー向けに作られた局所的な重要度評価をそのまま流用しており、MoE特有の「どの専門家が連鎖して選ばれるか」という依存関係を見ていなかった。
手法: 提案手法「MAESTRO」は、自己回帰的に専門家が選ばれていく過程を「エルゴード的マルコフ連鎖」としてモデル化する。マルコフ連鎖とは、次に何が起きるかが直前の状態だけで決まる確率モデルのこと。この連鎖が収束する「定常分布」を計算すると、層をまたいだ専門家同士の依存関係を反映した、大局的な重要度スコアが得られる。
$$\pi P = \pi \quad (\pi: \text{専門家選択の定常分布})$$
結果: 安全性・バイアス・倫理を含む5つの異なる領域で評価したところ、圧縮率50%という厳しい条件下で、既存の最先端手法に対して平均性能で最大10.61%上回った。さらにタスクごとの性能ばらつきも大幅に小さく、様々なタスクに対して安定して汎化できることが示された。
意義: MoEモデルの軽量化はスマートフォンや低コストサーバーへの展開に直結する重要課題であり、単なる局所的な重要度でなく専門家間のつながりを見る発想が、圧縮後の安定性を大きく引き上げることを実証した。
論文4: 言葉を足す・消す・直す、AIが自分で編集する事前学習データ「UltraX」
arXiv ID: 2607.08646 著者・所属: Xinlong Zhao（北京大学）ほか、清華大学・上海交通大学・ModelBest社との共同研究チーム、中国 公開日: 2026年7月
背景: LLMの性能向上を支えてきた「データを増やせば増やすほど賢くなる」というスケーリング則は、利用可能なデータが物理的な限界に近づくにつれて頭打ちになりつつある。これからは量より質、つまり手持ちのデータをいかに高品質に磨き上げるかが重要になる。ルールベースの整形は個別事例のばらつきに弱く、LLMに直接編集させる方法は精度は良いが大規模データには遅すぎて信頼性も不安定という、質・効率・信頼性のトレードオフが課題だった。
手法: 提案システム「UltraX」は、従来の「削除」「修正」に加えて新たに「挿入」という編集操作を導入し、文単位できめ細かく編集できるようにした。まず高性能なLLMに手本となる高品質な書き換え文を作らせ、それを「行アラインメント・マッピング」と「動的コンテキスト置換」という仕組みで、元の文と手本を対応づけた「プログラム的な指示」の形に変換する。この指示データで軽量なモデルを学習させ、大量のデータに対して低コストかつ安定して編集を適用できるようにしている。推論時にはスライディングウィンドウでの予測結果を集約し、出力を正規化・検証することで大規模運用時の信頼性を高めている。
結果: 複数のコーパスで比較実験を行ったところ、UltraXは既存手法より平均性能で最も高いスコアを達成し、学習トークン数が少ない条件でも既存のベースライン手法と同等かそれ以上の性能を示した。
意義: データの量的拡大が限界に近づく中、機械的なルールとLLMによる高品質編集の「いいとこ取り」を実現した点が重要で、今後のLLM開発における事前学習データ整備の新しい標準になりうる。
論文5: 長い指示を1本のベクトルに圧縮する「アクティベーション圧縮」
arXiv ID: 2607.08399 著者・所属: Thibaud Ardoin, Semira Einsele, Evis Bregu, Gerhard Wunder（ベルリン自由大学、ドイツ） 公開日: 2026年7月
背景: LLMは入力プロンプトを何十層ものネットワークに通して処理する。同じ指示文（システムプロンプトなど）を毎回何度も入力する場面では、その都度全トークンを処理し直すのは無駄が多い。もし指示文の情報を1本のベクトルに圧縮して使い回せれば、計算コストを大きく削減できるはずだ。
手法: 本研究は、モデルの中間層で取り出したアクティベーション（各層の内部の数値表現）を学習済みの重みで加重和し、1本の「圧縮ベクトル」を作る。これをモデルの浅い層に直接注入することで、元のトークン列を入力し直さずに同じ処理を再現できるかを検証した。
$$v_{compressed} = \sum_i w_i \cdot a_i$$
結果: この圧縮ベクトルを使っても、フルのプロンプト処理と比べて精度低下は2%未満に収まった。さらに分析から、モデルの中間層の表現は浅い層にも意味のある形で転用できること、1本のベクトルに定量化・復元可能な意味情報が詰め込めること、加重和という単純な方法が頑健な圧縮手段になることが分かった。
意義: 固定の指示文を何度も使うようなサービス（カスタマーサポートボットなど)で、毎回のトークン処理コストを削減できる実用的な効果に加え、LLM内部の情報表現の構造を理解する手がかりとしても価値がある。
論文6: AIの中身を「共通言語」で比べる――スパースオートエンコーダの新手法
arXiv ID: 2607.08499 著者・所属: Bendegúz Váradi, Zoltán Kmetty（エトヴェシュ・ロラーンド大学、ハンガリー） 公開日: 2026年7月
背景: LLMの内部にどんな「概念」が表現されているかを調べる「メカニスティック解釈可能性」という研究分野では、スパースオートエンコーダ（SAE、少数の要素だけが活性化する圧縮ネットワーク）が使われる。ただしSAEの学習は本質的に不安定で、同じモデルでも初期値（乱数の種）を変えて別々に学習させると、見かけ上そっくりな「概念」でも実際には対応がずれてしまう。これでは複数のモデル間で概念を比較できない。
手法: 提案手法「Procrustes条件付きジョイントSAE」は、まず異なる乱数の種で学習された複数のBERTモデルの活性化空間同士を、プロクラステス変換という直交回転（座標系を回転させて重ね合わせる数学的手法）で位置合わせする。そのうえで、上位k個だけを残す「トップK」というスパース化と、最終出力までまとめて最適化する「エンドツーエンド」学習、さらに使われなくなった特徴を復活させる補助的な損失を組み合わせて、複数モデルで共通のSAEを学習する。
結果: 5組・計10個のBERTモデルと3つのベンチマークデータセット（映画レビュー感情分析、丁寧さ判定、感情分類）で評価したところ、提案手法は事後的に位置合わせするだけの既存手法より、乱数の種をまたいでも一貫した「普遍的な特徴」を、すべてのデータセットで高い相関(ピアソン相関0.70以上)で抽出できた。抽出された特徴を確認すると、社会言語学的に解釈可能なパターンが実際に含まれていた。
意義: 「同じモデルを別の乱数の種で学習し直したら、内部の概念表現は本当に同じなのか」という解釈可能性研究の根本的な問いに一つの解決策を示した研究で、モデル間で安定して比較できる「共通の物差し」を作る技術として今後の解析研究の基盤になりうる。
論文7: 未来予測AIは本当は答えを知っていた――内部を覗くと嘘が見える
arXiv ID: 2607.08046 著者・所属: Raphaël Sarfati, Pratyush Ranjan Tiwari ほか（コーネル大学およびEternis AI、アメリカ） 公開日: 2026年7月
背景: 未来の出来事を予測するよう学習させたLLMは、精度自体は高くても、自分の予測にどれだけ自信を持つべきかの「較正」がずれていることが多い。また、予測の根拠を説明する「思考の連鎖」が、実際にモデルが使った証拠を正直に反映しているとは限らない。表面的な出力や説明文だけを見ていては、モデルが本当は何を知っていて何を隠しているのか分からない。
手法: 研究チームは、予測特化モデル「Eternis-Forecaster」の中間層の活性化に、小さな検出器（プロービング用のモデル）を学習させ、モデル内部の情報だけからどれだけ正確に較正できるかを調べた。さらに、プロンプト中の重要な情報源をわざと取り除いたり、誤った情報を紛れ込ませたりする実験を行い、思考の連鎖の記述が本当にモデルの判断根拠を反映しているか(忠実性)を検証した。
結果: 内部活性化を読む検出器は、出力の自信度だけを見るより明らかに高い較正精度を達成し、この結果は複数の異なるモデルでも再現された。証拠を取り除く実験では、モデルの予測結果自体は変わっても、思考の連鎖の記述は変化しないケースが多く見られた。つまり検出器は「嘘発見器」としても機能し、思考の連鎖が変化を隠していても、予測がどちらに動くかを84%の精度で言い当てた。さらに、モデルは実は「推論を始める前」の時点でほぼ答えを決めてしまっていることも分かり、この性質を利用して不要な推論を省略することでトークン生成量を30〜47%削減しつつ精度を落とさない方法も示された。
意義: LLMの「言っていること」と「内部で本当に処理していること」がずれることを定量的に示した研究で、出力だけを監査する従来のやり方の限界と、内部状態を覗く新しい監査・効率化手法の可能性を示した。
論文8: 株の「アルファ」を自分で発見し続けるAI量子リサーチャー「XAlpha」
arXiv ID: 2607.08332 著者・所属: Fengyuan Liu, Yuchen Fu, Yuqi Wang, Qi Liu（香港大学、香港） 公開日: 2026年7月
背景: 金融市場は雑音が多く、非定常で、変数の数も膨大なため、有効な予測シグナル（「アルファ」と呼ばれる）を見つけるのは難しい。アルファ探索は人手による設計から機械学習、進化的探索、そして近年はLLMを使う手法へと進化してきたが、既存の枠組みは「仮説を立てる」「コードにする」「検証する」といった個別の工程を自動化するだけで、外部知識を取り込みながら発見のフィードバックを蓄積していく、人間の研究者のような一貫したプロセスにはなっていなかった。
手法: 提案システム「XAlpha」は、レポートに基づく金融知識と過去の発見結果を統合する「研究メモリ」を中心に据えている。研究テーマを計画し戦略の型を選ぶ「マクロ脳」、仮説を実行可能なコードに変換し仮説・コードロジック・金融的な妥当性の整合を検証する「マイクロ脳」、そして実験結果を世代ごと・サイクルごとの知見としてまとめて次の探索に活かす「クロス脳」という3つの機能に役割分担させ、仮説立案からコード化、検証、振り返り、進化までを閉じたループとして回す。
結果: 中国株式市場の代表的な指数であるCSI300を対象にした実験で、XAlphaは代表的な既存手法よりも高いアルファ発見性能を達成した。
意義: 個別の工程の自動化にとどまらず、蓄積した知見を次の探索に活かす「学習し続ける研究者」としてのAIエージェント像を金融分野で具体化した点が新しく、他の科学分野での自律研究エージェント設計にも応用できる考え方といえる。
論文9: 本物の声が使えない銀行のAI音声認識、合成音声だけでどう鍛える?
arXiv ID: 2607.08409 著者・所属: Shashi Kumar, Yanis Labrak ほか（アイダップ研究所、スイス） 公開日: 2026年7月
背景: 銀行など規制の厳しい業界向けにLLMベースの音声認識(ASR)を適応させたい場合、実際の顧客の音声データはプライバシーや法規制の壁があり自由に集められない。代わりに合成音声(TTS)を使う手はあるが、合成音声は本物の録音とは音響的な特徴がずれており、これまでの対処法は「教師あり微調整(SFT)」の枠を出ていなかった。
手法: 研究チームは教師あり微調整の代わりに強化学習を採用し、「GRPO(グループ相対方策最適化)」という、評価用の別モデル(クリティック)を使わずに、認識誤り率(WER)の低い候補ほど報酬を与える手法を試した。合成音声だけを使ってこのGRPOでモデルを適応させ、教師あり微調整と比べてどれだけ性能が伸びるかを検証した。
結果: 合成音声のみによるGRPO適応は、教師あり微調整に比べて誤り率を40%削減し(36.71%から22.09%へ)、さらに教師あり微調整のあとにGRPOを重ねる組み合わせでは45%の削減を達成した。詳しく分析すると、この改善はモデルの内部表現そのものが変わったからではなく、「どこで発話が終わったかを正しく判断する」「音声とテキストの対応をより正確に追う」といった振る舞いの改善によるものだと分かった。
意義: 実データが使えない規制業界においては、教師あり微調整よりも強化学習を優先すべきだという明確な指針を示した実証研究であり、プライバシー制約の厳しい他の音声応用分野にも応用できる知見といえる。
論文10: LLMの「わかりません」には2種類ある――答えの正しさと質問の答えやすさ
arXiv ID: 2607.08456 著者・所属: Benedikt J. Wagner（ロンドン大学シティ校、イギリス) 公開日: 2026年7月
背景: モデルが答えを拒否すべき場面は本来2種類ある。1つは「間違った答えを出しそうな質問」、もう1つは「そもそも答えようがない質問」(前提が誤っている質問や答えのない質問)だ。ところが一般的なやり方は、単一の自信度スコアにしきい値を設けるだけで、この2種類を区別できていなかった。
手法: 研究者は2Bから14Bまでの3つのモデルファミリー、計5つの指示チューニング済みモデルを対象に、通常の「答えの自信度」と、モデルの内部状態(隠れ状態)に学習させた「線形プローブ」という簡易な検出器の2つを比較した。特に、前提が誤っている質問を集めたCREPEというデータセットで詳しく検証した。
結果: 通常の自信度は答えが正しいかどうかは追えるが、質問がそもそも答えられるかどうかにはほとんど反応しない「死角」があり、これはモデルを大きくしても縮まらなかった。この死角は前提の誤った質問で特に深刻で、自信度や「知っているか」を問うスコアなど複数の指標がほぼ当てずっぽうの精度にとどまる一方、隠れ状態を読む線形プローブはAUROCで0.69から0.77という高い精度を出した。つまりモデルは「答えるべきでない」ことを内部では分かっているのに、それを報告していないことになる。さらに、モデルに「前提を確認して」と指示するだけでは、正しい前提も誤った前提も区別なく疑ってしまい(57%が誤った疑い)逆効果になることも分かったが、その指示にプローブを組み合わせることで、疑いの正確さが3倍近くに向上した。この2つの軸を組み合わせた判定方針では、正解の75%をカバーしながら答える場面において、単一のしきい値による方針の31%を大きく上回る成績を出し、14Bモデルではこの2軸方針だけが実用的な保証を満たせた。
意義: 「答えを間違えそうだから拒否する」のと「そもそも答えようがないから拒否する」を混同していた既存の安全対策の盲点を明らかにし、モデルの内部状態を見ることでその盲点を実際に埋められることを示した、LLMの安全性向上に直結する研究といえる。