arXiv Frontier AI論文解説（2026年10月14日）

キーワード: データ最適の小型モデル / GQAからMLAへの変換 / 能力境界に沿った蒸留データ選択 / 分岐ロールアウトのオンポリシー蒸留 / サブリミナル学習の教師なし検出

特集「蒸留とオープンLLMの代表的アーキテクチャ」の9回目。アーキテクチャ側は、まだ扱っていないPhi系列からPhi-3の技術報告（2024年4月投稿）と、10月6日に読んだGQAとDeepSeek-V2のMLAを橋渡しするTransMLA（2025年2月投稿）を読む。蒸留側は、いずれも10月9日投稿の新着3本で、長い推論過程を1,000例で蒸留するためのデータ選択、オンポリシー蒸留のロールアウトを分岐させる方法、蒸留で教師の性質が意図せず移る現象を重みの更新から見つける方法を扱う。性能値は各論文が報告した評価条件に限定する。

オープニング：2026年10月14日 — arXiv Frontier AI論文解説

今日の5本は、限られた予算をどこへ配るかという問いでつながる。Phi-3はパラメータ数を増やす代わりに学習データの質と配分を調整し、TransMLAは学習済みモデルの重みを捨てずにKVキャッシュの形だけを組み替える。BoundaryEvoは蒸留に使う1,000例を生徒の成長に合わせて選び直し、BranchOPDは同じ生成予算を生徒が迷う位置の分岐に振り向ける。最後のStifleは逆向きの問いで、蒸留データの意味内容とは無関係に移ってしまう教師の性質を、ラベルなしで取り出せるかを調べている。

論文1: 38億パラメータでスマートフォンに載るファイ3

出典: Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. arXiv:2404.14219 (2024).

特集で取り上げてきたLlama・Gemma・Qwenが規模と学習トークン数で性能を伸ばしたのに対し、Phi系列はデータの質で小型モデルの性能を引き上げる別路線の代表であり、重みが公開されているため選んだ。マイクロソフトが2024年4月22日に投稿した技術報告で、新着ではない。中心のphi-3-miniは38億パラメータで3.3兆トークンを学習した。構成はLlama 2と同様のブロック構造と語彙32,064のトークナイザーを使い、隠れ次元3,072、32ヘッド、32層で、文脈長は4Kが既定、LongRoPEで128Kに伸ばした版もある。7Bのphi-3-smallは語彙100,352のtiktokenトークナイザー、GEGLU活性化、4本のクエリが1本のキーを共有するGQAを採り、さらにヘッドごとに異なる疎パターンでKVキャッシュを参照するブロック疎注意の層を密な注意の層と交互に置いた。phi-3.5-MoEは16個の専門家から上位2個を選ぶMoEで、総パラメータ420億、活性66億である。

学習の考え方は「データ最適の領域」と呼ばれる。計算最適や過学習寄りの領域でトークン数を決めるのではなく、所与の規模に対してデータの中身を調整する。公開ウェブデータを「教育的な水準」で強く絞り込み、LLMが生成した合成データを加え、事前学習を2段階に分ける。第1段階は主にウェブデータで一般知識と言語理解を、第2段階はさらに絞ったウェブデータと合成データで論理的推論と特定の技能を学ばせる。著者らは、ある日のサッカーの試合結果のような情報は大型モデルにはよい学習データでも、小型モデルでは推論に使う容量を残すために除くと説明している。社内の同一評価パイプラインで、phi-3-miniはMMLUが68.8%、MT-benchが8.38で、MMLUはMixtral 8x7Bの70.5%、GPT-3.5の71.4%に近い。4ビットに量子化すると約1.8GBになり、iPhone 14のA16チップ上で完全にオフラインのまま毎秒12トークン以上を生成した。

限界は著者ら自身が具体的に書いている。容量が小さいため事実知識を多く保持できず、TriviaQAは64.0%で、Mixtral 8x7Bの82.2%を大きく下回る。著者らは検索エンジンとの組合せで補えるとしている。同じデータで14Bのphi-3-mediumを学習すると、3.8Bから7Bへの伸びに比べて7Bから14Bへの伸びが小さいベンチマークがあり、データ配分がまだ14Bにとって最適ではない可能性を認めている。phi-3.5では128Kの文脈でRULERの性能が大きく落ち、中間学習の長文脈データ不足が原因と推測している。比較の数値はすべて社内の評価ツールで計測したもので、他所で公表された値とは異なりうる。

論文2: 学習済みモデルの注意をディープシーク型の潜在注意へ変換する

出典: TransMLA: Multi-Head Latent Attention Is All You Need. arXiv:2502.07864 (2025).

10月6日にGQAとDeepSeek-V2のMLAを、10月13日にKVキャッシュの因子分解を扱った流れで、「すでに大量の投資をしたGQAモデルをMLAへ移せるか」という実務上の問いに答える研究であり、変換コードが公開されているため選んだ。北京大学人工知能研究院を中心に、シャオミとテンセントの研究者が加わったチームが2025年2月11日に投稿し、その後改訂を重ねている。著者らはまず、同じKVキャッシュ量ならMLAのほうがGQAより表現力が高いことを理論的に示し、移行の根拠とする。変換の障害は、各ヘッドのキーにRoPEが掛かっていることにある。RoPEが残るとキーの上方射影をクエリ側へ吸収するAbsorbの操作ができず、圧縮したキャッシュを推論時に元の大きさへ戻す必要が出る。

TransMLAは三つの手順でこれを解く。RoRoPEは、キーの出力に主成分分析をかけ、全ヘッドの位置情報の主成分を最初のヘッドの次元へ集める回転である。著者らは、回転が全ヘッドで同じ次元の内部にとどまり、RoPEの実部と虚部を同じように回すという二条件を満たせば、注意スコアが変わらないことを証明した。FreqFoldは隣り合うRoPE次元の周波数が近いことを使って、この集約をさらに強める。残りの位置情報を持たない次元はバリューと合わせて低ランク分解するが、キーのノルムがバリューよりはるかに大きいため、そのまま主成分分析をするとバリューの情報が失われる。そこでノルムを揃えてから分解するBalanced KVを入れた。Llama 2のKVキャッシュを68.75%削減した場合、追加学習なしの性能低下は6ベンチマークで1.65%にとどまり、同時期の手法MHA2MLAの21.85%を大きく下回った。93%削減、つまり元の7.03%まで圧縮しても、MHA2MLAが31.25%に圧縮した場合より性能が高く、60億トークンの追加学習でほぼ元の性能に戻った。変換後のモデルはDeepSeekのコードとそのままに互換で、vLLM上では8Kの文脈長で最大10.6倍の推論高速化を測った。

限界として、主実験はsmolLM 1.7BとLlama 2 7Bの2モデルで、著者らもより広いモデルでの検証が必要だとしている。10.6倍は三つのハードウェア構成のうち一つで8Kの文脈長のときの最大値で、93%削減の学習前の出力は「意味のある応答を保つ」という定性的な評価にとどまる。著者ら自身、Balanced KVは単純なノルム合わせにすぎず、学習なしで変換を完結させるにはキーとバリューのノルムの差を扱うより強い数学的道具が要るとしている。

論文3: 生徒の能力境界に合わせて1000問を選び直す推論蒸留

出典: BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation. arXiv:2610.13285 (2026).

10月8日のDeepSeek-R1で扱った「大型の推論モデルの長い推論過程を小型モデルへ蒸留する」路線で、蒸留データを固定せず生徒の成長に合わせて選び直すという設計の転換を示した新着であり、1,000例という小さな予算で11ベンチマークを評価しているため選んだ。上海人工知能実験室、南京大学、同済大学、香港中文大学のチームが2026年10月9日に投稿した。出発点の問題意識は、既存手法が蒸留前に学習集合を固定するため、生徒がすでに解ける例は新しい信号をほとんど与えず、生徒の能力をはるかに超える例は学びにくいという点にある。一方、生徒が弱い初期段階では、どの例が境界にあるかを判定すること自体が不安定になる。

BoundaryEvoは2段階で動く。第1段階の能力の下地づくりでは、教師が生成した100本の長い推論過程を、別モデルによる判定や絞り込みをせずにそのまま蒸留する。早い段階での不完全な自動評価が、有用で多様な推論の型を捨ててしまうのを避けるためである。第2段階では、現在の生徒がまだ解けず、専門家モデルが安定して解ける問題を1,999問の候補から選び、検証済みの教師の推論過程で学習する。これを3回繰り返し、各回300例、合計1,000例を使う。生徒はQwen3.5-4B、教師の推論過程はDeepSeek-V3.2-Specialeから取り直し、境界の推定にはGPT-5.1による専門家の解答とGemini 3.5 Flashによる分析を使い、学習はLoRAによるSFTである。数学8ベンチマークの平均は、元の63.1から第1段階で67.7、3回の更新で71.2、73.3、76.4へ上がり、第1段階からの上積みは8.7ポイントだった。同じ第1段階のチェックポイントと予算で比べると、ランダムな選択より8.7ポイント、生徒の誤りから例を選ぶLLM2LLMより6.4ポイント高い。個別にはIMO-AnswerBenchが62.9から75.3、AMO-Benchが26.8から46.0になった。

限界として、1,000例という予算は生徒が学習する例の数であり、境界の推定にはGPT-5.1とGemini 3.5 Flashという強いクローズドモデルの呼び出しを繰り返している。学習に使うのは数学の問題だけで、一般推論の平均は75.2から77.4への伸びにとどまる。追加実験はQwen3.5-2BとGemma-4-E4B-itで、学習はLoRAに限られる。コードとデータは投稿時点では「公開予定」とされている。

論文4: 迷う位置で枝分かれさせるオンポリシー蒸留

出典: Branching On-Policy Distillation. arXiv:2610.13481 (2026).

10月6日以降、オンポリシー蒸留（OPD）を信号の重み付けや教師の準備の観点から扱ってきたが、この新着は「生徒にどの軌跡を生成させるか」という標本化の側を変えており、数学とエージェント課題の両方で評価しコードを公開しているため選んだ。清華大学、北京大学、センスタイムのチームが2026年10月9日に投稿した。OPDは生徒が生成した軌跡の各トークンに教師が分布の信号を与えるが、1本の軌跡は各判断点で一つの続きしか実現しない。有限の生成予算では、生徒がほかに選びえた行動に教師の信号が届かない。独立した軌跡を何本も生成すれば範囲は広がるが、共通の前半まで毎回生成し直すことになる。

BranchOPDは、生徒の予測エントロピーと教師・生徒の分布の食い違いを混ぜた指標で情報量の多い判断点を選び、その接頭辞を共有したまま生徒の方策から続きを再標本化し、本線と枝の両方にトークン単位の教師信号を与える。数学ではトークン単位、エージェント課題では1ターン内の判断で分岐させる。接頭辞を共有するため、独立した7本の軌跡と比べて生徒が生成するトークンはALFWorldで約19%、WebShopで約31%少ない。あわせて、解答後も生成を続ける反復や余計な書式トークンを抑える補助損失、プロトコル境界修復（PBR）を導入し、比較のため全手法にPBRを付けた。数学ではQwen3-8Bを教師、Qwen3-4B-Baseを生徒とし、エージェント課題では生徒Qwen3-4B、教師をALFWorldではQwen3-30B-A3B、WebShopとSearch-QAではその強化学習済みチェックポイントとした。全手法にPBRを付けた条件で、数学の平均（16回標本化の平均正答率）は44.37%となり、通常のOPDより5.43ポイント、独立7本のOPDより5.28ポイント高い。ALFWorldの成功率は通常のOPDの49.27%から56.54%に上がり、タスク報酬を使わずに教師の51.79%を4.75ポイント上回った。分岐位置をランダムにすると数学の平均は40.11%で、選び方そのものが効いている。

限界として、要旨にある数学18.55ポイントの改善はPBRなしの通常のOPDとの差で、分岐そのものの寄与は全手法にPBRを付けた条件の5.4ポイント前後と読むのが適切である。Search-QAでの改善は0.47ポイントにとどまり、効果は課題によって大きく異なる。1つの分岐点からの続きは2本で十分で、3本に増やしても伸びなかった。実験の大半はQwen3系列の組で、別系列はQwen2.5の7Bから3Bへの1組だけである。

論文5: 蒸留で無意識に移る性質を重みの更新から見つける

出典: Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning. arXiv:2610.13536 (2026).

10月8日に安全性のためのOPDがバックドアを移しうるという論文を扱ったが、この新着はより広く、意味的に無関係なデータを通じて教師の性質が生徒へ移る「サブリミナル学習」に対し、その性質を知らなくても検出・除去できる方法を、証明つきで示しているため選んだ。ユニバーシティ・カレッジ・ロンドンとスポティファイの研究者が2026年10月9日に投稿した。サブリミナル学習は、教師と同じ基盤パラメータを持つ生徒を教師の生成データで微調整すると、データから性質の痕跡を除いても、好みや不整合などの性質が生徒に移る現象としてクラウドらが報告したものである。既存の防御はどれも、移った性質が何かを知っていることを前提にしていた。

著者らは一つの非対称性に着目する。性質は教師が生成した多様なデータセットのどれにも一貫して現れるが、タスク固有の能力はデータセットごとに変わる。そこで、複数のデータセットで微調整した重みの更新に共通する成分を、性質の方向として推定する推定量を導き、これをStifleと名づけた。推定した方向 $\hat{u}$ に沿って、更新 $\Delta$ を次のように編集する。

$$\theta(\alpha)=\theta_{\mathrm{base}}+\Delta-\alpha\,\langle \Delta,\hat{u}\rangle\,\hat{u}$$

$\alpha$ を0から1へ上げると性質の成分が取り除かれ、大きくすると逆に性質が増幅されて、何が移ったかを解釈する手がかりになる。実験では、Qwen2.5-7B-Instructにシステムプロンプトで特定の動物を好む性質を持たせて教師とし、数列の続き、コード補完、GSM8Kの推論過程に加え、名前・鉱物・元素などの系列課題や要約など、性質と無関係な10課題でデータを生成した。規則による照合とGPT-4.1による判定で性質への言及を除いたうえで、各課題1万組・3エポックでランク8のLoRAを学習すると、新しく作った8課題すべてで好みが移った。1つの課題を除いた9個のアダプターから方向を推定して残りの1個に適用すると、$\alpha$ が1以下の範囲で、課題性能をほぼ落とさずに好みの表出を抑えられた。$\alpha$ を大きくすると、好みとは無関係な質問にも教師の好きな動物が出てくるようになり、性質を特定するための評価プロンプトなしに中身を読み取る診断として使える。

限界は著者らが明記している。実験はQwen2.5-7B-Instructとランク8のLoRAの組合せだけで、扱った性質は動物の好みに限られる。推定の前提は性質が課題をまたいで一貫して現れることで、実験では全課題で同じシステムプロンプトを使って性質を引き出している。特定の条件でだけ発現するバックドアのような性質にこの前提が成り立つかは、今後の課題とされている。また、同じ教師が生成した複数のデータセットと、それぞれで微調整した更新が必要になる。$\alpha$ が1から5の範囲では好みが再び現れ、課題性能も急に落ちるため、強さの選び方には行動評価による確認が要る。

まとめ

Phi-3は38億パラメータでMMLU 68.8%に達したが、事実知識を問うTriviaQAでは大型モデルとの差が残り、データの質で補える能力と補えない能力の境目を示した。TransMLAは学習済みモデルのKVキャッシュを93%削り、60億トークンの追加学習で性能を戻して、MLAへの移行を一から学習し直さない選択肢にした。蒸留の3本は予算の配り方と、意図しない転移を扱った。BoundaryEvoは1,000例を生徒の能力境界に合わせて選び直して数学平均を76.4まで上げ、BranchOPDは同じ生成予算を生徒が迷う位置の分岐に回して通常のOPDを5ポイント余り上回った。Stifleは、蒸留データの意味から見えない性質の移転を、複数の更新に共通する方向として取り出し、課題性能をほぼ保ったまま抑えた。どの研究も、量を増やす前に、何に予算を使い、何が一緒に移るかを測ることで効率と安全性の両方を扱っている。

参考ソース

• 論文1: Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. arXiv:2404.14219
• 論文2: TransMLA: Multi-Head Latent Attention Is All You Need. arXiv:2502.07864
• 論文3: BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation. arXiv:2610.13285
• 論文4: Branching On-Policy Distillation. arXiv:2610.13481
• 論文5: Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning. arXiv:2610.13536