arXiv Frontier AI論文解説（2026年10月11日）

キーワード: 密モデルとスケーリング則 / 学習安定化と中間学習 / 完全公開 / データ不要のオンポリシー蒸留 / 低確率トークンの除外 / 多ターンでの教師介入

特集「蒸留とオープンLLMの代表的アーキテクチャ」の6回目。アーキテクチャ側は、Llama 3（2024年7月投稿）とOLMo 2（2024年12月投稿、のちに32Bを追加して改訂）の技術報告を扱う。前回までのDeepSeek、Mixtral、Qwen3がスパースMoEだったのに対し、今回の2本はどちらも密モデルで、規模の決め方と学習の安定化を前面に出している。蒸留側は、オンポリシー蒸留の監督を「どの問題で」「どのトークンに」「どの軌跡で」与えるかという3つの粒度を、10月7〜8日の版で更新・投稿された3本で順に読む。性能値は原論文が報告した評価条件に限定する。

オープニング：2026年10月11日 — arXiv Frontier AI論文解説

今日の5本は、監督信号をどこに使うかで一本につながる。Llama 3は、405Bの旗艦モデルをスケーリング則で計算最適に近い規模に定め、小型モデルはそれより長く学習させたうえで、事後学習で旗艦の出力を使って改善した。OLMo 2は、損失スパイクの原因を初期化・正規化・データの反復に切り分け、学習の最後の数%で数学データを足す「中間学習」の効果を小さな焼きなまし実験で測った。蒸留の3本は、問題数を8問まで減らしても性能が変わらないこと、監督するトークンを4割に絞るほうが全トークンより良いこと、多ターンのエージェントでは教師が途中で行動を代わると監督が信頼できる範囲に戻ることを、それぞれ示した。

論文1: 密モデルと段階的な文脈拡張を選んだラマ3

出典: The Llama 3 Herd of Models. arXiv:2407.21783 (2024).

10月6日のGQA、10月10日のGemma 2とQwen3が設計の前提として参照してきたオープンモデル系列であり、旗艦の405Bで専門家混合ではなく密モデルを選んだ理由を明記した技術報告なので選んだ。Meta（AI @ Meta）のLlama Teamが2024年7月31日に投稿した。8B、70B、405Bの3規模で、405Bは126層、表現次元16,384、注意ヘッド128の密なTransformerである。GQAでキー・バリューのヘッドを8に減らしてKVキャッシュを抑え、RoPEの基底周波数を500,000に上げて長文脈に備え、同じ系列内の別文書どうしの注意を禁じるマスクを使う。このマスクは通常の事前学習では効果が小さく、非常に長い系列での継続事前学習で重要になったと報告している。語彙は128Kで、tiktoken由来の100Kに非英語用の28Kを加え、英語サンプルでの圧縮率はLlama 2の1トークンあたり3.17文字から3.94文字に上がった。著者らは、専門家混合を採らず標準的な密モデルに小さな変更を加える方針を「学習の安定性を最大化するため」と説明し、事後学習もPPOのような強化学習ではなく、教師ありファインチューニング、棄却サンプリング、DPOの組み合わせに絞った。

規模の決め方が核心である。6×10の18乗から10の22乗FLOPsの範囲で等計算量曲線を引き、計算最適な学習トークン数を予算のべき乗則で当てはめると、予算3.8×10の25乗FLOPsでは402Bパラメータを16.55兆トークンで学習するのが最適と外挿された。実際の旗艦は405Bを15.6兆トークンで学習した。予算が大きいほど等計算量曲線の底が平らになるため、規模とトークン数の多少のずれには性能が鈍感だという観察が、この選択の根拠になっている。下流ベンチマークの予測は、計算量から正解の負の対数尤度を、対数尤度から正答率をシグモイドで結ぶ2段階で行い、4桁の外挿でも最終性能をわずかに過小評価する程度だった。一方、8Bと70Bは計算最適よりはるかに長く学習させ、同じ推論予算では計算最適なモデルより強いとしている。文脈長は事前学習の最後に8Kから128Kまで6段階で広げ、短文脈性能の回復と「干し草の中の針」課題の完全解答を各段階の合格条件にして、約8000億トークンを使った。

$$ N^{\star}(C)=A\,C^{\alpha},\qquad (\alpha,A)=(0.53,\ 0.29) $$

蒸留との接点は事後学習にある。著者らは旗艦モデルを使って小型モデルの事後学習の質を上げたと書き、コードの合成データでは8Bと70Bがより大きなモデルの生成データで大きく改善した一方、405Bを自分自身の生成データで学習しても効果がなく、悪化することさえあったため、実行結果のフィードバックを正解の基準として導入した。限界として、密モデルを選んだ根拠は安定性という設計判断として述べられており、同じ計算予算で専門家混合と比べた実験は報告に含まれていない。スケーリング則の当てはめも著者らのデータ混合に固有で、別のデータに移したときに402Bという最適点が保たれるかは、この報告からは分からない。

論文2: 学習の安定化と中間学習を公開したオルモ2

出典: 2 OLMo 2 Furious. arXiv:2501.00656 (2024).

重みだけでなく、学習データ全体、学習コード、レシピ、学習ログ、数千の途中チェックポイントまで公開した「完全公開」の系列であり、損失スパイク対策を一つずつアブレーションで示した報告なので選んだ。Ai2のOLMoチームが2024年12月31日に投稿し、その後32Bを加えて改訂した。7B、13B、32Bの密なデコーダー専用Transformerで、総学習トークンは7Bが4.05兆、13Bが5.6兆、32Bが6.6兆である。バイアス項を持たず、SwiGLUとRoPEを使う骨格は初代OLMoから引き継ぎ、RoPEのθは論文1のLlama 3に合わせて10,000から500,000へ上げた。32BではMHAからGQAへ切り替えている。語彙はGPT-3.5とGPT-4用に作られたcl100kの前処理と語彙を借りた。

前の版のOLMo-0424の学習では、損失スパイクが頻発し、その前に勾配ノルムのスパイクが先行し、勾配ノルム自体も学習を通じて徐々に増えていた。著者らはスパイクを、直近1000点の移動平均から7標準偏差以上離れた値の割合という「スパイクスコア」で数値化し、対策を個別に評価した。層ごとに縮小する初期化から、全パラメータを平均0・標準偏差0.02の正規分布で初期化する方式へ変えると、損失スパイクが消え、勾配ノルムのスパイクスコアは0.40から0.03に下がった。正規化を注意とMLPの入力ではなく出力にかける「並べ替えた正規化」と、クエリとキーの射影をRMSNormで正規化するQK-Normを併用すると、勾配のスパイクスコアは0.108から0.069に下がった。さらに、出力ロジットの肥大を抑えるz損失、AdamWのεを10のマイナス5乗から10のマイナス8乗へ下げる変更、32回以上反復するn-gramを含む文書の除去を加えた。反復n-gramとスパイクの関係は決定的ではなく、同じ系列が大きいモデルでだけスパイクする、データの順序を変えると消える、といった例も著者ら自身が挙げている。

もう一つの柱は、学習計算量の5〜10%を使う中間学習である。学習率を線形にゼロまで下げながら、高品質なウェブ文書、参照資料、数学の合成データからなるDolmino Mix 1124で学習する。7Bではデータ順序を変えた50Bトークンの焼きなましを3回行い、得られた重みを平均した。数学データの選定には、少量のデータだけで短く焼きなます「マイクロアニール」を使った。事前学習を終えた7Bから約2億トークンの数学混合で学習すると、GSM8Kの開発用200問でのスコアは28.5から、数学35%の混合で63.5、数学10%の混合でも61になった。著者らはここから、領域データは大きな割合でなくても含まれていることが重要だと解釈する。評価では、GSM8Kの1319問のうち200問だけを開発判断に使い、残りを保留評価に回すなど、開発に使った課題と未見の課題を区別して宣言している。限界として、著者らが未見とした課題が比較相手のモデルの開発に使われていない保証はないことを、本文で認めている。マイクロアニールの効果測定も開発用200問という小さな集合に依存している。

論文3: 8問や自己生成問題でも成り立つオンポリシー蒸留

出典: Data-Free On-Policy Distillation: How Far Can We Go Without External Data? arXiv:2609.14193 (2026).

オンポリシー蒸留の研究がアルゴリズムの改良に集中するなか、学習に使う問題そのものへの依存度を正面から測った研究であり、候補表で未使用だった論文が10月7日に改訂され、コードも公開されているので選んだ。中国科学院自動化研究所などのチームが2026年9月12日に初版を投稿し、10月7日に第4版を出した。単一教師では2つの設定を比べる。初期生徒をさらに強化学習で鍛えた教師（DeepSeek-R1-Distill-Qwen-1.5Bの生徒と、その強化学習版の教師）と、同系列の大きな教師（Qwen3-1.7Bの生徒と、Qwen3-30B-A3B-Instruct-2507の教師）である。10月10日に扱った学習信号消失の研究で損失がよく下がった「自己強化学習教師」と、停滞した「大きな教師」の2類型に対応している。

結果は、問題数への感度が予想より低いことを示す。DAPO-Math-17kからランダムに選んだ8問だけで学習しても、6つの数学ベンチマークの平均は56.3で、全1万7千問の56.4とほぼ同じだった。大きな教師の設定でも47.7対47.4である。1問だけでも、初期生徒からの改善幅の約62%と84%が残った。初期正答率が46.1%から68.9%まで、初期の蒸留ギャップが約3倍異なる3つのデータ源でも、到達性能は近かった。著者らは理由を2つ示す。同じ問題から繰り返しサンプリングすると異なる接頭辞が現れ、生徒の隠れ表現と教師との差から作った監督ベクトルの「信号被覆率」は、1問でも1軌跡の0.114から4096軌跡の0.507まで伸び、問題を8問から1024問に増やしても上積みは約0.08にとどまる。また、数学を除いた競技プログラミングの問題で学習しても、数学ベンチマークでの改善幅の96%と92%が残った。

この観察から、教師自身に簡単な指示だけで問題を作らせ、外部データを使わずに蒸留する設定（DF-OPD）を提案する。正誤の検証や難易度の選別はせず、抽出・形式確認・重複除去だけを行う。64問の自己生成問題で、強化学習教師の設定は56.61（全データ56.41）、大きな教師の設定は49.16（全データ47.36）に達した。数学・コード・指示追従の3教師から1生徒へ蒸留する多教師設定では、1000問の自己生成問題で総合31.31となり、実データ7,458問の31.18と並んだが、8問では差の回復率が75.6%にとどまり、単一教師より問題数に敏感だった。さらに問題文を空にすると、うまくいくのは生徒が自分で問題を立てて解き始める場合に限られた。その「自問自答」の割合はR1-Distillの生徒で62.0%、改善幅の保持率は95.6%だったが、Qwen3の生徒では0.1%と7.4%だった。限界として、単一教師の評価は数学ベンチマークに集中し、報告値は学習中の最良チェックポイントで比べている。学習率は10のマイナス6乗、1バッチ64問の設定で、教師の規模は最大30Bである。

論文4: 監督するトークンを4割に絞るオンポリシー蒸留

出典: DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation. arXiv:2610.11659 (2026).

オンポリシー蒸留の「密な監督」という前提を、トークンを減らすほうが良いという実験で崩し、その原因を低確率の領域に特定した研究で、コードも公開されているので選んだ。寧波の東方理工大学（Eastern Institute of Technology）のEIT-NLPラボと香港理工大学などのチームが2026年10月8日に投稿した。対象は、教師の全語彙分布を使わず、生徒が生成したトークンの教師対数確率だけで逆KLを一標本推定する「標本トークン型」のオンポリシー蒸留である。各トークンの報酬は教師と生徒の対数確率比で、方策勾配の重みとして働く。

出発点の観察は単純である。Qwen3-4Bを教師、Qwen3-0.6Bを生徒として、各応答のトークンをランダムに一部だけ損失に使うと、残す割合が40〜90%のどれでも全トークンより良く、80%ではMATH-500が30.2%から38.4%に上がった。生徒を教師と同じ4Bにすると、10%で全トークンとほぼ同じ（70.6%対71.2%）、30%で上回る（72.6%）程度に差が縮み、利点は生徒の容量と結びついていると著者らは解釈する。次に報酬の絶対値が大きいトークンを優先すると、ランダムより良いが学習初期に約350ステップ停滞した。原因は、教師と生徒の確率がともに1%以下の「低・低トークン」にある。対数確率比は確率の比しか見ないため、(0.08, 0.8)と(10のマイナス4乗, 10のマイナス3乗)が同じ報酬になる。上位10%選択では、低・低トークンが選ばれたトークンの20.6%なのに、報酬の絶対値の総和の49.8%を占めていた。

DIAL-OPDは、教師と生徒の確率の対数平均の β 乗で報酬の大きさを重み付けし、応答ごとに得点の高いトークンだけを残す。β=0で報酬の大きさ、β=1で確率差の絶対値による選択に一致し、βを上げるほど低・低トークンが抑えられる。ただしβが1を超えると、片方のモデルだけが高い確率を付けた有用な不一致の得点までゼロに近づくため、0.6Bと1.7Bの生徒はともにβが1付近で最良だった。

$$ s_{\beta,t}=\bigl|r_t\bigr|^{1-\beta}\,\bigl|q_t-p_t\bigr|^{\beta} $$

4組の教師・生徒ペア（教師4Bと8B、生徒0.6Bと1.7B）と7つの数学ベンチマークで、9つの比較手法と比べた。トークンの40%だけを残す設定で、全ペアにおいて全トークンの標準的なオンポリシー蒸留と、全トークンを使う改良版を平均精度で上回り、標準版との差は最大5.25ポイント、AIME25のpass@16は13.33%から26.67%へ倍増した。4B教師のDIAL-OPDは、8B教師で全トークンを使う最良の比較手法を、0.6Bと1.7Bの生徒で0.95と1.76ポイント上回った。限界は、学習データがDeepScaleRの数学問題のみ、モデルがQwen3系列のみ、生徒が1.7B以下、学習が800ステップである点だ。結論は標本トークン型に固有の一標本推定の雑音を前提にしており、上位k語の分布を使う蒸留へそのまま移るかはこの論文の範囲外である。

論文5: 多ターンのエージェントで教師が確率的に介入するオンポリシー蒸留

出典: Stochastic Teacher Intervention for Agentic On-Policy Distillation. arXiv:2610.10878 (2026).

前日のSemi-OPDが、生徒の軌跡が教師の分布から外れると監督が劣化することを数学の単発応答で示したのに対し、その劣化が最も起きやすい多ターンのエージェント課題で、軌跡そのものを教師が修正する手法を示した研究なので選んだ。モナシュ大学と香港理工大学のチームが2026年10月7日に投稿した。多ターン課題では、生徒の一つの誤ったツール呼び出しが次の観測を変え、誤りがターンをまたいで累積する。損失を重み付けしたりマスクしたりする既存手法は、次の環境遷移を決める行動そのものは直せない。教師に生成を代わらせる既存手法は、固定の予定表やしきい値で介入を決めるため推定の雑音に弱く、さらに教師が生成したトークンに生徒サンプリングを前提とした逆KLの式をそのまま当てはめている。

STI-OPDは、各ターンで生徒がまず応答案を作り、その応答案上で教師と生徒の確率比 r から k3 推定量 r−1−log r を計算し、長さで正規化したターン得点 s を作る。介入確率は s/(1+s) とし、ベルヌーイ試行で応答案を残すか、同じ履歴から教師が生成した応答に丸ごと置き換えるかを決める。方策が近いと得点は2次の微小量になり介入はほぼ起きず、離れると1に近づくが、生徒が実行する確率は残る。教師が生成したトークンには重要度重み π_θ/π_T を掛け、生徒の分布のもとでの条件付き逆KLと同じ期待値を回復させる。

$$ \alpha_t=\frac{s_t}{1+s_t},\qquad z_t\sim\mathrm{Bernoulli}(\alpha_t) $$

生徒はQwen3-0.6Bと1.7B、教師はQwen3-4Bで、ツールを使う推論（AIME 2024〜2026、HMMT 2026年2月、GPQA、LiveCodeBench v6）と、長期の対話課題ALFWorldとScienceWorldで評価した。比較対象は標準のオンポリシー蒸留と、SAGE-OPD、Guided-OPD、Relay-OPD、TCOD、FutureBridge-OPDの5手法で、教師・生徒の初期値、プロンプト、ロールアウト予算をそろえ、評価時は教師の介入なしで生徒単独で動かす。全セルで最良となり、差は長期課題で大きかった。1.7B生徒のScienceWorldでは、標準のオンポリシー蒸留17.1、最良の比較手法22.2に対して27.5で、教師の26.1を上回った。アブレーションでは、重要度重みを外すと27.5から21.5へ下がり、要素の中で最大の劣化だった。教師をQwen3-32Bに替えても、ScienceWorldで56.3対46.2と差は保たれた。限界として著者らは、重要度補正が成り立つのは固定した文脈においてであり、介入の判断や教師が作った接頭辞によって訪れる文脈の分布そのものは補正していないと明記している。生徒はQwen3系列の1.7B以下に限られ、ツール推論での標準蒸留との差は1.7B生徒のほうが0.6B生徒より小さかった。

まとめ

Llama 3は、3.8×10の25乗FLOPsの予算に対しスケーリング則が示した402B・16.55兆トークンの近くに、405B・15.6兆トークンの密モデルを置き、文脈長を6段階で128Kまで広げた。OLMo 2は、初期化の変更で勾配のスパイクスコアを0.40から0.03へ、正規化の並べ替えとQK-Normで0.108から0.069へ下げ、中間学習の数学データで開発用GSM8Kを28.5から60台へ上げた手順を、データとログごと公開した。

蒸留の3本は、オンポリシー蒸留の監督が「量」ではなく「配分」で決まることを、3つの粒度で示した。問題は8問や自己生成の64問で全1万7千問と並び、トークンは確率がともに低い領域を除いて4割に絞るほうが全トークンより良く、多ターンの軌跡では教師が確率的に行動を代わり重要度重みで補正すると、ScienceWorldで教師を上回った。ただし3本とも生徒は1.7B以下で、教師との距離が大きい条件での一般性は、前日のSemi-OPDや学習信号消失の結果と組で読む必要がある。

参考ソース

• 論文1: The Llama 3 Herd of Models. arXiv:2407.21783
• 論文2: 2 OLMo 2 Furious. arXiv:2501.00656
• 論文3: Data-Free On-Policy Distillation: How Far Can We Go Without External Data? arXiv:2609.14193
• 論文4: DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation. arXiv:2610.11659
• 論文5: Stochastic Teacher Intervention for Agentic On-Policy Distillation. arXiv:2610.10878