関数をコンパイルするLLM登場!Program-as-Weightsほか生成AI論文10本【2026/07/06】
2026-07-06 / arxiv AI論文解説
概要
ウォータールー大学らが提案した「あいまいな関数」を軽量ニューラルネットにコンパイルする新パラダイム「Program-as-Weights」、線形アテンションに海馬を与え記憶の忘却を防ぐ「HOLA」、90回の実験から見えたエージェント型コード生成の一発成功率を左右する要因まで、生成AI・LLM・エージェント・VLMに関する最新論文10本をずんだもん＆四国めたんが解説。
▼ 今日の論文ラインナップ ・関数を自然言語で書いてコンパイルする――Program-as-Weightsという新しいプログラミング様式（arXiv:2607.02512） ・線形アテンションに海馬を与える――再帰状態が忘れる記憶を正確に補うHOLA（arXiv:2607.02303） ・道具より大事なのは考える時間――エージェント型コード生成の一発成功率を左右するもの（arXiv:2607.02436） ・意見が割れたら自分の頭で考えさせる――方策の食い違いで調整する自己蒸留DemoPSD（arXiv:2607.02502） ・見て、振り返り、正す――視覚に根ざした自己反省を強化学習で鍛えるVRRL（arXiv:2607.02490） ・ニューロンの反応を手がかりに――正解ラベルなしでLLMを鍛えるNeuron-OPSD（arXiv:2607.02460） ・記憶を持たせると考え方まで変わる――パーソナライズしたLLMの推論のブレを測るDriftLens（arXiv:2607.02374） ・AIとの協働がうまい人・下手な人――予測市場で見る人間の実力とハイブリッド知能（arXiv:2607.02467） ・画像に紛れた文字にだまされるCLIP――学習なしで弱点回路を見つけて防ぐ（arXiv:2607.02494） ・動くことを先に覚え、やることは後で教わる――ロボット基盤モデルの2段階事前学習TAP（arXiv:2607.02466）
▼ 参考論文（arXiv） https://arxiv.org/abs/2607.02512 — Program-as-Weights: A Programming Paradigm for Fuzzy Functions https://arxiv.org/abs/2607.02303 — A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets https://arxiv.org/abs/2607.02436 — Reasoning effort, not tool access, buys first-try reliability in agentic code generation https://arxiv.org/abs/2607.02502 — DemoPSD: Disagreement-Modulated Policy Self-Distillation https://arxiv.org/abs/2607.02490 — Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning https://arxiv.org/abs/2607.02460 — Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation https://arxiv.org/abs/2607.02374 — DriftLens: Measuring Memory-Induced Reasoning Drift in Personalized Language Models https://arxiv.org/abs/2607.02467 — Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting https://arxiv.org/abs/2607.02494 — Towards Robustness against Typographic Attack with Training-free Concept Localization https://arxiv.org/abs/2607.02466 — Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs
#生成AI #ChatGPT #Claude #LLM #AI #人工知能 #arxiv #論文解説 #ゆっくり解説 #ずんだもん #OpenAI #Anthropic #機械学習 #ディープラーニング
スライド（クリックで展開）
arxiv 論文解説 2026/07/06
今日のハイライト: カナダのウォータールー大学・コーネル大学・ハーバード大学のチームが、あいまいな仕事を毎回LLMに聞くのではなく1回だけ「コンパイル」して軽量ニューラルネットに焼き込む新しい発想「Program-as-Weights」（0.6BのモデルがLoRAアダプタを使うことで32Bモデルの直接呼び出しを上回る正解率を、メモリ50分の1で達成）、上海財経大学の単著論文が提案する、線形アテンション言語モデルに「海馬」を追加してピンポイントな記憶の忘却を防ぐ「HOLA」（Wikitextのパープレキシティを27.32から22.92へ改善）、そして90回の独立したエージェント実行から「ツールより考える時間の長さが一発成功率を左右する」ことを示した観察研究の3本を軸に、生成AI・LLM・エージェント・VLMに関する論文10本を取り上げる。
論文1: 関数を自然言語で書いてコンパイルする――Program-as-Weightsという新しいプログラミング様式
arXiv:2607.02512 | Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng（ウォータールー大学、コーネル大学、ハーバード大学）
発表日: 2026年7月2日
背景
ログの中から重要な行だけ通知する、壊れたJSONを直す、検索結果を意図に応じて並べ替える――こうした「なんとなく分かるけれど、はっきりしたルールでは書きにくい」仕事は世の中にたくさんある。著者らはこれを「あいまいな関数（fuzzy function）」と呼ぶ。今の開発者はこうした仕事を、その都度クラウド上の大規模LLMのAPIに丸投げすることが多いが、これは費用がかさみ、応答が遅く、モデルが勝手に更新されると挙動が変わってしまうため再現性にも欠ける。
手法
著者らは「Program-as-Weights（PAW）」という枠組みを提案した。開発者が関数の仕様を自然言語で書くと、「コンパイラ」役の4Bパラメータのモデルが、それを軽量な「インタプリタ」モデル（今回は0.6BパラメータのQwen3）向けの小さな追加部品（LoRAという、モデル全体を再学習せずに一部だけを効率よく調整する技術）に変換する。生成されたプログラムは、あいまいさを吸収する自然言語の「疑似コード」部分と、細かい挙動を制御するLoRA部分の2つからなる。このコンパイラは、著者らが新たに公開した1,000万件規模のデータセット「FuzzyBench」（分類・書式変換・あいまい検索など800カテゴリ以上を収録）で学習されている。一度コンパイルしてしまえば、以降はこの小さなインタプリタを何度呼び出しても、クラウドのAPIを呼ぶ必要がない。
結果
0.6BパラメータのQwen3インタプリタでPAWのプログラムを実行すると、正解率は73.78%となり、32BパラメータのQwen3を毎回直接プロンプトで呼び出す場合の68.70%を上回った。しかも使用メモリはおよそ50分の1で済み、量子化した状態ではMacBook M3上で毎秒30トークンの速度で動作する。ベースのモデルファイルは約430MBで、関数ごとに追加で必要なのはわずか23MBのLoRAアダプタのみである。ログ監視、意図別の検索並べ替え、ツール呼び出しの前処理（正解率93%）など5つの実例で有効性を確認したほか、コンパイラを画像対応のモデルに差し替えるだけで画像を扱うあいまい関数にも対応できることを示した。
意義
「あいまいな処理は毎回大きなモデルに聞く」という発想を、「1回だけ手元で動く軽量な部品にコンパイルする」という発想へと転換した点が新しい。日々の細かい判断のためにクラウドの大規模モデルを都度呼び出す必要がなくなれば、コストや遅延、プライバシーの面で大きな利点になる。ソフトウェア開発における「小さなモデルの時代」への具体的な一歩を示す研究といえる。
論文2: 線形アテンションに海馬を与える――再帰状態が忘れる記憶を正確に補うHOLA
arXiv:2607.02303 | Wanyun Cui（上海財経大学）
発表日: 2026年7月2日
背景
線形アテンションや状態空間モデル（Mambaなど）は、それまで読んだ文章の内容を固定サイズの「状態」に圧縮することで、通常のアテンションよりずっと省メモリに動作する。しかしこの圧縮には代償があり、多くの事実を詰め込みすぎると、古い情報が新しい情報によって上書きされて消えてしまう。そのため、遠く離れた場所にある特定の情報を正確に思い出す「ピンポイント検索」のような課題が苦手だった。
手法
著者は、人間の脳が海馬（新しい出来事を1回で正確に記憶する）と大脳新皮質（多くの経験からゆっくり一般的な構造を学ぶ）という2つの異なる記憶システムを使い分けている「補完学習システム」理論にヒントを得て、線形アテンションのモデルに「海馬」に相当する仕組みを追加した「HOLA（Hippocampal Linear Attention）」を提案した。通常の圧縮された状態（大脳新皮質役）に加えて、容量に上限のある正確なキー・バリューのキャッシュ（海馬役）を持たせる。このキャッシュには、モデルが「予測を大きく外した」＝驚きの大きかったトークンだけを優先的に保存し、単に直近のトークンを保存する方式より効率よく重要な情報を残せるようにした。読み出し時には、キャッシュ専用に正規化を調整することで、複数の情報をぼんやり平均するのではなく、ピンポイントで1つを選び出す検索ができるようにした。
結果
3億4,000万パラメータのモデルを150億トークンで学習した実験では、HOLAはWikitextのパープレキシティ（値が低いほど良い言語モデル）を27.32から22.92へ改善し、これは通常のフルアテンションを使うTransformer++（26.88）よりも良い値だった。LAMBADAのパープレキシティも30.95から30.26へ改善した。さらに、学習時の16倍にあたる32,000トークンの長さでの「干し草の中から針を探す」形式の検索課題でも、比較対象のGated DeltaNetや、単に直近のトークンを保存する方式よりも高いロバスト性を示した。
意義
固定サイズの状態に情報を圧縮する効率の良さを保ちながら、脳の記憶システムからヒントを得た仕組みを追加するだけで、正確な記憶が必要な場面での弱点を補えることを具体的に示した。効率的な言語モデルの設計に、神経科学的な発想を取り入れる一つの有望な方向性を提示している。
論文3: 道具より大事なのは考える時間――エージェント型コード生成の一発成功率を左右するもの
arXiv:2607.02436 | Achint Mehta（所属機関の記載は確認できなかった）
発表日: 2026年7月2日
背景
自律的にコードを書く「エージェント型」のコーディングアシスタントには、ブラウザでのテストツールやデザイン指向のプロンプトなど、次々と新しい機能が追加されている。その前提には「できることが増えれば、できあがるソフトウェアも良くなる」という思い込みがあるが、著者はこの前提を実際に検証した。
手法
同じ1つの詳細な仕様書（リアルタイムで使う振り返りボードアプリの仕様）をもとに、90回の独立したエージェント実行でアプリを作らせた。それぞれの成果物を、14項目・42点満点の機能チェックリストと、見た目の質のレビューで採点した。実行条件は複数のモデル世代、2種類のエージェントの仕組み、2段階の「考える時間（推論の努力量）」の設定、テストツールの有無、2種類のデザイン指向プロンプトの有無を組み合わせて変えた。
結果
アブストラクトで確認できる範囲では、ブラウザテストツールやデザイン指向のプロンプトを追加しても、必ずしも成果物の質が向上するわけではなかった一方で、「考える時間（推論の努力量）」を増やす設定は、1回で仕様を満たすアプリを作れる信頼性を高める効果があった。
意義
エージェントに与える「道具」を増やすことよりも、エージェント自身がじっくり考える時間を確保することの方が、1回で目的を達成できる信頼性に効いてくる可能性を示した。エージェント型の開発ツールをどう設計・運用すべきかを考えるうえで、示唆に富む観察結果である。
論文4: 意見が割れたら自分の頭で考えさせる――方策の食い違いで調整する自己蒸留DemoPSD
arXiv:2607.02502 | Yunhe Li, Hao Shi, Wenhao Liu, Mengzhe Ruan, Hanxu Hou, Zhongxiang Dai, Shuang Qiu, Linqi Song（香港城市大学、清華大学、深圳先進技術研究院、香港中文大学（深圳））
発表日: 2026年7月2日
背景
LLMに推論を訓練させる方法の一つに「オンポリシー自己蒸留」があり、1つのモデルが教師役と生徒役を兼ねるが、教師役だけが正解などの特権的な情報にアクセスできる。しかしこの教師の指導が細かすぎると、生徒モデルが本番では使えない特権情報頼りの「近道」を覚えてしまい、未知の分野への応用力が落ちてしまう問題があった。
手法
著者らは「DemoPSD」という枠組みを提案した。教師と生徒の予測の分布が近いときは教師の指導をしっかり取り入れ、両者の分布が大きく食い違うとき（＝教師が特権情報に頼りすぎているサイン）は生徒自身の判断を優先する、という「選択的な教師指導の採用」の考え方に基づく。具体的には、教師の分布をそのまま真似るのではなく、教師と生徒の分布を重み付けして組み合わせた「逆KLバリセンター」という目標に向けて生徒を導き、両者の分布のずれの大きさに応じて、トークンごとにこの重み付けを自動調整する。
結果
著者らは、DemoPSDが特権情報の漏洩を軽減しつつ、生徒モデルが自ら試行錯誤する能力（探索能力）も保てることを理論的に示した。科学分野の4領域にまたがるSciKnowEvalベンチマークでの実験でも、比較対象の手法を上回る性能を示した。
意義
教師の指導を無条件に信じるのではなく、教師と生徒の「意見の食い違い」を手がかりに指導の強さを調整するという発想は、LLMの推論能力を安全に鍛える上で実用的な工夫といえる。特権情報に頼った見せかけの性能向上を避け、本当に応用の効く推論力を育てる方向性を示した。
論文5: 見て、振り返り、正す――視覚に根ざした自己反省を強化学習で鍛えるVRRL
arXiv:2607.02490 | Liyan Tang, Fangcong Yin, Greg Durrett（テキサス大学オースティン校、ニューヨーク大学）
発表日: 2026年7月2日
背景
画像と文章を扱う大規模視覚言語モデル（LVLM）は、文章で考える過程（思考の連鎖）を生成しながら複雑な問題を解ける。その中でも「自己反省」――途中の判断を見直し、間違いに気づいて訂正する能力――は重要だが、既存のLVLMは反省するときに肝心の画像をきちんと見直しておらず、特に学習時と違うタイプの画像に対しては、反省してもうまく訂正できないことが多かった。
手法
著者らは「VRRL」という強化学習の訓練の枠組みを提案した。2つの工夫を組み合わせている。1つ目は、学習中にモデルの推論過程の前半部分をわざとランダムに隠すことで、最初から正解を出す練習ではなく、途中で間違った状態から立て直す練習を重視させること。2つ目は、経験を蓄積した再生バッファから多様な失敗パターンを取り出してモデルに見せ、様々な誤りの訂正を学ばせることである。表やグラフの読み取り、空間的なナビゲーションのベンチマークで評価した。
結果
既製のモデルや通常のファインチューニングを施したモデルは、学習時と異なる分布の画像に対して性能が大きく落ち込んだのに対し、VRRLで訓練したモデルは、通常の強化学習や反省を意識したファインチューニングのベースラインと比べて、未知の画像に対する平均正解率を大きく改善した。
意義
自己反省という能力を鍛える際に、「間違った状態から立て直す経験」と「多様な失敗パターンへの露出」を意図的に設計することの重要性を示した。見た目にはそれらしい反省の言葉を生成するだけでなく、実際に画像を見直して訂正に活かせるようにする、視覚言語モデルの実用性を高める工夫である。
論文6: ニューロンの反応を手がかりに――正解ラベルなしでLLMを鍛えるNeuron-OPSD
arXiv:2607.02460 | Zhuowei Chen, Xiang Lorraine Li（ピッツバーグ大学）
発表日: 2026年7月2日
背景
教育・法律・理系専門分野などにLLMを適応させたいとき、専門家によるラベル付けデータを大量に用意するのはコストが高い。そこで、モデル自身の出力を教師データとして使う「アノテーション不要の自己進化」という手法が注目されているが、既存の手法にはそれぞれ弱点がある。教師あり微調整（SFT）や強化学習手法GRPOをベースにした方式は専門分野以外での性能が落ちやすく、報酬に基づくオンポリシー強化学習は自信の度合いの見積もり（キャリブレーション）が不正確になりやすい。
手法
著者らは「Neuron-OPSD（Neuron On-Policy Self-Distillation）」という、データの選び方に重点を置いた枠組みを提案した。モデル内部のニューロンの活性化パターンを手がかりにして、学習に使うデータの選別と、教師役の文脈（追加情報）の組み立ての両方を導く。その後、正解ラベルを一切使わずに、教師の予測分布からオンポリシーで生徒モデルを蒸留（学習）する。
結果
専門分野に特化したベンチマークで検証した結果、Neuron-OPSDは既存のアノテーション不要な手法と比べて、専門分野内での性能を高めつつ、他分野への応用力の低下や自信度の見積もりの崩れを抑えられることが確認された。
意義
正解データが手に入らない専門分野でLLMを鍛える際に、モデル内部の活性化という「表に出ない手がかり」を活用することで、より安定した自己学習が可能になることを示した。オンライン上での試行錯誤や外部からのフィードバックが得にくい状況でも応用できる点で、実用上の意義が大きい。
論文7: 記憶を持たせると考え方まで変わる――パーソナライズしたLLMの推論のブレを測るDriftLens
arXiv:2607.02374 | Xi Fang, Weijie Xu, Yuhui Xu, Yingqiang Ge, Stephanie Eckman, Chandan K. Reddy（Amazon）
発表日: 2026年7月2日
背景
最近のLLMは、ユーザーの属性・好み・過去のやり取りを記憶として保存し、それを次の会話に反映させることで「パーソナライズ」を行う。この記憶は「何を答えるか」を変えるだけでなく、明確な正解がない自由回答型の質問において「なぜその答えにたどり着いたか」という推論の道筋そのものまで変えてしまう可能性がある。著者らはこの現象を検証した。
手法
著者らは「DriftLens」という、正解データを必要としない枠組みを提案した。モデルが表に出す推論の各ステップを価値観のカテゴリに分類し、記憶なしで答えたときの推論の道筋と、年齢・職業・障害の有無といったユーザー属性の記憶を与えたときの推論の道筋との間のズレを測定する。まず、DriftLensが単なる言い回しの違い（内容に関係のない雑音）と、実質的な推論内容の変化とを区別できることを確認した。
結果
4種類のLLM、10種類のユーザー属性カテゴリにわたって検証したところ、ユーザー属性の記憶を与えると、最終的な回答は流暢で話題に沿った妥当なものに見えても、各モデルの「言い回しだけの雑音」の水準を超える、中程度から大きな推論のブレが生じることが分かった。また、GRPOやDPOといった事後学習手法でこのブレを軽減できるかも検証したところ、いずれもブレを減らす効果はあったが、どちらか一方が常に優れているわけではなく、有用性や指示追従能力への影響はモデルや報酬設計によって異なった。
意義
パーソナライズは「答えの内容」だけでなく「答えに至る考え方」まで変えてしまうという、見過ごされがちな副作用があることを定量的に示した。パーソナライズされたLLMを安心して使うためには、最終的な答えの妥当性だけでなく、推論過程の一貫性にも注意を払う必要があることを提起している。
論文8: AIとの協働がうまい人・下手な人――予測市場で見る人間の実力とハイブリッド知能
arXiv:2607.02467 | Vivienne Ming（所属機関の記載は確認できなかった）
発表日: 2026年7月2日
背景
人とAIが組んで作業すると成果が上がるのか下がるのかは、これまで平均値として1つの数字で語られがちだった。しかし著者は、その効果は人によって大きく異なるのではないかと考え、実際にお金が動く予測市場を使って検証した。
手法
著者は、実際の資金が賭けられる予測市場サービス「Polymarket」を、外部の結果によって客観的に正解・不正解が決まるベンチマークとして利用した予備的研究を行った。個々の予測者のレベルで、AIモデルと組んだときの成績を分析した。
結果
アブストラクトで確認できる範囲では、人とAIの協働の成果は一様ではなく、大きく3つのパターンに分かれた。多くの人はAIの予測にそのまま合わせるか、自分の最初の勘を単に後付けで正当化するために使うだけでAI単体より悪い成績になっていた一方、少数の人はAIと本当の意味で補い合う推論を行い、AI単体を上回る成績を上げていた。
意義
「人とAIを組ませれば必ず良くなる」という単純な期待に対して、実際にはごく一部の人だけがAIとの本当の意味での協働に成功しているという実態を示した。AIとの協働を活かせる人材の見極めや育成が、ハイブリッドな意思決定の成否を左右する鍵になる可能性を示唆している。
論文9: 画像に紛れた文字にだまされるCLIP――学習なしで弱点回路を見つけて防ぐ
arXiv:2607.02494 | Bohan Liu, Wenqian Ye, Guangzhi Xiong, Zhenghao He, Sanchit Sinha, Aidong Zhang（バージニア大学）
発表日: 2026年7月2日（ECCV 2026 採択論文）
背景
CLIPという画像と文章を対応づける学習方式で訓練されたモデルは、多くの視覚言語モデルの「目」の役割を担っている。ところがCLIPには、画像の中に無関係な文字が写り込んでいると、その文字の意味に引きずられて本来の画像の意味を誤認してしまう「タイポグラフィック攻撃」という弱点がある。これは自動運転のような安全が重要な用途では大きなリスクになりうる。
手法
著者らは、追加の学習を一切行わない「機械的解釈可能性」の手法を提案した。モデル内部の隠れた表現をサンプリングにより解釈し、視覚トランスフォーマー（ViT）の中のどの注意ヘッド（部品）が、本来の視覚的な意味ではなく文字の意味に偏って反応しているかを、確率的な分析と回路の掘り起こしによって特定した。そのうえで、特定した回路に対して注意の重みを選択的に調整するといった、シンプルな介入を試みた。
結果
学習を一切行わないシンプルな介入だけで、物体分類タスクにおけるタイポグラフィック攻撃への頑健性が大きく改善し、教師あり学習を使う手法や他の学習不要の防御手法をも上回る性能を示した。さらに、この介入を複数の最先端の視覚言語モデルの視覚エンコーダーに適用したところ、タイポグラフィック攻撃を受けた状態での視覚的質問応答（RIO-Benchというベンチマーク）の精度が大きく向上した。
意義
モデルを再学習せずに、内部のどの部品が弱点の原因かを特定して直接手当てするというアプローチは、コストをかけずに視覚言語モデルの安全性を高める実践的な方法を示している。モデルの「中身」を理解した上で狙い撃ちで弱点を直すという、解釈可能性研究の応用例としても意義深い。
論文10: 動くことを先に覚え、やることは後で教わる――ロボット基盤モデルの2段階事前学習TAP
arXiv:2607.02466 | Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu（復旦大学、上海イノベーション研究院）
発表日: 2026年7月2日
背景
カメラ映像・指示文・ロボットの動作の3点セットを集める「お手本データ」の収集コストが高いことが、視覚・言語・行動を統合したロボット向けモデル（VLA）の大きなボトルネックになっている。著者らは、このボトルネックの原因は「体の動かし方を覚えること」と「何をすべきかを理解すること」という、本来別々であるはずの2つの学習目標を一緒くたに扱っていることにあると論じる。実は後者だけが言葉による指示を必要とする。
手法
この「分解仮説」に基づき、著者らは「Task-Agnostic Pretraining（TAP）」という2段階の枠組みを提案した。第一段階では、失敗して捨てられた作業データやロボットが自律的に動き回るだけのデータなど、安価でラベルのない相互作用データから、「次にどう動くべきか」を自ら予測させる自己教師あり学習（インバースダイナミクス）によって、汎用的な運動の勘所を学習する。第二段階では、この運動の勘所に対して、少量のお手本データだけを使って言葉による指示との対応付けを教える、軽量な学習を行う。
結果
SIMPLERというベンチマークにおいて、TAPは100万件を超えるお手本データで訓練したモデルに匹敵する性能を、はるかに少ないラベル付きデータで達成し、標準的な模倣学習（ビヘイビアクローニング）よりも正解率が10ポイント絶対値で向上した。さらに実機のWidowXロボットを使った実験では、カメラの位置がずれるような外乱が加わった状況で、インターネット規模のデータで訓練した比較対象のモデルの成功率が0%まで落ち込んだのに対し、TAPは25%の成功率を維持した。
意義
ロボットに「動き方」と「やること」を分けて教えるという発想は、高価なお手本データへの依存を減らしながら、環境の変化に強い頑健なロボット基盤モデルを作るための実用的な道筋を示している。ラベル付きデータの収集コストがボトルネックになりがちな身体性AI（Embodied AI）の分野に、スケーラブルな解決策を提案した。