AI Agent 前沿研究週報 W25:評測有效性、記憶與技能路由成為主戰場

AI Agent 前沿研究週報 W25:評測有效性、記憶與技能路由成為主戰場

中文 EN

本文研究窗口是 2026-06-152026-06-21(Asia/Taipei)。本週前沿研究的主線不是單一模型突破,而是 agent infrastructure 的研究化:評測要能預測真實部署、記憶要可控可更新、技能要能被挖掘與路由,安全要假設 agent 會進入內部系統與實體場景。

1. 評測:靜態 leaderboard 不等於部署有效性

Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents 把問題說得很直接:agent benchmark 如果不能預測未來任務、不同 harness 或真實環境表現,它對工程決策的價值有限。

同週也有關於手機 agent benchmark 被 CLI / API gap 高估的報導。這提醒 builder:benchmark 名次應該被拆成模型能力、工具介面、harness 設計、環境分佈與 scoring policy,而不是當作單一真相。

2. 記憶:AtomMem 把長期記憶拆成 atomic facts

AtomMem: Building Simple and Effective Memory System for LLM Agents via Atomic Facts 針對 agent memory 提出更細粒度的做法:把可回收、可更新、可檢索的記憶拆成 atomic facts,而不是只把長上下文越塞越滿。

如果結果成立,它對產品的價值在於降低 memory drift:企業 agent 不只要「記得」,還要能知道某條記憶是什麼、何時更新、是否與新證據衝突。限制是:記憶系統仍需要在高噪聲、多租戶、權限隔離場景驗證。

3. 技能:從軌跡挖掘 SKILL.md,到 compositional skill routing

本週有兩條很實用的技能研究線:

  • Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining:從互動軌跡萃取可重用技能文件。
  • Compositional Skill Routing for LLM Agents: Decompose, Retrieve, and Compose:把任務拆解後檢索與組合技能。

來源:

這對 agent 產品尤其重要,因為 prompt library 很容易失控;真正可維護的形態更像「技能 registry + 任務分解器 + 執行觀測 + 回饋更新」。

4. 世界模型與長生命週期:agent 需要知道自己正在操作什麼系統

Can LLM Agents Infer World Models? Evidence from Agentic Automata LearningConnect the Dots: Training LLMs for Long-Lifecycle Agents with Cross-Domain Generalization Via Reinforcement Learning 都指向同一個問題:agent 不能只對當下 observation 反應,還要推斷環境狀態、規則與跨任務泛化。

限制:這類研究往往在受控環境中展示能力,離長期、開放世界、多工具、多權限的 production agent 還有距離。

5. 安全:Google DeepMind 把內部系統防護問題公開化

Google DeepMind 本週發布 How we’re securing internal systems against increasingly capable and imperfectly aligned AI。這不是抽象 AI safety,而是面向內部系統、權限、資料與不完美對齊 agent 的工程安全問題。

同週還有 SoK: Security and Privacy of Foundation-Model-Powered Robots。這讓 agent safety 從 prompt injection 延伸到內部系統、機器人與實體世界。

本週判斷

Agent 研究正在從「讓模型更會規劃」轉向「讓整個 agent system 可評測、可記憶、可學技能、可防護」。這對 builders 的啟示很務實:如果沒有 predictive evaluation、memory discipline、skill lifecycle 與權限邊界,再強的模型也會在長任務中失真。

Watchlist

  • Predictive validity 是否成為 agent benchmark 的標準報告項。
  • AtomMem 類方法是否能在多使用者、權限隔離的企業環境中穩定工作。
  • SKILL.md mining 是否能接上 IDE / browser / device agent 的真實軌跡。
  • Google DeepMind 的內部系統防護框架是否被其他 lab 或企業借鑑。
  • embodied agent security 是否從 SoK 走向可重現 benchmark。