本文研究窗口是 2026-05-11 到 2026-05-17（Asia/Taipei）。如果說產業線這週在把 Agent 變成「可交付的運營產品」（deployment / cyber harness / governance），那研究線這週的主題是：把 Agent 本身變成一個可嚴格評測與訓練的對象。

這意味著評測不再只看 final answer，而是開始追問：

• 它能不能在長流程裡維持一致性？
• 它能不能在高風險環境裡做出可驗證的行動？
• 這個「代理系統」的價值觀與行為偏好，是否會偏離底層 LLM？
• 我們能不能用更系統化的 framework 把 agentic modeling 變成可重複的工程？

下面挑 5 個本週最值得讀的方向（含 paper + blog）：

1. ExploitGym：把「漏洞利用」變成可量化的 agent 能力

過去的安全研究常停在「找漏洞、寫 PoC」的層級，但真正高風險的是下一步：能不能把已知漏洞變成可造成真實影響的攻擊。

ExploitGym 的切入點很直接：用標準化環境把「exploitation」當成 agent capability 來測，並且關注安全保護措施對 agent 成功率的影響。你可以把它看成是把 cyber domain 的 agentic task 做成可重放、可比較的 benchmark。

• Paper：ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?（2026-05-11）
• Berkeley RDI blog（更好讀的脈絡）：ExploitGym（2026-05-13）

我覺得 ExploitGym 的價值在於它把討論從「模型懂不懂漏洞」拉到「系統能不能造成 impact」，這會逼迫我們更嚴格地談 access control、verification、以及 “agentic harness” 的設計。

2. FutureSim：用「世界事件重播」測試代理的適應能力與預測校準

FutureSim 想解決的問題其實很貼近真實工作：很多 agent 的任務不是閉卷解題，而是要在資訊不完整、事件逐步揭露、結果延遲結算的世界裡做判斷。

它提出一個 grounded simulation：把真實世界的新聞與事件按時間序列重播，讓 agent 在「超出 knowledge cutoff」的時間段做預測與互動，並用機率預測（例如 Brier score）去衡量校準與效果。

• Paper：FutureSim: Replaying World Events to Evaluate Adaptive Agents（2026-05-15）

FutureSim 這種 eval 的價值在於：它更像真實 agent 系統的運行條件（資訊流、時序、延遲），也更適合拿來測「agent 的穩健性」而不是短答案的 correctness。

3. Context Training with Active Information Seeking：讓 context optimizer 真的去找資訊

很多「context management」方法只是在做壓縮、摘要或排序，但真實任務常常需要 agent 主動補洞：不知道就去查、缺證據就去找。

這篇 paper 的核心想法是：把 context optimizer 從被動摘要者，變成可以使用工具（例如 Wikipedia search、browser）的 active information seeker。

• Paper：Context Training with Active Information Seeking（2026-05-13）

這條線我認為會越來越重要，因為長流程 agent 的 failure mode 很多不是「推理不夠」，而是「上下文缺關鍵資訊、卻以為自己知道」。

4. Orchard：把 agentic modeling 做成可擴展的開源框架（Microsoft Research）

這週我最期待被工程社群消化的一篇是 Orchard：它不只是「又一個 orchestration framework」，而是把 agentic modeling 往「可訓練、可擴展、可重複的 recipe」方向推。

在 paper 描述中，Orchard 提供了用於 coding、GUI navigation、personal assistance 等任務的 specialized recipes，並在多個 agent benchmark 上報告表現。

• Paper：Orchard: An Open-Source Agentic Modeling Framework（2026-05-14）

如果你在做 agent 系統，這篇值得關注的點不是單一分數，而是：它試圖把 agent 的能力建設從「prompt+glue code」推向「可系統化的 training / evaluation pipeline」。

5. Agent-ValueBench：Agent 的價值觀可能偏離底層 LLM

安全研究常討論 alignment 與 value，但 Agent-ValueBench 的切入角度更貼近系統層：Agent 不是一個單一模型，它是模型 + memory + tools + rules + orchestration，這些東西會一起塑造行為。

這篇 benchmark 想要量化一個問題：agent 的 values 會不會與底層 LLM 的 values diverge？如果會，那是資料集、評測方式、或系統設計造成的？

• Paper：Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values（2026-05-11）

我認為這條線會在 2026 下半年更熱，因為企業真正擔心的不是 agent 會不會「講錯」，而是它在工具與權限存在時，是否會在某些情境做出組織不接受的行為選擇。

這週的共同結論

本週的研究訊號很一致：Agent 不再被當成「LLM 的一種提示技巧」，而是被當成「有行為、有代價、有風險的系統」。因此：

• 安全評測會更像「系統測試」而不是「問答測試」（ExploitGym）。
• 長流程可靠性與校準會被更嚴格地量化（FutureSim）。
• Context management 會變成 active information seeking（Context Training）。
• Agentic modeling 會往可訓練框架與 recipes 發展（Orchard）。
• 價值觀與治理將被系統化測量（Agent-ValueBench）。

下週 watchlist

• 會不會出現更多把 agent 行為「可重放、可審計」的 evaluation protocol（trace-level eval）？
• 安全領域是否開始把 exploitation / remediation 的 agentic workflow 接入真實環境（與 Daybreak 類產品交互）？
• Agent 值觀與政策遵循的 benchmark 是否會逐步產生可操作的工程建議（不只是測量）？

References

• ExploitGym: arXiv:2605.11086 (2026-05-11)
• Berkeley RDI blog: ExploitGym (2026-05-13)
• FutureSim: arXiv:2605.15188 (2026-05-15)
• Context Training with Active Information Seeking: arXiv:2605.13050 (2026-05-13)
• Orchard: arXiv:2605.15040 (2026-05-14)
• Agent-ValueBench: arXiv:2605.10365 (2026-05-11)