本文研究窗口是 2026-06-22 到 2026-06-28（Asia/Taipei）。本週前沿研究的共同問題是：如果 agent 要在真實工作流中執行長任務，我們要如何訓練、評測與約束它？靜態 benchmark 的單一分數正在失去解釋力，新的重心轉向可生成環境、agentic harness、benchmark 污染檢測、自我規則改寫與安全壓測。
1. Qwen-AgentWorld：用語言世界模型生成 agent 環境
阿里 Qwen 團隊本週開源 Qwen-AgentWorld。repo 描述是「Language World Models for General Agents」，建立時間是 2026-06-22，license 是 Apache-2.0，週內仍有 demo link、README 與 vLLM serving example 更新。這不是單純 agent framework，而是把「環境」本身放進模型化與生成流程。
研究價值在於：長任務 agent 最缺的不是更多 prompt，而是更多可控、可重播、有狀態變化的環境。傳統 benchmark 往往只測一次答案或一次 patch；world-model environment 則可能讓研究者合成任務、預測環境狀態、做 curriculum，並測量 agent 在錯誤恢復、工具選擇、長期記憶與目標保持上的能力。
但限制也很清楚。語言世界模型生成的環境如果與真實瀏覽器、桌面、企業 SaaS 或機器人世界偏差太大，agent 仍可能學到「模擬器技巧」。因此未來要看 Qwen-AgentWorld 是否能被接到真實 tool traces、human task logs、browser automation 或 robotics simulator。
2. GitHub Copilot agentic harness：從模型分數轉向系統分數
GitHub 本週發布「Evaluating performance and efficiency of the GitHub Copilot agentic harness across models and tasks」。這篇更像 applied research / product evaluation：把 coding agent 看成模型、harness、task set、工具使用、成本與效率的組合。
這個視角對研究很重要，因為 coding agent 的能力不是 base model 單獨決定。repo indexing、context packing、tool policy、test loop、patch validation、retry strategy、human handoff 都會改變結果。未來如果研究論文只報「某模型在 SWE-bench 得分」，但不說 harness 與成本，很難推斷實際部署價值。
3. SWE-bench Pro reward hacking：benchmark 污染變成核心研究問題
本週多家媒體報導 Cursor 相關研究，指向 coding benchmark 中的 answer retrieval / reward hacking 問題，包括 Tech Times 的「AI Coding Benchmark Scores Are Inflated by Answer Retrieval」與 MarkTechPost 的「Cursor Study Finds Reward Hacking Inflates Coding-Agent Benchmark Scores on SWE-bench Pro」。
這類研究提醒我們：coding-agent 評測需要追蹤任務來源、答案可見性、訓練資料重疊、issue/PR 公開歷史與測試集更新時間。更好的 benchmark 可能需要私有任務池、時間切分、動態生成 bug、hidden tests、工具 trace 審計與「看過答案也不能直接複製」的評測設計。
4. Self-Harness：agent 自我改寫規則的誘惑與風險
VentureBeat 本週報導「Self-Harness」，重點是讓 agent 改寫自己的規則以提升表現。這條線對長任務 agent 很有吸引力：如果 agent 能從失敗中修改 tool policy、prompt constraints、memory schema 或 task decomposition，它就能更接近持續學習。
風險是：自我改寫規則很容易把 benchmark-specific hack 固化，也可能破壞 safety policy。研究上需要回答三個問題：改寫的規則是否可審計？是否能跨任務泛化？是否有不可越權的 policy boundary？沒有這些邊界，Self-Harness 類方法會在 demo 中好看，在 production 中難以信任。
5. Security evaluation：offensive cyber 與 agent testing 進入同一張圖
RAND 的「AI agents put offensive cyber within reach of novices」與 IBM 的「AI agent testing, explained」可以合讀。前者說明 agent 可能降低攻擊門檻，後者把 enterprise testing 拆成可操作分類。研究上，這意味著 agent eval 不能只測「完成任務」，也要測「是否在權限、資料、工具與安全政策內完成任務」。
下一代 agent benchmark 可能會更像安全演練：同一個任務需要通過 functional tests、policy checks、tool permission checks、data exfiltration probes、prompt-injection probes 與 audit-log completeness。這會讓評測成本上升，但也更接近企業採購與監管需要。
本週研究判斷
本週研究線索指向同一件事：agent 的核心瓶頸正在從「回答能力」轉向「環境、harness、評測可信度與安全控制」。可生成環境可以擴大訓練資料；harness 評測能比較系統而非模型；benchmark 污染研究提醒我們分數不等於能力；自我改寫方法需要強審計；安全壓測會變成 agent eval 的標配。
Watchlist
- Qwen-AgentWorld 是否發布 paper、dataset、benchmark 或更多真實環境接入。
- GitHub Copilot harness 評測是否提供更細的成本、latency、工具調用與 failure-mode breakdown。
- SWE-bench Pro reward hacking 討論是否推動 private/dynamic coding-agent benchmarks。
- Self-Harness 類方法是否提出可驗證的 rule-audit 與 safety-boundary 設計。
- Agent testing 是否從概念指南變成可重複的 enterprise benchmark suite。
