AI Agent 前沿研究週報 W30:長程能力逼出新評測(OmniaBench、Workflow Gym、安全對齊)

AI Agent 前沿研究週報 W30:長程能力逼出新評測(OmniaBench、Workflow Gym、安全對齊)

中文 EN

本文研究窗口為 2026-07-20 至 2026-07-26(Asia/Taipei)。本週研究主線是:Agent 任務一旦延長,評測單位就必須從「答案」升級為「軌跡」。研究者開始同時檢查跨步驟規劃、真實工作流、工具權限與失敗復原。

長程模型:能力提升也放大暴露面

OpenAI 發布 Safety and alignment in an era of long-horizon models,把風險焦點放到能持續規劃、執行與適應的模型。長程能力的重要性不只在「做完更多」,也在模型有更多機會遇到未預期狀態、累積錯誤或繞過局部限制。

這類文章提出方向,但不等於完成證明。真正需要的是可重播的完整軌跡、介入點、權限變化、外部副作用,以及不同任務長度下的風險曲線。

OmniaBench:從單榜單轉向全身檢查

華為雲與北大本週公布 OmniaBench,試圖對智能體做多面向評估。價值在於承認單一成功率無法代表可用性:規劃、工具使用、記憶、穩健性與成本可能互相拉扯。

需要保留的疑問包括資料污染、任務代表性、評分器可靠度與 harness 對特定模型的偏好。若沒有公開樣本、版本化環境與失敗案例,綜合分數仍可能掩蓋致命短板。

Workflow Gym:把評測拉回真實流程

Workflow Gym 的訊號是減少純模擬測試與落地流程之間的落差。對企業 Agent 而言,重要的不只是最後答案,而是是否使用正確資料、遵守步驟、留下稽核證據,並在不確定時停止。

這方向要真正成立,需要公開任務來源、權限模型、錯誤注入與跨版本可重現性。否則「真實工作流」可能只是另一套封閉 demo。

多智能體與工具供應鏈

本週另有 Agent Primitives 模組化多智能體,以及惡意插件攻擊的研究線索。共同問題是:組合性提高復用,也擴大信任邊界。每個子 Agent、plugin 與 MCP server 都可能擁有不同資料與動作權限,系統安全不能只靠主模型拒答。

本週判斷

W30 的研究進展不是某個分數,而是評測對象正在改變:從模型輸出,變成帶權限、時間與副作用的執行軌跡。下一代 benchmark 應同時回報成功率、介入率、成本、策略違規與不可逆副作用。

Watchlist

  • 長程風險是否隨任務時間、工具數量或重試次數非線性上升。
  • OmniaBench 是否公開資料、harness、評分器一致性與污染分析。
  • Workflow Gym 的真實任務授權、可重現環境與跨模型結果。
  • 惡意插件在最小權限、簽章與 runtime policy 下的攻擊成功率。
  • 多智能體 primitive 是否帶來可測量的復用,而非更多協調成本。