AI Agent 週報總覽 W31:能力競賽進入可靠性工程(產業×研究×開源)

AI Agent 週報總覽 W31:能力競賽進入可靠性工程(產業×研究×開源)

中文 EN

本文總結 2026-07-27 至 2026-08-02(Asia/Taipei)的 AI Agent 進展。W31 的共同訊號是:能力競賽沒有結束,但價值正在移向可靠性工程。模型是否能做,逐漸讓位給系統能否限制、觀測、驗證與復原。

本週三篇深度分析

三條線合起來代表什麼?

產業面,資安評估事件、跨供應商安全聯盟與即時語音部署,都迫使團隊把身分、憑證、egress、人工接管與事故回報放進產品規格。Agent 不是一個模型端點,而是一個持續執行且可能改變外部狀態的服務。

研究面,HANDBOOK.md、ORCA-bench 與 PatientAgentBench 分別暴露政策遵循、on-call 根因診斷與高風險病人對話的缺口。共同結論是成功率不夠:還要衡量違規、錯誤證據、不可逆動作、校準和人工介入。

開源面,Flue、Headroom、Open Code Review 與 MAI-UI 把 sandbox、上下文資料平面、混合規則及 GUI grounding 拆成可替換層。這提高組裝速度,也把安全、license 與 trace 相容性留給採用者負責。

給工程團隊的行動

先把每項 Agent 動作分成唯讀、可逆與不可逆三類;再為每類設定權限、核准、trace 與回復策略。評測至少同時計算任務成功率、政策違規率、人工接管率與每個成功任務的完整成本。最後保留原始工具輸出與重播能力,避免壓縮或摘要讓事故證據消失。

Watchlist

  • 真實資安評估事故的完整 root-cause reports。
  • policy-following、abstention 與 on-call benchmark 是否進入供應商標準評測。
  • harness 專案是否收斂到可攜的 trace、policy 與 sandbox 介面。
  • 語音、醫療與 GUI Agent 是否公開失敗率與人工接管資料。
  • 「成功任務成本」是否取代單純 token 價格成為採購基準。