本文研究窗口為 2026-07-06 至 2026-07-12（Asia/Taipei）。本週研究主線不是再造一個平均分，而是解釋為何 agent 在短任務看似會做，到了長任務卻崩潰：工具錯誤、隱藏狀態、脈絡累積、協調與評測失真會相互放大。
跨 benchmark 的六類失敗
Beyond the Leaderboard 於 7 月 7 日發布，綜合 27 篇 benchmark、taxonomy 與 audit 研究，整理出六群失敗：工具與參數、規劃與限制、長時脈絡退化、多代理協調、安全、measurement validity。最重要的結論是失敗會隨任務長度非線性累積；單一子任務很強，不等於端到端可靠。
限制也很明確：這是文獻綜述與分類，不是新的統一實驗。分類品質取決於被納入研究與作者如何對齊不同錯誤定義。它的價值是提供 incident taxonomy，讓團隊不要只記「模型答錯」。
OSWorld 2.0：把專業工作拉到數百次動作
OSWorld 2.0 提供 108 個長時電腦工作流；每個任務的人類中位完成時間約 1.6 小時，代理平均可需要數百次工具呼叫。作者報告最佳系統在主要 500-step binary metric 仍只完成約 20.6%，並觀察代理常漏掉途中出現的新資訊、猜測而不詢問、忽略驗證或失去隱藏狀態。
這比「點某個按鈕」更接近工作，但仍是受控 benchmark。真實企業環境還有權限、延遲、通知、多人編輯與不可逆動作。它最適合用來測試 checkpoint、state recovery、asking policy 與 verification，而非宣稱某模型已能取代完整職務。
PlanBench-XL：工具越多，恢復能力越重要
PlanBench-XL 設計 327 個零售任務與 1,665 個工具，並以 missing、failing、distracting functions 模擬現實中不可靠的工具空間。論文報告領先模型在無阻塞情境可達約 51.9%，嚴重阻塞下降到約 11.36%。沒有明確錯誤訊號、或需繞更長替代路徑時尤其脆弱。
研究意義不是某個百分比，而是「tool retrieval + execution + recovery」必須一起評估。生產系統應記錄工具候選、參數、回傳、錯誤分類、替代計畫與停止理由。
綜合判斷：可靠度是軌跡層問題
三篇研究共同指出，agent reliability 不能只靠更強 base model。需要階段性 checkpoint、明確 constraint ledger、狀態重新讀取、失敗分類、可復原工具與獨立 verifier。多代理 scaffolding 也不是免費提升；它會引入交接與共享狀態的新錯誤面。
Watchlist
- OSWorld 2.0 任務、artifact 與 safety reports 的外部重跑結果。
- PlanBench-XL 是否被擴展到金融、醫療或開發工具空間。
- failure taxonomy 能否轉成通用 trace schema 與 incident dashboard。
- 新模型是否公布長任務完整率，而非只公布 partial score。
- verifier、checkpoint 與 human escalation 對成本/成功率的實際 trade-off。
