AI Agent 前沿研究週報 W29:Harness 開始學習,也必須被公平評測(MemoHarness、E3、GPT-Red)

AI Agent 前沿研究週報 W29:Harness 開始學習,也必須被公平評測(MemoHarness、E3、GPT-Red)

中文 EN

本文研究窗口為 2026-07-13 至 2026-07-19(Asia/Taipei)。本週研究的共同問題是:當 Agent 的差異越來越由外部 harness 決定,如何讓它從經驗改進、依任務調整投入,又不把 benchmark 搜尋誤認為泛化能力?

MemoHarness:從執行經驗改寫控制層

MemoHarness 把 harness 拆成六個可編輯控制面,保存逐案例診斷與全域模式,再於測試時檢索經驗、調整每個案例的 harness。作者在 shell agent、code generation 與 analytical reasoning 上報告相對固定 harness 的改善,並觀察到部分跨 suite、跨 base model 轉移。

價值在於把「記憶」從對話內容提升為控制策略;風險則是額外 context、錯誤經驗污染與缺少完整 component attribution。論文也明確把更廣泛的統計穩健性留給後續研究,因此目前應視為可行證據,而不是通用自我改進已解決。

E3:先估計,再執行,失敗才擴張

Do AI Agents Know When a Task Is Simple? 提出 Estimate–Execute–Expand(E3)與 Agent Cognitive Redundancy Ratio。其 121 個 deterministic edits 的 MSE-Bench 中,E3 維持最強 baseline 的 100% success,同時報告成本減少 85%、token 減少 91%、讀取檔案減少 92%。real-model case 也以實際 pytest 驗證 patch。

這是對「小修也先讀完整 repo」的精準批判。但主 benchmark 是能力受控 simulator,real-model 測試規模也有限;結果顯示 execution policy 值得優化,不代表百分比能直接外推到大型、模糊或安全關鍵任務。

Harness evolution 的反證:搜尋不等於學會

Rethinking the Evaluation of Harness Evolution for Agents 指出,自動 harness evolution 若一邊用公開 benchmark 回饋搜尋、一邊在同一 benchmark 報告結果,可能把額外 test-time search 與 overfitting 包裝成設計進步。作者在 Terminal-Bench 2.1、GPT-5.4 與 Claude Opus 4.6 的實驗中,發現它未穩定勝過匹配 budget 的簡單 scaling baseline,held-out 泛化也有限。

這項負結果非常重要:未來應公開 search budget、feedback 次數、held-out tasks 與跨模型結果。

GPT-Red:安全也進入自我對弈迴圈

OpenAI 7 月 15 日介紹 GPT-Red,以 self-play 訓練自動紅隊,攻擊瀏覽、檔案、郵件與工具輸出中的 prompt injection。官方報告在一套 internal mirror 場景上對 GPT-5.1 的成功覆蓋高於人類紅隊,並用攻擊資料訓練 GPT-5.6;但模型、完整資料與多項環境不公開,外部仍無法完整重現。

Watchlist

  • MemoHarness 的 ablation、長期記憶污染與跨組織資料隔離。
  • E3 在 monorepo、需求模糊與高風險變更上的最小充分範圍。
  • Harness evolution 是否採預註冊 held-out set 與匹配 search budget。
  • GPT-Red preprint、外部第三方測試與過度擬合攻擊分布的風險。
  • 成功率之外,是否共同報告 token、wall time、工具失敗與人工接管。