#benchmark

Benchmark 幻覺:榜單高分的 AI Agent,到你的真實業務裡為何只剩 3–4 成成功率

公開榜單上,頂級 AI Agent 的分數一個比一個亮眼;可一旦接入你自己的私有系統,成功率往往驟降到三四成。本文用三組本週一手基準資料——真實私有企業程式碼庫的 38.8% pass@1、77.4% 到 53.0% 的一致性缺口、長任務 73.4% 的失敗率——拆解"演示很驚豔、上線就翻車"的三層差距,並說明為什麼補上私有語境(而非追逐更高榜單分)才是企業落地的真正槓桿。