#benchmark

Benchmark 幻觉:榜单高分的 AI Agent,到你的真实业务里为何只剩 3–4 成成功率

公开榜单上,顶级 AI Agent 的分数一个比一个亮眼;可一旦接入你自己的私有系统,成功率往往骤降到三四成。本文用三组本周一手基准数据——真实私有企业代码库的 38.8% pass@1、77.4% 到 53.0% 的一致性缺口、长任务 73.4% 的失败率——拆解"演示很惊艳、上线就翻车"的三层差距,并说明为什么补上私有语境(而非追逐更高榜单分)才是企业落地的真正杠杆。