伯克利 RDI 的一篇文章称，研究者在不真正完成任务的情况下几乎刷满多个 AI Agent 基准分数，引发社区对评测可信度的集中讨论。
Hacker News 今日热议的一篇文章指出，部分主流 AI Agent 基准测试可能存在被“策略性取巧”轻松攻破的问题。根据讨论摘要，研究者声称自己在没有真正解决任务的前提下，依然在多个知名 Agent benchmark 上拿到了接近满分成绩。文章提到，这些“漏洞”从非常简单的输入技巧，到更复杂的环境层包装利用都有，说明当前不少评测框架更像是在测试系统是否会被钻空子，而不一定能真实反映代理能力。
这件事之所以重要，是因为 AI Agent 赛道如今高度依赖 benchmark 排名来做产品宣传、融资叙事和技术路线判断。一旦评测本身可被系统性利用，那么高分不再等于高能力，整个市场对“谁最强”的认知就可能被误导。尤其是在自动编程、办公代理、浏览器代理等竞争激烈的方向，评测榜单几乎已成为核心营销资产。
对行业的直接影响是，未来 Agent 评估会更强调真实任务完成率、抗作弊设计和端到端可验证结果，而不是只看静态分数。对用户和投资人来说，这也是一个提醒：看 AI 产品时不能只看跑分，还要看是否真的能稳定完成工作。短期内，这类争议也可能倒逼整个 Agent 生态加速建立更严谨的公开评测标准。
来源：Hacker News
订阅工具岛 Newsletter
每周五发送最新的 AI 工具榜单、内容模板与增长实验，帮助你快速验证想法。
继续探索
继续你的阅读之旅
AI 安全进入“系统战”：小模型也能复现 Mythos 级漏洞分析
AISLE 最新文章称，他们用多款小型开源模型复现了 Anthropic Mythos 展示的多类漏洞分析结果，说明 AI 网络安全能力并非线性依赖超大模型，真正护城河更可能在系统编排和安全工作流。
伯克利研究直指 AI Agent 榜单失真：八大基准可被“零解题”刷到近满分
加州大学伯克利团队发布研究称，SWE-bench、WebArena、GAIA、Terminal-Bench 等 8 个主流 AI Agent 基准都存在可被系统性利用的漏洞，攻击者无需真正完成任务，也能拿到接近满分成绩。