OSWorld 90.19% 的成绩核验:框架、代码动作与步数上限
一则厂商稿称首个桌面 agent 突破 90%。解析 OSWorld 官方评测表核对:成绩属实,但记录同时显示它是智能体框架、启用代码动作、步数上限 100——这三项决定该数字的解读边界。
结论
- 一条中文标题写着”首个突破90%成功率的桌面操作智能体,登顶 OSWorld 双冠”。我去 OSWorld 官方榜单的原始数据里核了一遍:数字是真的。
- 实在智能(Intelligence Indeed)的 agent 在 OSWorld-Verified 上拿到 90.19%,成绩 325.59/361,由 OSWorld 团队在统一环境下评测,不是自报。第二名 83.64%,领先 6.5 个百分点。
- 但标题省掉了三件关键的事,而这三件恰好解释了它为什么能赢:它是工程框架不是单个模型;它允许写代码执行动作;它的任务上限是 100 步。
- 所以”90%“不等于”AI 会用电脑了”。它等于:在一个允许写脚本、给足 100 步的框架里,把现有模型的能力榨到了 90%。这仍然是了不起的工程,但和”模型变强了”是两件事。
核验方法
这是我觉得比结论本身更值得写的部分。
那条中文报道来自 InfoQ 中国,属于典型的”厂商发稿”体裁:数字醒目、方法模糊、没有可点的原始出处。这种稿子不能直接信,也不该直接扔——它常常指向一个真实事件,只是包装过度。
OSWorld 官网首页的榜单是 JS 动态加载的,HTML 里看不到数据。我在页面脚本里找到了真正的数据源:
static/data/osworld_verified_results.xlsx ← 官方统一环境评测
static/data/self_reported_results.xlsx ← 厂商自报
这个分离本身就是信息量。 OSWorld 团队把”我们亲自测的”和”厂商说的”放在两个文件里,说明他们清楚自报成绩不可靠。核任何 benchmark 声明的第一件事,就是确认它落在哪个文件里。
我把 xlsx 下下来直接解了(它就是个 zip 里装 XML),排序后确认:
| 排名 | 系统 | 机构 | 成功率 | 类型 |
|---|---|---|---|---|
| 1 | Intelligence-Indeed Agent | 实在智能 | 90.19% | Agentic framework |
| 2 | Pointer Agent w/ Opus 4.7 | Pointer | 83.64% | Agentic framework |
| 3 | Coasty CUA v1 | Coasty Team | 82.81% | General model |
| 4 | Holo3-35B-A3B | H Company | 82.56% | Specialized model |
| 6 | Muse Spark 1.1 | Meta Superintelligence | 80.67% | General model |
榜上 142 条验证过的记录,第一名确实是它,确实是首个过 90% 的。这条中文标题没有撒谎。
报道未提及的三项记录字段
原始记录里有几个字段,报道通常不会提,但它们直接决定这个数字怎么解读:
Approach type Agentic framework
Max steps 100
Additional a11y tree used No
Additional coding-based action Yes
Multiple rollout No
Success/Total 325.59 / 361
第一,它是框架不是模型。 OSWorld 明确区分三类:通用模型(顺带会用电脑)、专用模型(专门训练来操作电脑)、以及 agentic framework(把多个模型编排成工作流,常见是一个当规划器、一个当定位器)。第一名和第二名都是框架。前四名里只有第三、第四是单模型。所以真正的结论是:当前阶段,编排的收益大于换模型的收益。这正是那句”从堆模型到拼工程”的意思,只是报道没解释为什么。
第二,它可以写代码。 Additional coding-based action: Yes —— 这个 agent 不只是模拟鼠标键盘,它能生成并执行脚本。在 LibreOffice Calc 这类任务上,写一段宏比点二十次菜单靠谱得多,而且这条路径几乎不会因为界面识别失误而失败。榜单上它的 Calc 类成绩是 46.0/47,几乎满分——这个分数用点击很难拿到。
第三,100 步上限,单次 rollout。 100 步很宽裕,但 Multiple rollout: No 是个诚实的信号:它没有靠”多跑几次取最好”来刷分。这一点值得肯定,因为多次 rollout 是 benchmark 上最常见的注水手段。
还有一个细节:Additional a11y tree used: No。它没用无障碍树(那是操作系统提供的界面结构信息,相当于给 agent 一份 DOM)。纯靠截图加代码执行做到 90%,比靠 a11y 树做到 90% 难得多。
边界与未验证项
- OSWorld 是 361 个任务的固定集合。在固定集合上做到 90%,和在真实桌面上做到 90%,是两回事——前者的任务分布是已知的,框架可以针对性优化(比如”遇到表格类任务就写宏”)。这不是作弊,但也不能直接外推。
- 我没有验证它的实现。
PaperLink指向一个 GitHub 仓库而不是论文,我没有读代码,也没有复现。我核实的是榜单记录本身:这个成绩存在于官方验证文件里,字段如上。 - 90.19% 意味着仍有约 35 个任务失败。哪些任务失败、为什么失败,比”90%“这个数字有信息量得多,但榜单没给。