ScrambleToolBench:智能体手里有正确的旧地图,却选择挨家挨户敲门
工具名被打乱后前沿模型仍能试探出行为,但中途置换四分之一标识符就让完成率从 93% 掉到 32%,三种扰动叠加更是掉到 3%——不是遗忘,是拒绝用旧地图做演绎。
标签
工具名被打乱后前沿模型仍能试探出行为,但中途置换四分之一标识符就让完成率从 93% 掉到 32%,三种扰动叠加更是掉到 3%——不是遗忘,是拒绝用旧地图做演绎。
编码 agent 每轮都重提交长转录。追加文本会改掉旧 token 的切分, 让前缀缓存静默失效。TokTier 用可证明的稳定边界做增量分词, 承诺输出与全量分词逐位相同。
主流 agent 记忆用 LLM 抽取和合并记忆, 每步都烧 token 且用转述替换原始轨迹。Zero-Mem 只建两个非生成式索引, 记忆操作零 token, 比最快基线快 57.6%。
人工重读全部 500 道题,68 道的题面与标准答案不对应。剔掉它们重排,131 个智能体里 64.1% 名次改变。
同一个冻结模型,只把动作生成挪出关键路径,650ms 截止窗口下成功率 0.50→0.79。瓶颈不在推理能力,在自回归解码的 411ms。
七种「让模型想得更好」的方法,在等 token 预算下和重复采样逐题配对:36 组对照零胜十负,输的全是自省类。
一则厂商稿称首个桌面 agent 突破 90%。解析 OSWorld 官方评测表核对:成绩属实,但记录同时显示它是智能体框架、启用代码动作、步数上限 100——这三项决定该数字的解读边界。