跨模型复用 KV 缓存:ridge 回归换掉 7 秒 prefill
NVIDIA 新论文:同家族模型的 KV 缓存之间关系近似线性,一个闭式最小二乘就能换算,比重算快 2.7~25 倍。但六对模型里两对失败——决定成败的不是误差多大,而是误差落在注意力读不读的方向上。
标签
llm 7
ScrambleToolBench：智能体手里有正确的旧地图，却选择挨家挨户敲门
工具名被打乱后前沿模型仍能试探出行为，但中途置换四分之一标识符就让完成率从 93% 掉到 32%，三种扰动叠加更是掉到 3%——不是遗忘，是拒绝用旧地图做演绎。
TokTier: prompt 缓存命中 94% 之后, 分词成了 TTFT 的 64%
编码 agent 每轮都重提交长转录。追加文本会改掉旧 token 的切分, 让前缀缓存静默失效。TokTier 用可证明的稳定边界做增量分词, 承诺输出与全量分词逐位相同。
Zero-Mem: 把 agent 记忆的 LLM 调用降到零, 只留最后一次回答
主流 agent 记忆用 LLM 抽取和合并记忆, 每步都烧 token 且用转述替换原始轨迹。Zero-Mem 只建两个非生成式索引, 记忆操作零 token, 比最快基线快 57.6%。
自回归解码站在关键路径上：GUI 智能体的 650ms 截止时间问题
同一个冻结模型，只把动作生成挪出关键路径，650ms 截止窗口下成功率 0.50→0.79。瓶颈不在推理能力，在自回归解码的 411ms。
OpenAI 的十个数学结果：Lean 证书查得通，谁审的那一栏写着 agent
十份 Lean 证书、零个 sorry、三条标准公理，还配了对抗式复核工具。分水岭不在证明对不对，而在 formalization.yaml 里 review.status 写的是 agent-reviewed。
自省不如重复采样：等 token 成本下 7 种推理方法的 36 组对照
七种「让模型想得更好」的方法，在等 token 预算下和重复采样逐题配对：36 组对照零胜十负，输的全是自省类。