跨模型复用 KV 缓存:ridge 回归换掉 7 秒 prefill
NVIDIA 新论文:同家族模型的 KV 缓存之间关系近似线性,一个闭式最小二乘就能换算,比重算快 2.7~25 倍。但六对模型里两对失败——决定成败的不是误差多大,而是误差落在注意力读不读的方向上。
标签
inference 4
TokTier: prompt 缓存命中 94% 之后, 分词成了 TTFT 的 64%
编码 agent 每轮都重提交长转录。追加文本会改掉旧 token 的切分, 让前缀缓存静默失效。TokTier 用可证明的稳定边界做增量分词, 承诺输出与全量分词逐位相同。
自回归解码站在关键路径上：GUI 智能体的 650ms 截止时间问题
同一个冻结模型，只把动作生成挪出关键路径，650ms 截止窗口下成功率 0.50→0.79。瓶颈不在推理能力，在自回归解码的 411ms。
自省不如重复采样：等 token 成本下 7 种推理方法的 36 组对照
七种「让模型想得更好」的方法，在等 token 预算下和重复采样逐题配对：36 组对照零胜十负，输的全是自省类。