TokTier: prompt 缓存命中 94% 之后, 分词成了 TTFT 的 64%
编码 agent 每轮都重提交长转录。追加文本会改掉旧 token 的切分, 让前缀缓存静默失效。TokTier 用可证明的稳定边界做增量分词, 承诺输出与全量分词逐位相同。
标签
agents 2
Zero-Mem: 把 agent 记忆的 LLM 调用降到零, 只留最后一次回答
主流 agent 记忆用 LLM 抽取和合并记忆, 每步都烧 token 且用转述替换原始轨迹。Zero-Mem 只建两个非生成式索引, 记忆操作零 token, 比最快基线快 57.6%。