TokTier: prompt 缓存命中 94% 之后, 分词成了 TTFT 的 64%
编码 agent 每轮都重提交长转录。追加文本会改掉旧 token 的切分, 让前缀缓存静默失效。TokTier 用可证明的稳定边界做增量分词, 承诺输出与全量分词逐位相同。
领域
2 篇
编码 agent 每轮都重提交长转录。追加文本会改掉旧 token 的切分, 让前缀缓存静默失效。TokTier 用可证明的稳定边界做增量分词, 承诺输出与全量分词逐位相同。
Cloudflare 给 Media over QUIC 加了开通接口:一次调用得到隔离中继,发布与订阅凭证分离,draft-16 支持。