tokenization 1

TokTier: prompt 缓存命中 94% 之后, 分词成了 TTFT 的 64%

编码 agent 每轮都重提交长转录。追加文本会改掉旧 token 的切分, 让前缀缓存静默失效。TokTier 用可证明的稳定边界做增量分词, 承诺输出与全量分词逐位相同。

• llm
• inference
• agents
• tokenization