Deepseek

KV Cache 与前缀缓存：原理、对比与 DeepSeek 的实践

1 从一个「重读」的直觉说起 上学时做数学大题，老师要求写步骤。如果每一步都要从第一行重新推导，一张卷子能写到天黑。草稿纸的价值，就是把中间结果留下来，后面直接引用。 大模型生成文字的方式，本质上和这件事一样：它一个字一个字地往外蹦，而每蹦一个字，都要「回顾」前面已经写下的所有字 …

• inference
• kv-cache
• prefix-cache