Agent 记忆系统：短期记忆与长期记忆的工程设计
1 先钉定义：短期和长期，按什么切 多数人第一次设计记忆系统时，会按内容重要性来切——“重要的事存长期记忆，闲聊放短期”。这个切法是错的，而且错得很贵。 正确的切法是载体。 大模型只有一处可写的工作区：上下文窗口。窗口之内的一切——系统提示、工具定义、对话 …
继续阅读标签
Llm
共 4 篇
Agent 评测：方法论与体系设计
01 为什么 Agent 评测需要体系化 划重点：Agent 评测是把「不稳定的智能行为」持续收敛成「可发布的工程质量」，不是上线前抽查。 和传统软件相比，Agent 的输入、输出和状态空间都更开放：用户表达不可穷举，模型输出有随机性，多轮对话会累积上下文，工具调用还会改变系统状 …
继续阅读LLM 原理入门：从「猜下一个字」到 Transformer
1 先破除一个直觉：它不懂语言，它只会接龙 你在手机输入法中，一定会注意到：敲进去「今天天气真」，候选栏里第一个词永远是「好」。 输入法在干的事情只有一件——根据你前面打出来的字，猜你下一个字想打什么。它猜得又快又准，是因为它统计过海量文本里「今天天气真」后面出现过什么，「好」出 …
继续阅读KV Cache 与前缀缓存：原理、对比与 DeepSeek 的实践
1 从一个「重读」的直觉说起 上学时做数学大题，老师要求写步骤。如果每一步都要从第一行重新推导，一张卷子能写到天黑。草稿纸的价值，就是把中间结果留下来，后面直接引用。 大模型生成文字的方式，本质上和这件事一样：它一个字一个字地往外蹦，而每蹦一个字，都要「回顾」前面已经写下的所有字 …
继续阅读