LLM 原理入门：从「猜下一个字」到 Transformer
1 先破除一个直觉：它不懂语言，它只会接龙 你在手机输入法中，一定会注意到：敲进去「今天天气真」，候选栏里第一个词永远是「好」。 输入法在干的事情只有一件——根据你前面打出来的字，猜你下一个字想打什么。它猜得又快又准，是因为它统计过海量文本里「今天天气真」后面出现过什么，「好」出 …
继续阅读分类
Llm
共 2 篇
KV Cache 与前缀缓存：原理、对比与 DeepSeek 的实践
1 从一个「重读」的直觉说起 上学时做数学大题，老师要求写步骤。如果每一步都要从第一行重新推导，一张卷子能写到天黑。草稿纸的价值，就是把中间结果留下来，后面直接引用。 大模型生成文字的方式，本质上和这件事一样：它一个字一个字地往外蹦，而每蹦一个字，都要「回顾」前面已经写下的所有字 …
继续阅读