Transformer

LLM 原理入门：从「猜下一个字」到 Transformer

1 先破除一个直觉：它不懂语言，它只会接龙 你在手机输入法中，一定会注意到：敲进去「今天天气真」，候选栏里第一个词永远是「好」。 输入法在干的事情只有一件——根据你前面打出来的字，猜你下一个字想打什么。它猜得又快又准，是因为它统计过海量文本里「今天天气真」后面出现过什么，「好」出 …

• llm
• transformer
• attention