大语言模型（LLM）入门：从词向量到 Chat

最近系统梳理了一遍大语言模型的基础概念，把零散的认知整理成一篇笔记，方便日后回顾。

一、词向量：让机器"读懂"文字

计算机只能处理数字，所以第一步是把词变成向量。早期的 One-Hot 编码维度高且无法表达语义关系，而 Word2Vec、GloVe 这类词嵌入方法把词映射到低维稠密空间，语义相近的词在向量空间中也相近。经典的例子是：

vector("国王") - vector("男人") + vector("女人") ≈ vector("女王")

二、语言模型的本质：概率预测

语言模型做的事情其实很纯粹：给定上文，预测下一个词（token）的概率分布：

P(w_t | w_1, w_2, ..., w_{t-1})

ChatGPT 这类模型的回答，本质上就是在不断地从这个分布中采样下一个 token，循环往复生成整段文字。

三、训练的三个阶段

• 预训练（Pre-training）：在海量无标注文本上做自监督学习，学会语言规律和世界知识，得到基座模型。这一阶段算力消耗最大。
• 指令微调（SFT）：用"指令-回答"配对数据微调，让模型学会"听懂人话、按指令回答"。
• 对齐（RLHF / DPO）：基于人类偏好进一步调整，让回答更有帮助、更无害。

四、几个关键概念速记

• Token：模型处理文本的最小单位，中文 roughly 一个字或一个词片段。
• 上下文窗口：模型一次能"看到"的最大 token 数，超出部分会被遗忘。
• Temperature：采样温度，越高越发散，越低越确定。写代码调低，写创意文案调高。
• 幻觉（Hallucination）：模型一本正经地编造事实，这是概率生成机制的固有缺陷，RAG 是常见缓解手段。

小结

LLM 并不神秘：词向量负责"表示"，Transformer 负责"计算"，预训练负责"学知识"，微调负责"学对话"。理解了这条主线，再去看各种新架构和新技巧就有了锚点。