大模型的训练与推理

「产品经理的大模型基础」系列之二
上一篇：大模型的基本工作方式 · 系列入口 · 下一篇：提示词与任务设计

上一篇介绍了大模型的基本生成方式：模型基于上下文，逐个预测并生成 Token。这篇文章要进一步解释，它为什么能做这件事。

理解大模型的形成过程，可以把它分成三个阶段：预训练、后训练和推理。Transformer 与注意力机制是支撑整个过程的核心架构基础。

一、先区分训练和推理

“训练模型”和“使用模型”是两件不同的事。

• 训练：用大量数据调整模型参数，使模型逐渐形成语言和任务能力。
• 推理：训练完成后，模型根据用户这一次提供的上下文生成结果。

可以把训练理解为一个人长期学习语言、知识和技能；推理则是他在一次具体会议中，结合眼前材料回答问题。

模型在训练阶段学到了通用能力，但它不可能在每次用户提问时重新完成一次大规模训练。用户当前问题、企业资料和实时数据，通常是在推理时通过上下文或工具提供的。

二、Transformer 是什么

Transformer 是现代大模型的核心架构。它最初在 2017 年的论文《Attention Is All You Need》中被系统提出。

在 Transformer 出现之前，处理文字序列的模型往往需要按顺序逐步读取内容，处理长距离关系比较困难，也不容易充分并行训练。Transformer 以注意力机制为核心，让模型能够更直接地计算文本中不同位置之间的关系。

产品经理不需要掌握矩阵计算，可以先把 Transformer 理解成一个多层的信息加工系统：

1. 把 Token 转换成数值表示。
2. 结合位置信息，知道 Token 出现的先后顺序。
3. 通过注意力判断上下文中哪些部分彼此相关。
4. 经过多层处理，逐步形成更丰富的语义表示。

三、注意力机制在做什么

注意力机制解决的核心问题是：处理当前内容时，上下文中的哪些部分更重要？

例如：

用户找不到导出按钮。他尝试了三次，最后放弃了续费。这个问题严重影响了使用体验。

理解“这个问题”时，需要把它和“找不到导出按钮”联系起来。注意力机制会计算不同 Token 之间的相关性，使模型能够利用较远位置的信息。

多头注意力可以从不同角度建立关系：某些部分关注指代，某些部分关注语义，另一些部分可能关注句法或任务结构。经过多层处理，模型最终形成对上下文的综合表示。

注意力并不等于人类的注意力或意识，也不保证模型一定抓住正确重点。文本过长、信息冲突、表达含糊或噪声太多时，模型仍可能建立错误关联。

四、预训练：形成通用语言能力

预训练阶段，模型会接触大量文本，并反复执行预测任务。一个简化过程是：

读取文本
→ 拆分为 Token
→ 根据前文预测后续 Token
→ 与真实内容比较
→ 调整参数
→ 重复大量次数

为了预测得越来越准，模型会逐渐学习：

• 词语和句子的常见结构。
• 概念之间的关联。
• 不同文体和文档的组织方式。
• 一部分事实性知识。
• 翻译、摘要、分类、问答等任务模式。

模型参数不是一份可以逐条打开的网页副本，更像是大量语言规律和概念关系被压缩后的数值网络。因此，模型可能知道某个概念，却难以说明它具体来自训练数据中的哪一页。

预训练让模型“会语言、会续写、会模仿”，但基础模型并不天然知道怎样成为一个好用的助手。

五、后训练：让模型更会遵循人的要求

后训练发生在预训练之后，目标是让模型更符合实际使用需要。

常见方向包括：

• 指令微调：通过大量任务示例，让模型学习怎样按照要求回答。
• 偏好对齐：通过人类或其他反馈，让模型更倾向有帮助、清晰和符合预期的回答。
• 安全训练：减少危险、违规或明显不适当的输出。
• 推理训练（Reasoning Training）：通过可验证任务、过程反馈或强化学习等方式，增强模型处理数学、代码和多步问题的能力。

InstructGPT 的研究展示了一种有代表性的路径：先用人类编写的示范进行监督微调，再根据人类对不同回答的偏好继续优化。

后训练解释了为什么聊天模型通常能够理解“请总结”“请用表格输出”“请扮演客服”等要求。它也解释了为什么同一个基础模型经过不同后训练后，可以表现出不同的语气、拒答方式和任务偏好。

但后训练不是事实校验。更听话、更礼貌、更符合偏好的模型，仍然可能生成错误内容。

六、推理：用户发送问题后发生了什么

当用户真正使用模型时，系统进入推理阶段。简化流程如下：

1. 系统组装指令、用户问题、历史对话和外部资料。
2. 输入被转换成 Token。
3. Transformer 对上下文进行计算。
4. 模型得到下一个 Token 的概率分布。
5. 系统选出一个 Token，并继续生成。
6. 达到停止条件后，返回完整结果。

如果产品采用流式输出，用户会在模型尚未生成完全部内容时，先看到前面的 Token 逐步出现。

推理阶段直接影响用户体验和产品成本。输入上下文长度、输出长度、模型规模、是否多次调用，以及是否使用工具，都会影响延迟和费用。

七、推理阶段常见的控制项

模型训练完成后，产品仍然可以通过本次请求控制它看到什么、生成多长以及怎样返回。这些控制项共同影响质量、成本和体验。

Token 用量与成本

模型服务通常会区分输入 Token 和输出 Token。输入包括系统指令、用户消息、历史对话、检索材料和工具定义；输出是模型实际生成的内容。

用大白话说，成本不只来自用户刚输入的一句话。系统在幕后附加的长文档、几十个工具说明和重复历史，同样会占用 Token。Agent 多执行一轮，也通常意味着多一次模型调用和新的上下文成本。

缓存不是记忆

缓存（Cache）用于避免重复计算或重复请求。常见形式包括复用相同提示前缀的 Prompt Cache、保存应用层查询结果，以及推理内部用于加速逐 Token 生成的 KV Cache。

缓存的目标是更快或更便宜，不是让模型永久记住用户。缓存内容是否可复用、多久失效、是否包含敏感数据，仍需要产品和工程规则。

八、模型的“推理”与程序执行不同

大模型能够表现出分析和多步推理能力，但它仍然是概率模型。计算器执行确定算法，数据库返回真实记录，规则引擎严格判断条件；大模型则更适合理解语言、识别模式和处理开放问题。

实际产品经常采用分工：

理解这一区别，可以避免把所有问题都寄希望于“让模型多思考一会儿”。

九、从产品角度看模型生命周期

可以把整个生命周期概括为：

训练数据
→ 预训练形成通用能力
→ 后训练形成指令遵循与偏好
→ 部署为模型服务
→ 推理时接收当前上下文
→ 生成结果
→ 通过评估和反馈改进系统

其中，模型训练决定能力基础；推理时的上下文、工具和流程决定这次任务能否正确完成；评估则帮助团队判断系统到底哪里需要改进。

十、产品经理需要避免的几个混淆

企业资料更新，不一定需要重新训练模型

经常变化、需要引用的知识，更适合在推理时通过知识库提供。

模型参数更多，不自动等于更懂用户要求

指令遵循、偏好、安全和特定能力还受到后训练方式影响。

模型会解释，不等于解释就是它真实的内部过程

模型生成的说明本身也是输出内容，应关注最终答案是否有证据和能否验证。

推理能力强，不等于所有任务都该交给模型

精确计算、权限判断和业务执行仍应由更确定的系统承担。

本篇小结

这篇文章需要记住的主线是：

Transformer 和注意力机制让模型能够利用上下文；预训练形成通用能力；后训练让模型更会遵循人的要求；推理则把这些能力应用到当前上下文，并受到 System Prompt、输出长度、采样、缓存和成本约束。

下一篇将进入模型的实际使用：怎样通过提示词、示例、任务拆解和结构化输出，把一个模糊需求变成模型更容易正确执行的任务。

上一篇：大模型的基本工作方式　下一篇：提示词与任务设计

参考资料

• Attention Is All You Need
• Training language models to follow instructions with human feedback