1、同一个问题，不同的回答
你有没有发现，同样的问题问 AI 多次，得到的回答可能不一样？
有时候 AI 回答得很“保守”，精准但有点无聊；有时候又很“跳跃”，充满创意但可能跑题。
这不是 AI 在“随机发挥”，而是采样参数在起作用。
其中最关键的两个参数，就是 Temperature 和 Top-P。
2、从概率分布到“掷骰子”
回顾一下第一篇文章的核心：AI 的本质是在做“下一个 Token 预测”。
当 AI 要生成下一个词时，它实际上有一个概率分布——每个可能的词都有一个概率值。比如：
“今天天气” 后面：
- “不错” → 35%
- “很好” → 25%
- “很棒” → 20%
- “很好” → 10%
- 其他 → 10%
AI 不是选择概率最高的那个，而是从这个概率分布里“掷骰子”采样。
为什么要采样？因为这样可以让回答有变化，不会每次都一模一样。
3、Temperature：控制“随机性”的大小
Temperature（温度） 是一个控制随机性的参数。
它的取值范围通常是 0 到 2（有的模型可能不同）。
工作原理：
| Temperature 值 | 效果 | 描述 |
|---|---|---|
| 0 | 几乎确定 | 每次都选概率最高的那个词，回答几乎固定 |
| 0.7 | 适中 | 有随机性，但不会太离谱 |
| 1.0 | 原始分布 | 按照模型原本的概率分布采样 |
| 1.5 - 2.0 | 高随机性 | 非常“跳跃”，可能出其不意 |
3.1 Temperature 的数学原理
Temperature 的本质是对概率分布做“重新加权”。
原始概率分布：
P = [0.35, 0.25, 0.20, 0.10, 0.10]
经过 Temperature 处理后：
- T < 1：概率分布变得更“尖锐”，高概率的词更容易被选中
- T > 1：概率分布变得更“平缓”，低概率的词也有机会被选中
数学上，这通过在 Softmax 之前对 logits（原始得分）做除法实现：
P_i = softmax(logit_i / T)
当 T → 0 时，所有概率都集中到最高的那个词；当 T → ∞ 时，所有词的概率趋于相等。
3.2 什么时候用高 Temperature？什么时候用低？
低 Temperature（0 - 0.3）：
- 需要确定性回答：写代码、做翻译、总结事实
- 不希望有创意发挥的场景
- 格式化输出（如 JSON）
高 Temperature（0.7 - 1.2）：
- 需要创意发挥：写故事、头脑风暴、取名字
- 希望回答有多样性的场景
- 开放性问答
4、Top-P：控制“候选范围”
Top-P（也叫做 Nucleus Sampling） 是另一个控制随机性的参数。
它的取值范围是 0 到 1（通常 0.9 左右）。
Top-P 的工作方式是：从概率最高的词开始选择，累加概率，直到达到 P 为止。
举个例子，P = 0.9：
排序后的概率分布：
- “不错” → 35%
- “很好” → 25% → 累计 60%
- “很棒” → 20% → 累计 80%
- “很好” → 10% → 累计 90% ← 超过 P，停！
最终只有 [“不错”, “很好”, “很棒”, “很好”] 这四个词会成为候选，其他概率很低的词被排除。
4.1 Top-P 的直观理解
可以把它想象成：“我只考虑那些加起来能占总数 90% 的高概率词，其他太罕见的词就不考虑了”。
- Top-P 很小（如 0.1）：只选最确定的几个词，回答保守
- Top-P 很大（如 0.95）：候选范围很大，可能选到一些不太确定的词
5、Temperature 和 Top-P 的关系
这两个参数经常一起使用，控制的是同一个东西——从概率分布中采样的方式。
| 参数 | 控制维度 | 描述 |
|---|---|---|
| Temperature | 概率分布的“形状” | 控制整体随机性的大小 |
| Top-P | 候选词的数量 | 控制只考虑多“头部”的词 |
实际使用中，通常：
- 只调 Temperature，把 Top-P 设为 1（不做额外限制）
- 或者同时调两个参数
- 极端情况下，Temperature = 0 + Top-P = 0.1 可以获得非常确定性的输出
6、一个实际例子
假设我们要 AI 取一个项目名称：
Prompt: “帮我给一个新开发的笔记软件取个名字”
用 Temperature = 0：
“灵思笔记” 再问一次，还是“灵思笔记”
用 Temperature = 0.8：
第一次：“墨语笔记” 第二次：“轻记” 第三次：“云笺笔记”
用 Temperature = 1.5：
第一次：“量子墨水” 第二次：“记忆漂流瓶” 第三次：“思想的涟漪”
可以看到，温度越高，名字越有创意，但也越“飘”。
7、本质是什么
Temperature 和 Top-P 都是采样参数，控制的是“从概率分布中怎么选词”。
- Temperature 通过重新加权概率分布，控制整体的随机程度
- Top-P 通过限制候选词的数量，控制采样的“保守程度”
这两个参数让 AI 的输出从“机械固定”到“随机创作”成为可能。它们是 AI 从“搜索引擎”变成“创意伙伴”的关键。
理解了这两个参数，你就掌握了调节 AI 行为的第一把钥匙。
下一篇文章，我们会聊一个更底层的问题：Embedding——AI 怎么“理解”语义？为什么它能判断两段文字意思相近？
每天前进一小步，就是一个新的高度！