强化学习基本概念 | 深度学习复习

原笔记：强化学习完整 15 点

Value V(s) 表示 state 长期有多好。TD-learning 用 immediate reward 和 next-state value 来更新当前 value。Q-learning 把 value 扩展到 state-action pair Q(s,a)，并使用 next state 的最大 Q 来学习 optimal action。真实问题 state 太多，lookup table 不现实，所以用 neural network 去近似 V 或 Q。但是 neural network 本质是 supervised learning 需要 target，而 RL 没有人工 label，所以 TD 方法用后面的 value 作为当前 state 的训练目标。

原图逐条转写

原笔记完整保留

RL 没有每一步标准答案，而是通过 Reward 学习。
S = State，A = Action，R = Reward，π = Policy。
Policy = 在什么 State 下选择什么 Action。
π* = 让长期 cumulative reward 最大的最佳策略。
γ = Discount Factor；小看眼前，大看未来。
Exploration = 尝试未知；Exploitation = 利用当前最好。
ε-greedy = 大部分选当前最好，少部分随机探索。
V(s) 看 State；Q(s,a) 看 State + Action；两个都是长期价值。
TD-Learning = 用 Next State 的 Value 修正 Current State 的 Value。
TD Error = 新估计 − 旧估计。
Q-Learning = 用 Next State 中最大的 Q 更新当前 Q。
V*(s) = max_a Q*(s,a)；π*(s) = argmax_a Q*(s,a)。
max 给最大数值；argmax 给最佳 Action。
Value Learning 学“有多好”；Policy Learning 学“怎么做”。
Policy Gradient：结果好就提高刚才 Action 的 probability；Actor–Critic = Actor 做动作，Critic 打分。

扩展理解：Value-based 方法先学习“动作/状态值多少”，再用 max 或 argmax 选动作；Policy-based 方法直接学习动作概率。Actor–Critic 同时保留两条线：Actor 产生策略，Critic 用 value / advantage 评价并指导更新。

先定义一个世界：MDPDefine a world: the MDP

MDP 就像定义一个游戏世界。以后无论使用什么强化学习算法，都要先知道：世界里有哪些状态、能做什么动作、世界如何变化、目标是什么，以及未来有多重要。An MDP defines the world an agent lives in: what it can observe, do, how the world changes, what counts as success, and how much the future matters.

SState
我现在在哪？
游戏：地图上的房间

AAction
我现在做什么？
游戏：可以按哪些按钮

δTransition
做完以后去哪？
游戏：按完按钮去哪

r / γReward / Discount
立刻得几分？未来多重要？

五个符号，一张世界地图Five symbols, one map of the world

S

状态（State）

我现在在哪？例如：智能体当前在家。

A

动作（Action）

我现在做什么？例如：开车、搜索或调用工具。

δ

状态转移（Transition）

做完以后去哪？环境从当前状态进入下一个状态。

r

奖励（Reward）

做完以后立刻得到什么？奖励用于说明目标方向。

γ

折扣因子（Discount Factor）

未来有多重要？γ 越大，越重视长期收益。

符号	意思	类比游戏	放进 GPT Agent
S	状态：我现在在哪？	地图上的房间	当前对话、已有信息、工具结果
A	动作：我现在做什么？	可以按哪些按钮	回复、搜索、调用工具、运行代码
δ	转移：做完以后去哪？	按完按钮去哪	对话和环境进入新的状态
r	奖励：立刻得到什么？	按完按钮得几分	是否帮助完成任务
γ	折扣：未来有多重要？	未来的钱今天算多少	为最终目标重视后续收益的程度

把 MDP 放进 GPT AgentPut the MDP inside a GPT Agent

Agent 每次动作都会让对话与外部环境进入新的状态。一个“好动作”不只是当前回复好看，而是更接近最终完成任务。Each agent action changes the conversation and environment. A good action is one that moves the task toward completion, not merely one that looks good right now.

S当前对话、已有信息、工具结果

A回复用户、搜索、调用工具、运行代码

δ动作执行后，对话和环境进入新状态

r是否帮助完成任务：满意、正确、完成

γ为了最终完成任务，重视后续收益的程度

WORLD MODEL → FUTURE AGENT

从 RL 到世界模型

MDP

定义世界

RL

学会行动

Model-based RL

先预测后决策

World Model

在内部模拟未来

例子：MuZero · Dreamer · V-JEPA · Cosmos · Genie

价值函数：固定策略后，这条路线值多少钱？Value: how much is this route worth?

策略规定“每个状态应该做什么”。价值函数则问：按照这个策略，从现在开始一路走下去，最后总共能赚多少钱？A policy says what to do in each state. The value function asks how much the journey is worth from now, if we keep following that policy.

① Strategy

规定怎么走。

② Value

按照这条走法，最终值多少钱。

③ Optimal Value

所有走法里最高的价值。

④ Optimal Policy

实现最高价值的那条走法。

Bellman 方程：现在 + 打折后的未来Bellman: now + discounted future

THE CORE IDEA

当前价值 = 当前奖励 + γ × 未来价值

一个状态值多少钱？不只取决于现在拿了多少奖励，还取决于它把你带到了什么未来。记住这句话，就抓住了 Bellman 方程的核心。What is a state worth? Not only the reward you get now, but also the future it leads to. That is the heart of the Bellman equation.

V(s) = r + γ · V(s′)

Bellman 期望方程：策略已定，按固定策略继续。
Bellman 最优方程：策略未定，把所有动作算一遍，取价值最大的动作：max

调整 γ：0.90不看未来 ← → 更重视未来

γ = 0.90：Agent 很重视未来，会愿意为了长期收益暂时等待。

动手算一次：哪个动作更值？Try it: which action is worth more?

假设 Agent 现在在家，选择动作后会得到不同的即时奖励，并到达不同的未来状态。点击动作，观察 Q 值如何把“现在”和“未来”合在一起。The agent is at home. Each action gives an immediate reward and leads to a different future state. Click an action to see how Q-values combine now and later.

Q(s, 开车去银行) = 2 + 0.90 × 8 = 9.20

Q value：状态加动作Q value: state plus action

Q 当前处于状态 S，现在选择动作 a，之后采取最优行为时的总价值。它回答的是：“我现在先做这个动作，值多少钱？”Q is the total value of choosing action a in state S, assuming optimal behavior afterwards. It asks: “How valuable is this action right now?”

Q = 状态评分 + 动作评分
Q(S, a) 是状态和动作的组合，而不是单独的状态。

V VS Q

V(S)我现在这个状态值多少钱？
状态评分

Q(S,a)我现在先做这个动作值多少钱？
动作评分

V(S) = max Q(S,a)
V 是状态评分，Q 是动作评分。

状态	a1	a2	每行最大值
S1	4.98	5.69	5.69 → 选择 a2
S2	10.98	10.69	10.98 → 选择 a1

强化学习真正要做的事情，就是不断学习每个动作的评分。Q 表学好之后，每到一个状态都“每行取最大”，策略 π* 就直接出现了。Reinforcement learning learns the score of every action. Once the Q-table is good, the policy appears by taking the maximum in each row.

Q-learning 更新公式：用经验修正评分The Q-learning update: revise a score from experience

Q-LEARNING TARGET

Q(S,a) ← Q(S,a) + α [ r + γ max_b Q(S′,b) − Q(S,a) ]

Q-learning 不需要事先知道最优策略，而是与环境互动，逐渐估计 Q*(S,a)。方括号里的部分叫误差：新的目标价值与旧 Q 值之间差多少，就修正多少。Q-learning does not need the optimal policy in advance. It interacts with the environment and gradually estimates Q*(S,a). The bracket is the temporal-difference error: update by the gap between the target and the old estimate.

α学习率
Learning rate

r当前奖励
Immediate reward

S′下一状态
Next state

γ折扣因子
Discount

max Q下一状态最好的动作
Best next action

Bootstrap：拿当前知识教自己Bootstrap: use current knowledge to teach yourself

Bootstrap = 用当前估计去更新另一个估计

Q-learning 不需要等到整个任务结束，而是利用当前对下一状态的估计来更新当前状态。它不等最终答案，先用自己目前学到的知识，继续教自己。Q-learning does not wait until the whole task ends. It uses the current estimate of the next state to update the current state—learning from its own current knowledge.

S当前有一个 Q(S,a) 估计

S′看到下一状态目前最好的价值

TD计算目标：r + γ × max Q(S′, ·)

↻用目标修正当前的 Q(S,a)

探索与利用：现在最好的，真的是最好的？Exploration vs exploitation

Exploitation · 利用

选择当前 Q 值最大的动作。优点是能利用已知信息；问题是早期 Q 值不准时，可能过早坚持错误动作。Choose the action with the highest current Q-value. It uses known information, but early estimates may be wrong.

Exploration · 探索

尝试当前看起来不太好的动作，发现更好的路线。如果永远选最大值，可能一直选 a1，永远不试 a2。Try actions that look worse to discover better routes. Always choosing the maximum may keep selecting a1 and never try a2.

ε-greedy 策略

以 1−ε 的概率选择当前最优动作；以 ε 的概率随机探索。Choose the current best action with probability 1−ε; explore randomly with probability ε.

调整 ε：0.2080% 利用 / 20% 探索

收敛的基本条件Basic conditions for convergence

所有可能的动作都必须有机会被尝试。不能永远只选择当前最优动作，否则没有机会修正错误的 Q 值。Every state-action pair must have a chance to be tried. Always selecting the current best action prevents wrong estimates from being corrected.

核心思想：
探索不是浪费时间，而是让正确的 Q 表有机会被发现。

每个状态—动作组合被充分访问

不能永远只选择当前最优动作

学习率逐渐减小，但不能下降过快

环境满足马尔可夫和奖励条件

Q-learning 的完整循环The Q-learning loop

1机器人来到一个状态 S

2按照 ε-greedy 选择一个动作 a

3获得即时奖励 r，进入下一状态 S′

4查看 S′ 中目前哪个动作最好

5计算目标：r + γ × max Q(S′, ·)

6更新当前 Q(S,a)，重复成千上万次

7最终得到正确的 Q 表，每行取最大得到最优策略 π*

本章最重要的三句话Three core ideas

01 · 已知 vs 未知世界Bellman 方程在已知世界中计算最优价值；Q-learning 在不知道世界时，通过不断尝试学习最优 Q 值。

02 · 学习对象Q-learning 学习的对象不是策略，而是 Q 表。策略只是 Q 表学好之后，每行取最大值的结果。

03 · Bootstrap它不用等最终结果，而是利用当前对未来的估计来更新当前状态的价值。

从这里往后：Q-learning 与算法Where this leads: Q-learning and beyond

Q 函数：衡量“在状态 s 采取动作 a”有多好。它比 Value 多回答一个问题：现在到底选哪个动作？

Q-learning
不断用 Bellman 最优方程更新 Q 值，让经验中的动作逐渐靠近最优价值。

后续会遇到的算法，本质上都在反复应用 Bellman 的思想：

Q-learning：从经验更新动作价值
Value Iteration：反复更新状态价值
Policy Iteration：交替评估策略、改进策略

一句话总结：强化学习就是在一个由 MDP 定义的世界里，学习一套策略，让长期累计奖励最大。

Value Learning、Policy Gradient 与 Actor–Critic

VALUE-BASED

Value Learning 学“有多好”

学习 V(s) 或 Q(s,a)，再通过 max 得到最大价值、通过 argmax 找到对应动作。Q-learning 属于这一类。

POLICY-BASED

Policy Learning 学“怎么做”

直接学习 π(a|s)。Policy Gradient 根据结果调整刚才动作的 probability：回报好就提高，回报差就降低。

ACTOR

Actor 做动作

Actor 按当前 policy 产生 action，是负责“怎么做”的部分。

CRITIC

Critic 打分

Critic 估计 value 或 advantage，判断 Actor 的动作比预期好还是差，并为策略更新提供学习信号。

Actor–Critic：Actor 负责动作概率，Critic 负责评价。两者结合可以在直接优化策略的同时，用 value estimate 降低更新噪声。

从这里往后：Q-learning 与算法Where this leads: Q-learning and beyond

Q 函数：衡量“在状态 s 采取动作 a”有多好。它比 Value 多回答一个问题：现在到底选哪个动作？

Q-learning
不断用 Bellman 最优方程更新 Q 值，让经验中的动作逐渐靠近最优价值。

后续会遇到的算法，本质上都在反复应用 Bellman 的思想：

Q-learning：从经验更新动作价值
Value Iteration：反复更新状态价值
Policy Iteration：交替评估策略、改进策略

一句话总结：强化学习就是在一个由 MDP 定义的世界里，学习一套策略，让长期累计奖励最大。

强化学习 QuizReinforcement Learning Quiz

40 道选择题覆盖本页全部知识点；每题选择后立即显示对错、正确答案与解析，选项顺序每次随机。

开始 40 题 Quiz →