强化学习 (Reinforcement Learning)

强化学习基础

理解强化学习的核心概念：智能体、环境、状态、动作、奖励

马尔可夫决策过程 (MDP)

掌握 MDP 的数学框架：状态转移、奖励函数、折扣因子

Bellman 方程

理解值函数的递归关系和 Bellman 最优性原理

动态规划

学习 Policy Iteration 和 Value Iteration 算法

蒙特卡洛方法

基于采样的强化学习方法，不需要环境模型

时序差分学习 (TD)

结合 MC 和 DP 的优势，在线学习价值函数

Q-Learning

经典的 off-policy TD 算法，学习最优 Q 函数

SARSA

On-policy TD 算法，学习当前策略的 Q 函数

函数逼近

使用神经网络等函数逼近器处理连续状态空间

DQN (Deep Q-Network)

使用深度学习的 Q-Learning，Experience Replay 和 Target Network

策略梯度方法

直接优化策略参数，REINFORCE 算法

Actor-Critic 方法

结合价值函数和策略梯度，A3C、A2C 算法

PPO (Proximal Policy Optimization)

OpenAI 提出的高效策略优化算法，工业界广泛使用

DDPG (连续控制)

处理连续动作空间的 Actor-Critic 算法

SAC (Soft Actor-Critic)

基于最大熵的 off-policy 算法，样本效率高

基于模型的强化学习

学习环境模型进行规划，提高样本效率

多智能体强化学习

多个智能体协作或竞争的场景

离线强化学习

从固定数据集学习，无需与环境交互

逆强化学习 (IRL)

从专家演示中学习奖励函数

强化学习应用

游戏 AI、机器人控制、推荐系统、自动驾驶等应用