07｜基础策略梯度法：Policy Gradient

1. 策略梯度方法是为了解决基于价值的强化学习方法在复杂场景中遇到的问题，直接对策略进行建模，并通过梯度上升最大化累积奖励。 2. 目标函数$J(\theta)$表示智能体在与环境交互的过程中能够获得最大的期望累积回报，通过梯度上升的方法来找到使得目标函数最大化的策略参数$\theta$。 3. 策略梯度方法的优势在于能够应对连续动作空间、高维状态空间和随机策略需求的场景，但也存在样本效率低、梯度方差大等局限性。 4. 策略梯度算法的执行流程包括初始化策略参数、与环境交互并收集轨迹、计算累积折扣回报、计算策略梯度以及更新策略参数。 5. 策略梯度方法凭借可学习随机策略、收敛性有理论支撑、适配高维状态空间及连续动作空间等核心优势，在博弈、机器人控制等多个领域展现出独特价值，但同时也面临着样本效率低、方差大且收敛慢、缺乏全局最优解保证等固有局限性。 6. 在高维状态空间的环境中，策略梯度方法具有较强的适应性，能够通过神经网络等模型直接处理高维状态，学习到有效的策略。 7. 策略梯度方法能够很好地处理连续动作空间的问题，例如在机器人控制领域，能够方便地让机器人学习到如何根据当前的状态调整关节角度，以完成特定的任务。 8. 策略梯度方法需要与环境进行大量的交互来收集轨迹，导致样本的利用率很低，这在一些真实环境中是一个很大的问题。 9. 优势函数定义为动作价值函数与状态价值函数的差值，即 $A (s_t, a_t) = Q (s_t, a_t) - V (s_t)$。它衡量了在状态$s_t$下选择动作$a_t$相对于平均水平的优势。 10. Actor-Critic 方法是将策略梯度方法和价值函数方法结合起来的一种混合方法，能够提高样本效率、降低方差和加快收敛速度。