1.1 基本概念 | 自动驾驶小白说

1.1.1 网格世界示例

首先给出了课程中需要用的模拟场景: 一个有边界的网格世界. 由起点, 终点和禁止网格. 目的是得到一条从起点到终点的最优路径.

在网格世界示例中, 我们将状态定义为栅格的索引. 实际上, 更复杂的建模状态中可以包含:速度, 加速度, 角速度等等信息.

将一系列状态放进一个集合中称之为状态空间

如上图所示, 我们将动作定义为:向上走, 向右走等等. 将一系列动作放进一个集合中称之为动作空间

每一个状态都有对应的动作空间, 比如对于左上角栅格状态, 它能采取的动作只有向右, 向下和不动. 因此它的动作空间为:

也就是说, 动作空间是一个关于状态空间的函数:

从执行向右的动作到, 可以写作:

一般的, 采取动作从一个状态转移到另一个状态的过程, 定义为状态转移:

我们列举出了网格世界示例中, 所有的状态转移组合:

如果我们用条件概率来表达状态转移:

策略是指对于每一个状态而言, 为了抵达目的应该采取的动作称之为策略. 比如上图给出了在不同状态下, 绿色箭头就是对应的策略.

我们将策略定义为, 也就是当状态为时采取动作的概率, 上图的策略可以写成:

如上图, 如果策略可以按概率采取不同的动作, 则可以写成:

在程序中, 我们常常使用一个矩阵来表达完整的策略分布:

Reward是指采取动作之后, 得到的奖励值, 是一个标量. 奖励值越高, 采取的动作越受鼓励, 因此我们需要设计合适的Reward 函数来鼓励智能体采取我们希望的动作.

我们将处于状态s, 执行动作a, 奖励函数定义为:

以网格世界为例, 我们可以设计如下奖励:

所以可以写出: , ,

我们将一组连续的状态定义为Trajectory, 每一个状态都从上一个状态采取动作转移而来. 每次状态转移都有对应的奖励.

上图的trajectory可以写成:

将trajectory上每一步的奖励加起来, 定义为return:

如果我们在抵达终点之后, 没有中止游戏. 那么奖励值就会不停的+1导致发散:

为了解决这个问题, 可以采取discounted return, 也就是奖励值的加权和:

其中是远期奖励值的权重. 这样可以增加近期动作获得奖励的权重, 减少远期动作获得奖励的权重.