gym中的discrete类、box类和multidiscrete类

gym中的discrete类、box类和multidiscrete类

参考资料:

  1. 深度解析OPENAI-MADDPG
  2. 解读gym中的action_space和observation_space
  3. openai /multiagent-particle-envs

1.discrete类

  • Discrete类对应于一维离散空间
  • 要定义一个Discrete类的空间只需要一个参数n就可以了
  • discrete space允许固定范围的非负数

2.box类

  • box类对应于多维连续空间
  • Box空间可以定义多维空间,每一个维度可以用一个最低值和最大值来约束
  • 定义一个多维的Box空间需要知道每一个维度的最小最大值,当然也要知道维数。

3.multidiscrete类

  • 用于多维离散空间

  • 多离散动作空间由一系列具有不同参数的离散动作空间组成

    • 它可以适应离散动作空间或连续(Box)动作空间

    • 表示游戏控制器或键盘非常有用,其中每个键都可以表示为离散的动作空间

    • 通过传递每个离散动作空间包含[min,max]的数组的数组进行参数化

    • 离散动作空间可以取从min到max的任何整数(包括两端值)

maddpg中在train开始的时候,把不同种类的动作建立成了各种不同的分布, 最后的动作输出的是分布,根据分布最后采样得到输出值。

  • Box 连续空间->DiagGaussianPdType (对角高斯概率分布)
  • Discrete离散空间->SoftCategoricalPdType(软分类概率分布)
  • MultiDiscrete连续空间->SoftMultiCategoricalPdType (多变量软分类概率分布)
  • 多二值变量连续空间->BernoulliPdType (伯努利概率分布)

你可能感兴趣的:(学习强化学习,强化学习,openal,深度学习)