Highway_env（Intersection）修改离散动作空间

前言

在十字路口环境中，主车默认的动作空间是以5m/s变化的加减速以及保持原速三个动作。有时候为了学习更优化的策略，同时与自己设置的奖励函数吻合，需要修改环境的动作空间。

这里我们主要添加两个较小加速度的纵向加速度动作，使得动作空间中有5个可以选择执行的动作。

动作空间修改方式

基于十字路口的环境，为了添加舒适性评判指标，需要增加动作空间，主要添加两个不同加速度值的离散动作。

需要修改以下几个地方：

1.首先修改自己定义的环境文件（myIntersection_env.py）：

在action中以字典的形式添加动作：

ACTIONS: Dict[int, str] = {
        0: 'SLOWER',
        1: 'IDLE',
        2: 'FASTER',
        3:'MOREFASTER',
        4:'MORESLOWER'
    }

2.其次需要修改highway_env/commom/action中动作的定义字典

    ACTIONS_LONGI = {
        0: 'SLOWER',
        1: 'IDLE',
        2: 'FASTER',
        3: 'MOREFASTER',
        4: 'MORESLOWER'
    }

3.然后要修改highway_env/env/commom/action中get_available_actions方法中的限制，需要添加代码：

        if self.controlled_vehicle.speed_index < self.controlled_vehicle.target_speeds.size - 1 and self.longitudinal:
            actions.append(self.actions_indexes['MOREFASTER'])
        if self.controlled_vehicle.speed_index > 0 and self.longitudinal:
            actions.append(self.actions_indexes['MORESLOWER'])

4.最后需要修改highway-env/highway_env/vehicle/controller.py中动作的选取方法

1）在全局变量中定义需要添加的动作的加速度值

DELTA_SPEED_DOWN=3

2）修改动作的选取方法（ControlledVehicle(Vehicle)类的act方法），添加以下代码

        elif action == "MOREFASTER":
            self.target_speed += self.DELTA_SPEED_DOWN
        elif action == "MORESLOWER":
            self.target_speed -= self.DELTA_SPEED_DOWN

3）修改动作的选取方法（MDPVehicle（ControlledVehicle）类的act方法），添加以下代码：

        elif action == "MOREFASTER":
            self.speed_index = self.speed_to_index(selfeed) + 1
        elif action == "MORESLOWER":
            self.speed_index = self.speed_to_index(self.speed)-1

这样就完成了动作空间的修改，注意一定要找到你下载的包的文件里面修改。如果该文章对您有帮助希望能得到您的点赞或者关注，后面也会更新更多有关highway_env、rl_agent、强化学习基础以及其他算法测试仿真平台的博文。

更正：

这篇动作空间修改文章存在一定问题，等有时间我会将其改正，主要问题是离散空间和连续空间动作杂糅了之后我会详细解释如何修改并附上链接，给您造成困扰敬请谅解。

修改离散动作空间转这：

离散动作的修改（基于highway_env的Intersection环境）_ego_vehicle的博客-CSDN博客https://blog.csdn.net/qq_53576285/article/details/130084979?spm=1001.2014.3001.5502