Multi-Agent Graph Convolutional Reinforcement Learning for Dynamic Electric Vehicle Charging Pricing

电动汽车(ev)已经成为一种很有前途的低碳交通目标。虽然有大量的公共充电站可用，但这些充电站的使用往往是不平衡的，给充电站运营商(CSOs)带来了许多问题。本文提出一种多智能体图卷积强化学习(MAGC)框架，通过为每个不断出现的收费请求提供动态定价，以优化多个长期商业目标，使公民社会组织能够更有效地利用这些站点。具体而言，首先将充电站基于用户需求的动态定价问题建模为一个混合竞争-合作的多智能体强化学习问题，每个充电站都是一个智能体;此外，通过将整个充电市场建模为一个动态异构图，设计了一个多视图异构图注意力网络，以融合智能体之间的多样化关系所诱导的复杂相互作用。然后，提出一个共享元生成器，基于提取的元特征为大规模且多样化的agent生成个性化定制的动态定价策略。最后，我们设计了一个对比异构图池化表示模块来学习一个浓缩而有效的状态动作表示，以促进大规模智能体的策略学习。在两个真实数据集上的大量实验证明了MAGC的有效性，并实证表明，如果充电市场中的所有充电站都采用我们的动态定价政策，充电站的整体使用可以得到改善。

 

 

 

图2显示了magc的框架概述。首先，将每个充电站视为一个agent，将CSRSDP建模为混合竞争-合作MARL任务;然后，采用一种具有分散执行与集中训练(DECT)架构的多智能体actor-critic方法，在大规模智能体上实现高效的分布式多智能体管理(dma)和有效的集中式多智能体策略学习(CMAPL)。具体而言，dma由一个多视图异构图注意力网络(MVHGAT)模块和一个共享元生成器模块组成，该模块对智能体之间的复杂相互作用进行建模，并根据提取的元特征为每个大规模智能体生成个性化定制的动态定价策略。在CMAPL中，设计了一个对比异构图池化表示(CHGPR)模块，用于从整个充电市场中学习智能体的精简而有效的状态动作表示。然后，critic利用该状态动作表示学习大规模智能体的协调策略。在CMAPL完成后，实际中只需要dma即可实现高效的充电站动态定价。