强化学习实现智能城市规划，清华团队最新成果登Nature子刊

由于城市地理空间的多样性和巨大的动作空间，给城市布局用地和道路是一件非常复杂而困难的任务，长久以来一直依靠人类规划师的经验和直觉。如今，城市规划领域也有了自己的AlphaGo。

近日，清华大学电子系城市科学与计算研究中心与建筑学院跨学科合作，首次提出了强化学习的城市社区空间规划模型与方法，并实现了人类规划师与人工智能算法协作的城市规划流程，为智能城市的自动化规划提供了全新思路。该成果以“基于深度强化学习的城市社区空间规划方法”（Spatial Planning of Urban Communities via Deep Reinforcement Learning）为题在《自然·计算科学》（Nature Computational Science）上在线发表。该成果展示了人工智能技术在城市规划领域解决复杂规划问题的潜力，所建模型相比已有方法能够提高社区的空间效率50%。使用现有的真实社区作为初始条件时，该模型可以生成社区改造计划，将居民对各种服务的可访问性提高 18.5% 以上。在同期的新闻与观点文章中，MIT 可感知城市实验室（MIT Senseable City Lab）的研究科学家 Paolo Santi 评价道：“该成果解决了城市规划概念和计算上的关键难题，成功展示了人类与AI协作完成空间布局规划任务的可行性，为城市科学提供了丰富的未来研究方向。“

论文链接：

https://www.nature.com/articles/s43588-023-00503-5

代码及数据链接：

https://github.com/tsinghua-fib-lab/DRL-urban-planning

城市规划是一门既古老又年轻的学科，从城市诞生时就有了城市规划，而其理论与实践又在不断快速发展和完善。自上个世纪中叶开始，城市科学领域的学者就一直在研究城市规划的自动化问题，通过开发城市计算模型及规划支持工具，努力将城市规划师从繁琐的工作中解放出来。比如美国系统科学家福雷斯特在1970年提出城市动力学模型，英国学者迈克尔·巴蒂在1995年提出规划支持系统。然而，由于数据、算法、算力等方面的限制，当前的规划实践中用地和道路布局仍然主要依靠人类规划师的经验和直觉，自动化程度很低。

随着人工智能技术在近10年的突破性发展，尤其是强化学习算法在巨大解空间中进行多目标优化的强大能力被发掘，很多之前依赖人类直觉的规划类问题（如围棋、芯片设计等）都得到了有效解决，这使得利用人工智能强大的计算能力进行土地利用和道路布局成为可能。开发人工智能支持的城市规划工具能够解放人类规划师的生产力，使人类规划师更加专注于创意性的工作，具有很大的科学与应用价值。

针对城市社区“15分钟生活圈“ 规划，研究团队创新地提出了基于深度强化学习的城市社区空间规划方法。通过在虚拟城市环境中数百万次的规划，提出的人工智能模型能够从海量数据中学习城市规划能力，不断优化空间效率，并最终达到超越人类专家的规划水平。

城市规划序列决策过程

技术要点

由于城市社区形式多样且不规则，无法使用在围棋和芯片设计等具有规则输入的任务中广泛采纳的卷积神经网络。为了克服这一难题，研究团队首次提出从拓扑层面完成城市规划任务。具体而言，研究团队提出了一个城市拓扑图，用于描述城市地理元素的拓扑结构，其中城市地理元素作为节点，包括地块、道路、交叉口等，而空间邻接关系作为边。使用图模型能够为任意形式的城市社区给出统一的表示，将城市规划成功转化为图上马尔科夫决策过程，从而能够发挥深度强化学习算法在巨大解空间中高效搜索的能力，并实现城市社区用地和道路的智能布局。

(a)用地布局的图表示。(b)道路布局的图表示。

空间规划的另一个主要挑战是巨大的动作空间。为了减小动作空间，研究人员构建了一个价值网络预测空间规划的质量，和两个策略网络选择土地和道路的位置。通过从策略网络中采样动作并使用价值网络估计奖励，动作空间得到了大幅缩小。

为了获得城市地理元素的有效表示，研究人员又进一步开发了基于图神经网络（GNN）的状态编码器，GNN 状态编码器在价值网络和策略网络之间共享，它利用城市拓扑图上的消息传递和邻居聚合，捕捉城市地理元素之间的空间关系。通过在巨大的动作空间中进行高效的探索和利用来寻找良好的规划策略，所提模型相比于人类专家能够生成更高效的规划方案。

提出的强化学习模型（a）图神经网络状态编码器。（b）用地布局策略网络。（c）社区规划价值判断网络。（d）道路布局策略网络。（e）社区规划图上马尔科夫决策过程示意图。

在北京两个社区上的规划模拟实验表明，所提方法得到的社区规划方案能够显著提高“15分钟城市”的各项指标，生成的土地利用改造计划，能够将居民对各种设施的可访问性显著提高 18.5% 以上。

所提模型规划方案与已有算法性能对比（a-e）不同算法的规划方案：a 中心化启发式方法，b 去中心化启发式方法，c 遗传算法，d 多层感知机强化学习算法，e 所提方法。（f-g）15分钟城市性能指标对比：f 服务指标，g 生态指标。

同时，研究团队提出了一个 AI 与人类设计师协作的工作流程，其中人类设计师专注于概念原型设计，并利用该模型完成繁重和耗时的规划工作。通过设计人类规划师与人工智能的协作工作流，能够大幅提升人类规划师的工作效率，高效地生成不同风格的社区规划方案。

所提模型规划方案与人类专家性能对比（a-b）北京两社区服务与生态指标对比：a 回龙观社区，b 大红门社区。（c-d）北京两社区主观盲测结果：c 回龙观社区，d 大红门社区。

作者介绍

清华大学电子系城市科学与计算研究中心博士生郑瑜为论文第一作者，李勇副教授为通信作者；清华电子系博士后研究员林雨铭、清华大学建筑学院赵亮副教授、武廷海教授、清华大学电子系金德鹏教授为共同作者。