2022（一等奖）B1014基于深度学习与街景图像的城市色彩感知与分析——以深圳市罗湖区为例

 小组编号：B1014（一等奖）
作品名称：基于深度学习与街景图像的城市色彩感知与分析——以深圳罗湖区为例
作者单位：深圳大学建筑与城市规划学院
小组成员：吴若楠，曾绿，廖童欣，李丁一祺
指导老师：涂伟

作品视频

，时长14:53

作品介绍

1 应用背景

城市色彩是指城市外部空间中各种视觉事物所具有的色彩，是整个城市印象的重要组成部分,对于城市具有装饰作用、标志作用，体现并影响着城市的整体环境和特色风貌，并且承载着传递情感的重要作用[1-3]。但在城市发展过程中，由于缺乏总体的科学规划，城市色彩出现不协调、混乱甚至污染的问题，拉低了城市整体印象[4]。近年来，合理配置城市色彩成为营造城市形象的重要指标。2020年上海发布《营造城市色彩，建设美丽上海研究》规划文件，2022年，福州印发实施《福州市城市色彩规划实施导则》，国内越来越多城市开始重视并着手解决城市“色彩病”，打造各具特色的色彩空间。

根据心理学相关研究，人们的视觉感知可以迅速捕捉到事物的色彩。人们在城市中活动，城市色彩从视觉感官上作用于人们的情绪，对人们的生理、心理起到潜移默化的影响。尽管存在许多室内色彩对人的情绪影响的相关研究，从城市层面探究色彩对人的情绪影响的研究却少之又少。部分研究直接借用色彩心理学知识来解释，缺乏验证，无法直观呈现城市色彩对人们心理感受的实际影响，更难以将其应用于城市色彩分析之中。

在传统的城市色彩研究中，色彩分析依赖于手工化的小样本图像采集，选择部分代表区域精细化采样以保证一定的工作效率，不能解决精细化分析和大尺度需求的矛盾[5]。近年来，随着计算机视觉领域的发展和相关机器学习算法的开发，街景图像数据的采集以及机器学习的快速发展使得城市尺度下建筑色彩大规模、定量化测度成为可能，同时解决了精细化分析和大尺度需求之间的矛盾。

本作品基于万张城市街景影像，利用计算机视觉、机器学习等方法提出城市色彩分析新途径。具体过程如下：（1）通过爬取百度街景图像，构建街景影像数据库，设置问卷并通过问卷调查获得部分街景色彩评分数据集。（2）通过语义分割剔除街景影像的天空部分，利用聚类算法提取影像色彩，分析识别街道色彩空间配置。（3）利用深度学习方法结合评分数据集和色彩聚类结果对全部街景影像样本进行评价，分析色彩空间配置与居民感知的关系。通过以上过程，我们融合了客观街景色彩数据与主观色彩感知数据对城市色彩进行分析，为城市色彩规划提供参考，有利于改善城市视觉感受，打造独特城市色彩风格，从而达成提升城市形象的目标。

2 设计思路

2.1设计流程

图1 作品设计流程图

2.2 设计特点

2.2.1 创新的色彩感知数据组合方式

街景全景图像遍及整个罗湖区，数据量大，分布区域广泛，数据密度高；问卷针对不同人群发布，最终选取有效问卷数据集。二者的结合为城市色彩识别与分析提供更全面、更细节的数据来源，为城市色彩分析提供良好基础。

2.2.2 高效的色彩感知分析方法

针对大量高清街景图像，采取单张聚类多张组合的方法得到城市色彩数据集。根据问卷数据集使用机器学习得到覆盖全城市的街景图像的多维度色彩感知数据集，从而实现高效的的城市色彩感知分析。

2.2.3 深度学习与地理数据结合

利用Geoscene Pro中的深度学习功能识别天空与其它要素，结合神经网络得到打分数据进行城市中多维度的色彩分析，融合地理信息得到城市中不同角落的多维度色彩评分，实现了覆盖全城市的多维度色彩量化测度。

2.3 主要功能及实现

2.3.1 街景数据集构建与数据预处理

本作品以深圳市罗湖区为研究对象进行街景数据集的构建。深圳市罗湖区是开发最早的城区之一，素有“一半山水一半城”之美称，见证了深圳的发展过程，其城市建筑也代表着深圳发展的历史，为此我们选取该区作为研究对象，探究深圳的城市色彩规律与居民的感知关系。

我们获取了20000张左右百度街景全景图，采集点以50米为间隔。在数据筛选过程中，我们以100米为间隔，选取10000张左右街景图构建初始数据集。

图2 部分研究区域示例图

2.3.2 街景图像深度学习语义分割

由于街景图像中天空部分会对街景色彩提取产生较大影响，故需要对天空部分进行剔除。我们使用GeoScene Pro标注街景图像的空间语义，区分为天空和其它类，并利用Export Training Data For Deep Learning将多个标注文件追加成一个训练集。之后生成以街景图像为学习对象、以设定的sky类和else类要素为特征的可用于语义分割的U-Net-Pixel Classification深度学习模型。利用训练后的深度学习模型，将输入街景图像识别为两类要素，获得每一类空间语义的分布。最后，利用Model Builder，使用迭代器迭代栅格数据，提取非天空的要素作为掩膜，输出去除天空的街景图像。

图3 model builder实现批量化处理

2.3.3 构建城市色彩数据集

由于街景图片色彩繁多，不便对每一种颜色进行定量统计研究。在构建色彩数据集时采用对图像色彩进行k-means聚类的方法，得到每张街景的色彩聚类直方图。

图4 色彩聚类直方图

图5 k-means聚类算法流程

根据每张街景色彩聚类直方图中每种颜色的RGB最大值与最小值之差，进行由高到低排序。排序靠前说明该色彩RGB之间差值越大。取排序后排名前十的色彩，统计其占比，将占比最大的色彩作为该街景图的主导色。

2.3.4 构建色彩感知数据集

我们通过问卷调查收集500张随机挑选的街景影像在不同情感维度上的打分，作为评价数据集；然后根据问卷评价数据集对色彩聚类直方图进行分类，并将分类结果作为输入数据，基于神经网络训练生成不同情感维度的图像分类模型。

2.4 分析方法

2.4.1 色彩空间分布分析

（1）区域色彩识别与可视化

根据HSV色彩空间将街景点色彩分为红橙黄绿青蓝紫黑灰白10种。使用GeoScene Pro软件的创建渔网工具和剪裁工具，将罗湖区划分网格面的形式，并删除没有数据的渔网。使用GeoScene Pro软件的标识工具使街景点与渔网id匹配，然后计算每一渔网中出现频数最高的色彩，将其可视化到地图上。

（2）对饱和度、明度分析

对街景点与社区矢量图使用交集制表工具得到包含各个社区内街景点的数量和街景点色彩的饱和度(S)之和与明度(V)之和的表，再将该表连接到社区矢量地图上，并用字段计算器计算出各个社区内街景点的色彩饱和度均值和色彩明度均值，最后进行热点分析，分别得到区域的饱和度与明度的热点分析地图，从整体上分析区域内色彩分布特点。

2.4.2 色彩感知分析

我们使用GeoScene Pro软件的聚类与异常值分析工具，对深度学习得到的四个维度的评分做聚类分析。然后，根据高值聚类、低值聚类分布挑选出具有显著聚集性的区域，每个感知维度3-5个区域;将该区域内各点位的色彩聚类结果进行二次聚类，得到整个区域色彩聚类10类的色彩直方图;结合色彩二次聚类的结果，对区域内色彩感知进行分析，得到色彩分布与主观感知的特征与联系。

图6 聚类与异常值分析

图7  局部区域色彩感知分析

3 结果分析

3.1色彩空间分布分析结果

（1）区域色彩识别

图8  罗湖区渔网色彩分布地图

总览罗湖区的色彩分布，呈现出灰黑与其他彩色分庭抗礼的局面。以绿色为主的鲜艳的色彩集中分布在东北部与西北部，罗湖中心区以灰、黑为主。

结合实际情况，东北与西北地区主要是制备覆盖的绿地，如东北部的深圳仙湖植物园，同时相对远离中心，色彩比较活泼；而中心区的建筑物、道路密集，街景图像中路面的比例较大，故而呈现同质化的黑、灰色彩。

（2）色彩饱和度（Saturation ）分布

图9 罗湖区各社区色彩饱和度分级地图、热点分析地图

图10  色彩饱和度直方图

罗湖区各个社区的色彩饱和度集中在0.22至0.36之间。在热点分析中，罗湖区的色彩饱和度呈现显著的分区特征，高楼林立的西南沿海区域色彩饱和度普遍较低形成冷点，靠近郊区和植被覆盖的区域特采饱和度普遍较高形成热点。

（3）明度（Value）：

图11  罗湖区各社区色彩明度分级地图、热点分析地图

图12  色彩饱和度直方图

罗湖区的色彩明度集中在0.3到0.46区间上，总体上分布比较零散，高值和低值主要分布在中部。从热点分析结果来看，南北方向上的中部形成了一条冷点带，沿海和靠近内陆的部分色彩明度相对较高。

3.2色彩感知分析结果

不同维度下色彩感知分析结果如下：

（1）愉悦：对比“愉悦”维度2个高值聚集区与2个低值聚集区，其各自区域内点的色彩二次聚类结果有较为明显的差别。低值聚集区的色彩带图中，低明度的颜色占据绝大部分，颜色也更为暗沉；高值聚集区中高明度的颜色居多，且饱和度相对更高，总体颜色更为明亮。

（2）烦乱：在“烦乱”维度中，感知得分高的聚集区色相种类更多，得分低的色相种类更少。

如下图的低值聚集区，色相集中分布在棕黄色和;而高值聚集区色相更加丰富、烦乱，感也更加强烈。

（3）沉闷：在“沉闷”维度，高值聚集区与低值聚集区的色彩呈现出与“愉悦”维度相反的特征。高值聚集区颜色明度低、更灰暗，低值聚集区颜色明度高、更明亮。但在饱和度上没有明显差别。

（4）舒适：对于“舒适”维度，高值聚集区与低值聚集区在色相（H）种类、饱和度（S）上没有明显的差异，但可以注意到高值聚集区的二次聚类色带图包含更多的绿色相，这意味着大面积的绿植会带来高分的舒适体验。同时，高值聚集区中的低饱和色彩具有更高的明度。

图13  色彩感知分析结果（愉悦、烦乱、沉闷、舒适）

4 总结与展望

本作品以街景图像与问卷调查为数据源，使用深度学习技术，对图像进行语义分割、色彩聚类，对问卷数据进行模型构建、预测评分，分析深圳市罗湖区的色彩、主观感知的空间分布特征及两者之间的联系。作品结果可以为深圳市城市色彩规划提供指引，同时分析方法适用于其他城市的色彩分析过程。

现阶段本作品仍有较大改进空间。街景图像由采集车在城市道路中沿街采集，道路、绿化带被摄面积大，建筑物被摄面积较小，且众多小路图像无法收集，不能较为全面地概括整个城市的色彩面貌。未来推进将融合其他数据源，进一步改善分析技术，实现更全面、高效、科学地分析城市色彩与色彩感知。

参考文献

[1]吴姝婷,洪昕晨,戴忠炜,郑艺琦,姜禹,闫晨,兰思仁.城市公园色彩特征与游客感知心理关系研究——以福州市闽江公园南园为例[J].中国城市林业,2019,17(04):37-41+72.

[2]Meichen Ding,Quantitative contrast of urban agglomeration colors based on image clustering algorithm: Case study of the Xia-Zhang-Quan metropolitan area,

Frontiers of Architectural Research,Volume 10, Issue 3,2021,Pages 692-700,ISSN 2095-2635.

[3]杨梅,李晓桐.城市色彩聚类提取方法介入青岛文创产品开发研究[J].包装工程,2020,41(24):262-268.DOI:10.19554/j.cnki.1001-3563.2020.24.039.

[4]白兰,李成楠,张欣.城市色彩规划的实践探索——以成都市为例[J].城市建筑,2021,18(35):48-51.DOI:10.19892/j.cnki.csjz.2021.35.10.

[5]白雪莹,陈飞.基于数据分析的城市色彩规划方法研究——以上海市闸北区为例[J].城市规划学刊,2019(S1):185-192.DOI:10.16361/j.upf.201907022