万字长文,探索建筑智能前沿

这一篇总结自郑豪公众号:建筑智能研究组

是 2018-2020 年的文章精华集锦

基础知识

理论分类

相关案例

前沿成果

建筑师用人工智能在做什么?

种主要用于建筑设计的监督神经网络:

  • 卷积神经网络(CNN)映射图像到向量

  • 生成对抗网络(GAN)映射图像到图像

  • 人工神经网络(ANN)映射向量到向量

  • 循环神经网络(RNN)将有序向量映射到向量

以及用于聚类的无监督机器学习算法。

对于设计认知

研究的目的是学习设计数据并将网络应用于设计的认知或理解。主题包括,提取设计中的关键特征,计算环境评估数据,校准机械臂和3D打印机的工作路径,分类或评估设计,和在设计中理解人类行为。

对于设计生成

建筑师主要使用神经网络用于生成与训练数据相似的设计方案。主题包括,生成设计图纸或模型,生成机械臂和3D打印或激光切割的工作路径。

对于辅助工具,研究的目标是为对机器学习了解有限的设计人员构建框架和插件,帮助建筑师在设计领域快速应用神经网络。

    

CNN

首先,卷积神经网络(CNN)是最常用的图像处理网络,其将设计数据认知为2D像素化图像或3D体素化模型(3D CNN)。 只要输入数据可以表示为2D或3D矩阵并且输出数据可以表示为向量(或向量集合),我们就可以使用它,因此大多数与提取设计中的关键特征的工作都是基于CNN。

比如,当输出数据包含多个神经元时,网络可以预测图像中的多种特征。(Kim, Song, and Lee 2018)训练CNN来识别建筑家具的图像及其特征参数,例如材料和可以容纳的人数。例如,通过向神经网络输入椅子的照片,网络将反馈一系列参数,告诉用户家具的预测特征。

万字长文,探索建筑智能前沿_第1张图片

CNN 还有可能与机械臂协同工作。(Bard, Bidgoli, and Chi 2018) 通过捕捉实时图像并将其输入网络来检机械臂测制造时的缺陷。机器人抹灰工具头首先在墙上抹灰。然后将相机和投影仪的校准工具头连接到机械臂上,用于拍摄墙壁照片,然后将图像发送到网络,最后将缺陷区域投射到墙壁上,这样用户可以清楚地看到抹灰的质量,并进一步调整机械臂的工具路径,以纠正这些缺陷。

万字长文,探索建筑智能前沿_第2张图片

CNN 不仅可以处理2D矩阵,还可以通过3D卷积核进行3D矩阵运算,我们称之为3D CNN。(Newton 2018)应用3D CNN将建筑根据形状特征分类。基于三种建筑的类型,扁平的,蜂窝状的,或塔状的,3D CNN采用3D矩阵作为体素数据,并输出三种形式类型的可能性。网络结构如图2-2-3所示。由于第三维数据的扩大,需要更多的计算能力来训练这个网络,因此矩阵的大小非常受限,只有(32X32X32),它只能近似代表一个3D模型。

万字长文,探索建筑智能前沿_第3张图片

GAN

除了CNN之外,生成对抗网络(GAN)是另一种图像数据处理的机器学习网络。 在网络结构中,输入和输出都是图像数据,因此GAN通常用于生成设计。

(Huang and Zheng 2018)使用GAN来寻找人工标记过的公寓平面图与真实图纸之间的关系。从标签到平面的映射展示了神经网络的设计生成能力,而从平面到标签的映射展示了设计识别能力。然而训练数据集仅包含100张图像,输入和输出数据的收集和标记还存在很大的人力困难,所以由于输出图像中仍存在模糊区域。缺乏训练数据,亦或是平面图本身的设计规则的多样性导致结果其实并不那么令人满意。

万字长文,探索建筑智能前沿_第4张图片

当然,GAN也有与机械臂相关的应用。(Rossi and Nicholas 2018)应用GAN来学习机械臂的工作路径和弯曲金属板的形态之间的关系。其中RGB值表示金属板表面上每个控制点的坐标。首先使用机械臂根据不同的路径来弯曲金属板,然后将这套数据用于训练GAN,训练后的网络可以用于生成机械臂工作路径以达到特定的弯曲效果,或者反过来根据给定的机械臂的路径预测可能的弯曲效果。

万字长文,探索建筑智能前沿_第5张图片

ANN

人工神经网络(ANN)是几乎所有神经网络的起源,它将数据视为单纯的向量或实数。因此,当应用于建筑设计时,它不能像CNN或GAN那样直接带来可视化的效果。但实际上计算机本身就是将数据储存为实数,图像只是矩阵的可视化表达,所以图像的渲染仅对人类更容易理解。因此,使用适当的数据结构来转译和概括一个设计,然后使用ANN来学习和生成设计,通常是一种更有效,更准确的方法。

(DANHAIVE and MUELLER 2018)将ANN应用于预测3D形态。通过输入16个形态控制点,网络将返回生成的结果,其中包含64个移位点。 这篇论文是一个很好的案例,将设计数据转换为向量。使用线性回归最为算法核心,随机森林作为激活函数的模板,并将归一化均方根误差(NRMSE)设置为损失函数。网络结构包含具有16个神经元的输入数据和具有172个神经元的输出数据,通过该数据可以在建模软件中重建曲面。

万字长文,探索建筑智能前沿_第6张图片

(Sjoberg, Beorkrem, and Ellinger 2017) 将建筑师对设计的偏好结合到ANN的训练中,理解用户的设计偏好然后从随机生成的数据中自动选择更好的设计。对于每个训练循环,系统将根据不同的参数生成16种形式,例如每个组块的位置,然后要求设计者选择最佳的3个模型,并将它们打分为1,0.66,和0.33。然后,网络将根据设计师的分数进行训练,并自动评估下一批生成的方案,以选择最佳结果。相比传统的遗传算法或模拟退火,通过设计者给出的规则来评估数据,使用ANN的优化模式只关心评估的结果,而不是评估标准。

通过从原因到结果的学习,神经网络能确定隐藏在设计者选择背后的设计规则。设计师可能很难说出评估一个设计的具体策略,但更容易说出哪个设计更好,哪个设计不好。因此,使用神经网络来学习设计策略,也将会是本文作者之后的主要研究方向。

万字长文,探索建筑智能前沿_第7张图片

此外,当然少不了ANN与机械臂的结合。(Brugnaro and Hanna 2018)开发了一种独特的ANN,用于从人类木匠那里学习木材加工的知识,然后为机械臂生成工作路径来模拟加工木材的过程,模拟人造工艺。这种基于人类知识的机器学习来生成工作路径的方法比直接观察和模拟更有说服力。

万字长文,探索建筑智能前沿_第8张图片

RNN

上面介绍的三个网络,CNN,GAN和ANN,都需要固定数量的输入和输出神经元。如果输入或输出数据的长度发生变化,则需要将数据填充到相同的长度,或者应该使用循环神经网络(RNN)。尤其是当数据按顺序排列的情况下。所以RNN最初是为语言处理而开发的。

只有少数研究侧重于RNN的应用。比如(Luo, Wang, and Xu 2018)将LSTM网络应用于学习弯曲橡胶棒的材料特性。输入的数据是弯曲杆中80个均匀分布的点和初始材料的高度,输出的数据是每个对应点的材料厚度。

对于训练后的网络,用户可以输入任意曲线,并获得未弯曲橡胶棒的形状作为反馈。 然后用户可以用输出的数据切割橡胶并根据曲率固定起点和终点,然后材料会在自身内力的作用下弯曲成输入的曲线形状。在这里使用RNN是非常合理的,因为弹性材料的棒状弯曲形式可以被重建为一系列点坐标,它们的顺序适合RNN的框架。

此外,为了获得训练数据,研究者还使用两台机械臂精确弯曲材料,确保训练的精确性。

万字长文,探索建筑智能前沿_第9张图片

聚类

之前提到的所有四种类型的神经网络都具有非常清晰的输入和输出数据,因此我们需要给定训练集来告诉网络输入和输出之间的对应关系。

我们将四个网络称为监督学习。然而,除了监督学习之外,还有一些算法可以解决特定问题,这些算法中有些不需要带有标签的数据支持学习,我们将其称为无监督学习。它们通常将输入数据聚类为几个类别,以达到标记类似的数据的作用。

(Yetiş et al. 2018)使用了K-Nearest Neighbors(KNN),一种类似于K-Means的聚类算法,用于从未标记的3D模型中对建筑元素(如柱子和墙壁)进行分类,为建筑师标记混乱的模型文件提供了一种便捷的方式。但与K-Means Clustering不同,KNN需要从标记数据进行训练。 

因此,作者随机生成了建筑元素,并将数据输入KNN来训练神经网络。 然后通过输入一个未标记的模型,KNN将对模型中的不同元素进行分类。

另一方面是分析社会行为数据。(Yin et al. 2018)将K-Means聚类应用于分类参观者在展览空间中的停留点。 

首先使用UWB跟踪记录每个访客的位置,然后将数据输入给K-Means Clustering,分为五组,找到停留位置的中心。聚类显示了访客观看展品的首选位置,这有助于改变展览空间的布局来改善用户体验。

上述主要讲述了常用的神经网络的基础知识和理论分类,并且举例了已经在建筑设计中应用的机器学习案例。

下面的部分,将会按照年份,来介绍最新的人工智能+建筑设计的研究论文和成果。

建筑师又在用人工智能做什么?(2019年第一期)

设计认知方向:

 

(Karoji et al. 2019)非常巧妙的使用了RNN这一序列模型,将行人在商场内的行为作为数据,训练了一个行为预测器,能根据行人目前的位置和朝向等信息,推断他的前进方向,进而指导商场的设计,使得在行人预计路线上有更高的商业价值。很难得看到一个RNN在建筑上的应用,将时间作为序列的导线。可以说这个研究是很有启发性的,之后在预测动态的,长度不定的,和时间有关的数据时,RNN会有很好的表现。

万字长文,探索建筑智能前沿_第10张图片

(Kato and Matsukawa 2019)使用了基于图像的神经网络,从Google地图中抓取街景图,然后使用encoder概括街景的色彩倾向。算法类似图像分类器,不过多阐述。类似的,(Cao, Fukuda, and Yabuki 2019)同样使用了基于图像的神经网络GAN来提取一张图片中的天空部分,然后快速导入算法中计算Sky View Factor (SVF) 参数,评价城市环境。(Kim, Song, and Lee 2019a)一如既往的专注CNN算法,识别建筑图像中的设计元素,比如室内照片中的椅子属性什么的。(Kim, Song, and Lee 2019b)还是延世大学的三人组,他们还用CNN对BIM模型中的元素提取出的图像做分类,然后训练了自动化分类BIM模型的神经网络。(Ng et al. 2019)同样用CNN进行图像分类,把建筑平面和剖面图区分开来。(Peng, Liu, and Jin 2019)则使用CNN来分类城市地图,对城市不同区域的平面图像的属性做标签,比如建筑密度和功能分区。

万字长文,探索建筑智能前沿_第11张图片

万字长文,探索建筑智能前沿_第12张图片

(Ferrando et al. 2019)把建筑理解为图结构(graph),提取建筑物中各个空间的可达性,并生成关联矩阵。然后使用基于图结构的SVM算法对建筑空间进行切割和分类,分析建筑空间设计的合理性。图结构明显要比图像结构更节省算力,但是相关的高级算法和数据结构从2018年才开始成熟。

万字长文,探索建筑智能前沿_第13张图片

(Zheng 2019)关注建筑师本身对设计的审美倾向,通过建筑师对形态的评分调查,使用神经网络拟合了特定受访者的潜在审美参数。

原先被认为无法量化的美学因素,在神经网络的辅助下得以量化被评价。计算机可以模拟建筑师的美学判断来筛选方案。

万字长文,探索建筑智能前沿_第14张图片

设计生成方向:

 

(Koh, Amorim, and Huang 2019) 这是一篇个人觉得特别有意思的文章。讲起来不得不提到两款游戏,一是GBA平台上的神奇宝贝(童年记忆啊),二是PC平台上的暗黑破坏神2(又是童年记忆)。

先说暗黑破坏神2,它和别的游戏不同点在于,它的地图系统是根据玩家的操作和位置即时生成的,而不是预先设计好的。它将地图元素理解为坐标和种类,然后使用重复出现的图块来生成地图。而神奇宝贝之类的远古游戏也都是这样理解地图的。这样做的好处是,地图可以被向量化,然后就有了算法介入的可能。所以这篇文章讲的是,在类似神奇宝贝的地图模式下,使用强化学习的方式来生成地图。

在现有地图的情况下,计算机决策是否扩大地图并加入新的元素,进而生成合理的城市空间。这种对建筑和城市数据的游戏性理解大大扩展了生成式设计的可能性。

万字长文,探索建筑智能前沿_第15张图片

(del Campo et al. 2019)是一篇使用style transfer做设计的文章。秉承了一贯的UPenn设计导向的做法,风格迁移算法在这里起到了生成建筑风格化图像的作用,然后建筑师依据生成的图像做二次设计,生成建筑方案。

这里需要批判一下,AI在这类的研究中并没有实质上生成什么,而是起到启发建筑师的作用,决定设计的还是建筑师本身。而算法本身的误差带来的图像模糊,却转身一变成为了所谓“参数化形态”的来源,极具讽刺性啊。

(Steinfeld et al. 2019)巧妙的把三维建筑形态转化成二维的三视图数据,然后通过二维的CNN神经网络作为一个设计的评价者,并使用遗传算法找出当前评价体系下(比如最像香蕉的设计)的最优房屋形态解。

区别于直接把模型给到3DCNN学习,这种数据的转译方式虽然不能描述所有形态,但却提高了形态储存的精度,加快了算法的速度。

万字长文,探索建筑智能前沿_第16张图片

辅助工具方向:

 

(Jiaxin et al. 2019)开发了一套ANN框架,对复杂的环境计算进行了简化,并直接得到建筑节能的应对策略。

同样的,(Lin et al. 2019)也使用了ANN框架来寻找变化的风环境下,建筑形态设计的最优应对策略。和去年张砚同学的论文比较类似,(Lorenz et al. 2019)也使用ANN来简化环境运算,得到环境模拟数据的实施反馈。

万字长文,探索建筑智能前沿_第17张图片

万字长文,探索建筑智能前沿_第18张图片

(Dobbs 2019)使用了聚类算法,把收集到的行为数据进行清理,剔除了不合法的数据。同样的,(Willemse, Tuncer, and Bouffanais 2019)也对他们收集到的行为位置数据做了聚类,分析城市空间中的人口密度信息。

(Sánchez-Vaquerizo and Llach 2019)除了聚类行为数据外,还使用了类似YOLO的CNN算法,利用城市摄像头来采集数据,这样大大降低了数据采集的难度。(Cheng and Hou 2019)还是使用了聚类算法,不过他们关心的是如何把无人机三维扫描得到的建筑城市模型进行简化,去除不必要的多余信息,然后重构城市模型。(Yousif and Yan 2019)的聚类算法则是关心形态的聚类,比如在生成的众多形态中,有些是相似的,不需要反复出现,因此就可以先用聚类剔除相似的形态,然后给到用户更精确的,没有重复的推荐。

万字长文,探索建筑智能前沿_第19张图片

继18年一篇研究grasshopper论坛中的主题关键词的文章后,19年也有一篇研究建筑类论文的关键词的统计学研究。

(Papasotiriou 2019)使用聚类算法对人工智能相关的词汇在建筑设计研究中出现的次数和频率等进行分析,说明近年来AI在AD领域的高速发展。

万字长文,探索建筑智能前沿_第20张图片

建筑师又在用人工智能做什么?(2019年第二期)

设计认知方向:

(Uzun and Çolakoğlu 2019)是一篇标准的CNN做分类的文章。作者使用CNN来区分建筑平面图和剖面图,简洁明了,通俗易懂。综合准确率在80%左右。

万字长文,探索建筑智能前沿_第21张图片

Plan & Section Recognition with the Accuracy Percentage

(Wu et al. 2019)也使用了基于图像的CNN神经网络来识别竹子节点的位置,进而指导结构搭建。

万字长文,探索建筑智能前沿_第22张图片

Trained model recognizing random bamboo poles

 

(Kinugawa and Takizawa 2019)训练GAN来识别全景照片的深度信息。作者首先从谷歌街景中抓取了街景照片和相应的深度图,然后将照片作为输入,深度图作为输出,训练了GAN神经网络来识别照片中的景深。

万字长文,探索建筑智能前沿_第23张图片(Left) Input RGB image(center) Real depth image of (left) (right) Generated depth image

 

(Turlock and Steinfeld 2019)这是一篇介于设计认知和设计生成之间的文章。首先延续了作者一贯的风格,将索状结构转译为了黑白空间区分的图像,然后训练CNN对这些图像进行分类。

作者先随机生成了大量的结构模型,然后拍平成为图像,然后将这些图像分发给志愿者,询问他们是否觉得优美。所以训练过的CNN能根据志愿者的回答,学习到建筑学意义上的优美指标,并且结合传统的结构评估指标,程序就能找到既优美又坚固的设计方案。

不得不说这种想法是十分有趣的,把建筑师的评价标准给量化表达了。转译黑白图像类似(Steinfeld et al. 2019),学习人为评价标准类似(Zheng 2019)。

万字长文,探索建筑智能前沿_第24张图片

Sample of results

 

(Rhee, Llach, and Krishnamurti 2019)使用了聚类算法对城市空间进行大数据定量分析。其实聚类这种无监督学习算法不同于神经网络这类有监督的学习算法,输入和输出的概念是很模糊的,我也一直犹豫是否该介绍。但本文在聚类算法应用上的效果表达还是很不错的。

万字长文,探索建筑智能前沿_第25张图片

T-SNE Visualization of DID-PGH Based on the Similarity of Architectural Context Conditions

设计生成方向:

(Aksöz and Preisinger 2019)这篇文章解决的是结构优化领域的运算量问题。作者巧妙的运用了ANN神经网络来学习有限元分析中的受力条件和应对方法,然后使用生成的样本数据来训练神经网络,最后使用训练好的神经网络来根据用户给定的受力条件,生成结构选型。

为了简化问题,作者将复杂的结构体系拆分成小单元,而整体结构是通过每个经过ANN优化过的小单元组合而成的。这种做法无疑是提高了运算效率,但是局部最优不代表整体最优,获得效率的同时势必丧失了求解空间的可能性。

万字长文,探索建筑智能前沿_第26张图片

Graphic displays the abstraction of the structural system to optimize and generate the data set

 

(Yetkin and Sorguç 2019)和上一篇文章类似,本文作者也是通过训练ANN来优化了结构计算过程,但是优化的目标是小型的桁架结构。

万字长文,探索建筑智能前沿_第27张图片

Flowchart of the research method

 

(Campo et al. 2019)我们亲爱的Matias和Sandra又一次介绍了Style Transfer生成建筑表现图。

和上一期介绍的文章(del Campo et al. 2019)大同小异所以就不再赘述。下面来看一张美图吧。

The Project Church of AI by Marianna Sanche & Leete Jane Wang – University of Pennsylvania 2018

 

(Newton 2019)这是一篇关于使用GAN生成平面图的文章。逻辑和方法参考了(Huang and Zheng 2018),但是使用的训练集来自于柯布西耶的建筑作品,因此样本数量非常少,只有45张。

效果如下图,并不理想,可见训练集的质量和数量直接决定训练效果啊。

万字长文,探索建筑智能前沿_第28张图片

Samples of GAN generated plans using the original 45 image Le Corbusier house dataset with no augmentation.

 

(Zandavali and García 2019)同样使用了GAN,对任意边界生成铺砖模式图案。

作者先调研了四种传统墙面铺砖的算法,然后生成了大量的铺砖实例,作为图像用来训练GAN,进而生成不同外边缘的铺砖图形。比较好的一篇GAN测试文章,但是实用性和必要性经不起推敲。

万字长文,探索建筑智能前沿_第29张图片

Input and output images for the four bonding patterns: Stretcher, Header, Englishand, Flemish.

 

(Miguel et al. 2019)本期最推荐的文章!作者把建筑形态转译为了特征向量,然后给到ANN神经网络里学习。特别的是,神经网络的输入和输出是相同的数据。在网络结构中可以看到,35000个输入特征先经过编码器(encoder)被映射到了一个2维向量上,这个2维向量可以用来表示压缩过的输入形态信息。然后,这个2维向量又通过解码器(decoder)重新映射回了35000个输出向量。而整个网络运行之后,目标是输入的特征经过编码+解码之后不会发生改变。

这样,其中的那个2维向量就被训练到一个极致,可以完整压缩表示整个形态信息。那么,有了这个训练后的神经网络,用户就可以给定两个形态,然后分别通过编码器压缩为2维向量,然后计算它们之间的差值空间,再依次通过解码器复原为形态,这样就可以得到两个形态按照任意比例结合起来的形态。这个神经网络其实间接描述了建筑学上很难描述的形态风格参数,做到了两个形态的结合,产生了新的设计方案。

万字长文,探索建筑智能前沿_第30张图片

Diagram of VAE model architecture with 150 million trainable parameters.

万字长文,探索建筑智能前沿_第31张图片

Output of VAE trained model

辅助工具方向:

(Chen et al. 2019)这篇文章是(Luo, Wang, and Xu 2018)的进阶版,和前文相比,概述了各种神经网络在预测3D打印路径上的不同表现。大同小异,感兴趣的同学可以参考原文哦。

万字长文,探索建筑智能前沿_第32张图片

Validation and application in design

(Thomsen et al. 2019)类似于上一篇文章,本文作者同样使用神经网络来预测建造过程。但是不同的是,本文作者先使用打孔机制造了多件打孔板样本,然后在聚光灯的照射下,拍摄这些样本的透光照片。然后将这些透光照片作为输入,打孔位置的图片作为输出,训练GAN。最终效果是,用户给定特殊的透光照片,比如特殊的图案,神经网络可以输出想要实现这种透光效果的打孔位置图片,进而指导机械生产出指定的打孔板。首先真是辛苦作者了,一共制作了1323个样本,训练的成果也很接近真实,达到了预期的效果。

万字长文,探索建筑智能前沿_第33张图片

Knit fabrication files A, B and C, shadow (input), fabrication file (output), learned fabrication output

 

(Rossi and Nicholas 2019)这是一篇关于机械臂控制的文章。通过GH中机械臂路径插件生成的数据的学习,作者训练了一个路径规划工具取代了原先的算法,更快速的生成机械臂移动轨迹,在到达目标的同时避开障碍。不过从作者的陈述看来,预测的正确率并没有和机械臂的极小误差达到同一水平。还有很长的路要走啊。

万字长文,探索建筑智能前沿_第34张图片

Obstacle with respect to robot pose experiment

(Ghandi 2019)通过学习人体传感器的数据,比如心跳比率和脑波,来训练一个互动装置的状态,进而改善使用者的心情。类似(Xu et al. 2018)的研究。

万字长文,探索建筑智能前沿_第35张图片

Brain waves mapping

 

(Toulkeridou 2019)描述了一种方法,训练RNN来循环的做设计决策,比如参数化设计中的参数调整决策,可以通过RNN对现有状态的判断,来决定下一状态的参数数值。难得一见的RNN文章,把决策理解成序列也是很有趣的想法。

万字长文,探索建筑智能前沿_第36张图片

Overview diagram

 

(Mrosla, Koch, and Both 2019)综述文章,主要从理论和各方角度阐述了人工智能在建筑设计领域的发展和接受度。

建筑师又在用人工智能做什么?(2019年第三期)

设计生成方向:

(Campo, Carlson, and Manninger 2019)介绍了一种三维的风格迁移算法以及应用实例。该方法将三维模型表达为二维的深度图,然后通过风格迁移加入噪点信息,最后再反向表达回三维状态。另外,本文还是一篇比较好的CNN神经网络和风格迁移的知识普及文章,涉及一定的数学逻辑解释。

万字长文,探索建筑智能前沿_第37张图片

One or the first attempts of a 2D to 3D Style transfer onthe Robot Garden project. The method of simply creating a depth map shader fora 3D model resulting in a noisy, albeit interesting, result.

(Özel and Ennemoser 2019)同样使用了风格迁移(Style Transfer)对建筑立面进行重新设计。基于生成的二维图像,作者还使用procedural modeling技术将图像转译为生成三维形体的设计规则,然后分区域对二维图像进行三维重建。在立面设计上具有很好的应用前景和艺术价值。

Architectural Feature Extraction and Style Tranfer

(Campo, Manninger, and Carlson 2019)另外一篇Style Transfer的文章。将平面图作为内容,各种其他图片作为风格,生成酷炫的平面图案。中规中矩的2D风格迁移。

万字长文,探索建筑智能前沿_第38张图片

Results of 2D to 2D Style transfers based on plans

(Steinfeld 2019)这是一篇使用GAN来生成城市街景图的文章。文章详细而全面的介绍了一套数据收集流程和两种基于图像类神经网络的生成流程。首先,文章介绍了基于Google地图街景图和深度图结合的数据收集方法,建立了由深度图对应街景图的数据集。然后通过对不同城市数据的机器学习,使用GAN和StyleGAN两种算法,预测不同城市在深度图的指导下的街景图像。相比于作者前些年的研究,这次论文提出的方法生成的街景图像,在准确度上有明显提高,进而也具有了一定的设计意义。

万字长文,探索建筑智能前沿_第39张图片

Depthmap (left), Asynthetic urban view of Pickwick Park, Jacksonville, FL (middle), A synthetic urbanview of Alamo Square, San Francisco, CA (right).

(Mohammad, Beorkrem, and Ellinger 2019)这是一篇使用GAN来生成建筑立面的文章。作者通过生形算法生成大量的立面模型,转译为二维图像,然后训练GAN生成建筑立面来证明GAN在建筑设计中的应用可能。作者还尝试了各个训练阶段和各种图片大小来对比生成的结果。但是,这种使用生成的数据来训练神经网络模型进而再生成类似数据的做法,如果对效率没有改良,就势必引来质疑——既然已经有算法可以生成所有的解,那为什么还要使用人工智能,不仅降低了准确率,还没有提高效率。杀鸡用牛刀大概说的就是这回事吧。另外,文章中的图片模糊不清,序号和引用混乱,后期排版出现明显问题。各位看看就好了,不要当真。

万字长文,探索建筑智能前沿_第40张图片

A set of AI generated images in an attempt to create hybrids and variations

辅助工具方向:

(Zheng, Moosavi, and Akbarzadeh 2019)这是一篇使用ANN神经网络提升结构运算速度的文章。出发点是,原始的结构生成和计算算法(PolyFrame和有限元分析)速度过于缓慢,以至于没办法在有限的时间内探索求解空间,取得多目标优化的多重解。作者使用少量的有限元分析过的结构数据,训练了一个神经网络,取代了原始的结构生成和计算逻辑,加快了运算效率接近400倍,进而可视化了所有可行性解,给予设计师自由的设计选项。

万字长文,探索建筑智能前沿_第41张图片

Multi-objective form finding with the neural network

(Giannopoulou et al. 2019)同样是一篇使用ANN优化运算的文章。和前文不同的是,作者优化的目标更多涉及建造层面,比如材料的使用率,板材的件数等等。由于目标选取的过多以及输入参数的连续性,不同于探索整个求解空间,本文的作者使用训练好的ANN作为环境代理,根据设计师输入的设计参数,反馈目标函数值,从而设计师可以根据反馈的信息进一步修改设计。

万字长文,探索建筑智能前沿_第42张图片

Neural network structure and the accuracy comparison

 

(Hosmer and Tigas 2019)这篇文章有意思的地方在于,作者首先构建起了一套基于Arduino的自运动装置,各个杆件通过端点连接的可伸缩绳索调整相应位置,达到自平衡状态。每次调整都会使得原先的平衡被打破,而这里作者训练了一个强化学习系统,使得系统可以根据每次的调整做出反应,进而统筹对所有的杆件进行调整,快速使系统再次回到平衡状态。这对于无人监管的自运动机构的开发是很好的启发。

万字长文,探索建筑智能前沿_第43张图片

Multi-Agent Balance Reinforcement learning; Robot Multi-Unit Balance

(Yousif and Yan 2019a)和上一期介绍的(Yousif and Yan 2019b)是相同作者的类似文章,主要介绍了一种将建筑形态通过K-Medoids聚类的方法。其聚类的依据可以是多种评价指标,比如采光和冷负荷。具体可以参考上一期介绍。

万字长文,探索建筑智能前沿_第44张图片

The Pareto and Elite solutions at generations 20 in the Octopus interface, with the monthly cooling loads (x-axis) and the daylight illuminance ratio (y-axis) as objective functions

(Devadass et al. 2019)和(Zheng, Moosavi, and Akbarzadeh 2019)有着相同的出发点——传统的基于目标的找形计算过于费时,而通过机器学习来拟合求解空间,能快速找到最优解,而不需要计算所有的可能解。不同的是,(Devadass et al. 2019)将优化目标和机械臂辅助建造结合起来,以机械臂的建造姿势作为评价标准,实现了对结果的材料化表达。

万字长文,探索建筑智能前沿_第45张图片

Optimization of thedesign guided by the fabrication and assembly workspace

(Leach 2019)一篇理论文章,从理论和哲学上分析AI对建筑设计带来的影响。主要基于图像类的神经网络,比如GAN和Style Transfer,作者认为将建筑作为图像来生成,虽然技术上还有待完善,但目前的成果已经可以给建筑师一种启发,来理解人类智能和创造力的本质。

设计认知方向:

本期只有一篇是设计认知的文章,同时也是个人觉得争议最大的一篇。(Liu, Liao, and Srivastava 2019)。按照作者的描述,该文章介绍了一种基于GAN的神经网络,来学习设计师对形态的喜好,然后生成符合设计师喜好倾向的形态。

首先,作者自我设定了12种基本形态元素,然后通过控制他们的参数,比如缩放大小,来在空间中重新选用某些元素组合成为新的更为复杂的形态。这里个人认为,这12种基础形态的选取并没有逻辑可言。参照作者的描述,这12种形态是人为手工建模,尽可能区分开来,使得基础形态库具有多样性。但基础形态库就使用复杂图形,基本元素就具有复杂性,那么后续生成的复杂图形必将失去控制,不具有比较性。如果这里使用基础完型,比如球状,正方体,那么将后续生成的形态来比较,就具有逻辑,虽然图面表达或许会没有那么酷炫。

万字长文,探索建筑智能前沿_第46张图片

3D elements sourcepool (left) and generated forms (right).

 

然后,作者将生成的形态交给设计师做二分判断,比如设计师A是否喜欢这个形态,用0和1区分。这样就得到了一组数据,输入是生成这个形态的参数,输出是0或1表示设计师的判断结果。使用这些数据,作者声称,我们可以首先训练一个判别器,拟合设计师的喜好。然后,有趣的事情发生了。作者定义,通过参数生成形态的这个程序,本身就是一个生成器,这样我们就具有了判别器D和生成器G,就可以让它们对抗起来,然后训练Generative Adversarial Networks(生成式对抗网络)。作者在这里的定义出现了明显的概念混淆和错误使用。按照作者的定义,判别器D是一个神经网络,而生成器G是一个既定程序,显然生成器G不参与神经网络的训练,不更新自己的参数(显然一个既定程序是不会有网络参数存在的)。所以作者定义的GAN显然不具有GAN训练的特征,既两个神经网络同步更新参数。不管如何训练,生成器G在给定的输入(12种形体组合的参数)相同的情况下,生成的结果(最终形态)都是相同的。

万字长文,探索建筑智能前沿_第47张图片

Machine Learning operation flow chart

那么这篇文章到底做了什么呢?抛开错误的GAN部分不谈,判别器D的预训练还是遵循神经网络的原理的。作者描述的所谓的GAN,其实是建立在已经训练好的判别器D作为评价标准的基础上的单目标优化问题。因此本文中使用判别器D来识别设计属性的工作,仍然值得一提。

建筑师还在用人工智能做什么?(2020年第一期)- SimAUD2020会议导读

设计认知:

(Najari, Pajarito, and Markopoulou 2020) 关键词:ANN,城市大数据

以纽约的共享单车定位数据作为训练集,作者尝试了不同的数据表达形式和神经网络构架,来根据共享单车的出发站点,预测可能的结束站点。和国内的共享单车不同,纽约的共享单车是有固定停靠点的,因此可以将整个行程简化为路径起点和终点ID,还有骑行的时间范围(几点几分)。然后对数据进行one-hot encoding处理,进而预测行程。

万字长文,探索建筑智能前沿_第48张图片

Visualization of first thousand most popular bike travels

 

(Shi et al. 2020) 关键词:GAN,建筑立面

作者训练了一个基于图像的神经网络,自动区分建筑物立面上的墙面和窗户,然后根据结果计算窗墙比。作者使用了150张左右的图像作为数据集,已有了初步的效果,但是相对误差在11%左右,精确度有待改善。

万字长文,探索建筑智能前沿_第49张图片

A building elevation image and the wall and windows recognized by the AI

 

(Krietemeyer et al. 2020) 关键词:回归模型,建筑环境

通过对一定区域范围内的定点夜间光照数据采集,作者使用了回归的数学方法来拟合整个区域内的夜间照度,进而对光照环境提出定量的建议。

万字长文,探索建筑智能前沿_第50张图片

A surface prediction map using the J-Bessel semivariogram model with point locations

 

(Jabi and Alymani 2020) 关键词:GCN,建筑空间

本文是一篇图(Graph)神经网络的应用。作者将建筑空间的关系表现成图结构数据,用节点表示空间位置,连边表示空间的相连关系,然后训练图卷积神经网络(DGCNN)来预测建筑的标签属性。比较可惜的是,作者使用的数据集是脚本生成的,而不是真实的建筑数据,建筑类型也仅限于规整方形的建筑。本次会议中的(Abdelrahman, Chong, and Miller 2020)一文也使用了类似的方法将建筑空间变为图结构。

万字长文,探索建筑智能前沿_第51张图片

The 3D model and dual graph in AutodeskDynamo

 

 

设计生成:

 

(Noyman and Larson 2020) 关键词:GAN,城市模拟

MIT Media Lab,City Science Group的论文。在之前的文章(Zhang et al. 2018)中,City Science Group提出了一个虚拟城市模型的构建模式。在本文中,作者使用了类似的构建系统,但是更进一步将虚拟城市用于生成街景的语义分割图,然后调用cityscapes数据库训练的GAN模型来生成街景实景图片。在可交互的装置支撑下,用户可以自由改变城市设计,然后实时得到GAN生成的街景影像的反馈。

万字长文,探索建筑智能前沿_第52张图片

Deep Scope TUI: (1) Observer position (2) Observer view angle and FOV cone (3) Observer’s 3D street-view as input for DCGAN (4) DCGAN model prediction of street-view (5) TUI interactive grid

 

(Mokhtar, Sojka, and Davila 2020) 关键词:GAN,建筑环境

在本文中,作者使用GAN来学习风速热力图,取代原先的分析软件,进而更快的实现基于性能的迭代式设计方法。GAN相比于性能分析软件,优势是具有更快的执行速度,但是劣势是需要预训练,准确度也不足。从作者给出的结果分析中可以看到,GAN可以预测出风速热力图的大致情况,但是和准确的软件分析得到的结果还是有差距的。

万字长文,探索建筑智能前沿_第53张图片

Sample of Model Predictions from Lowest MAE to Highest MAE

 

(Duering, Chronis, and Koenig 2020) 关键词:GAN&GA,建筑环境

这是一篇比较完整的应用神经网络作为评价工具,遗传算法作为优化工具的文章。和(Mokhtar, Sojka, and Davila 2020)类似,作者将Ladybug的风速热力图结果作为训练集传入GAN,训练GAN快速的根据给定的建筑高度二维灰度图,生成预测的风速热力图。更进一步,本文作者将训练好的GAN和一些其他基于算法的评价指标(地区可达性等等)作为评价系统,来指导遗传算法寻找最优解。GAN的使用大大降低了运算时间,使得GA找形成为可能。

Results of the optimization process. Interface (A), several generated solutions (B) and trajectory of the fitness objectives throughout the optimization process (C).

 

(Azizi et al. 2020) 关键词:LSTM,建筑平面

本期推荐文章!我们在2019年的第二期中介绍了(Miguel et al. 2019)这篇文章,训练了自动编码器将建筑形态映射到固定长度的向量空间中,然后将两个形态的编码按一定的权重组合,生成新的形态。本文用到了类似的理论,将建筑平面图先转译为图结构,然后使用可以接受不定长度输入的LSTM(RNN)作为编码器和解码器,训练神经网络将平面图编码至等长度向量空间中。凭借训练好的编码器,我们可以轻松将两张平面图在隐空间(latent space)中组合,进而生成新的平面图,同时具有两张输入平面图的特征。而平面图的二次编码也可以为之后的人工智能训练提供便捷,带来新的算法可能。

万字长文,探索建筑智能前沿_第54张图片

An overview of the proposed framework

 

(Campo, Manninger, and Carlson 2020) 关键词:风格迁移,建筑&城市设计

今年Matias Del Campo教授也给我们如期带来了风格迁移的最新实践。他在密西根大学指导了专门研究风格迁移和城市设计的硕士毕业论文,效果非常好。这篇文章是关于风格迁移在建筑和城市设计上的应用。

万字长文,探索建筑智能前沿_第55张图片

Result of Style transfer between a Datasetof Nolli maps of known cities and a 19th century science plate depicting a detail of the moon’s surface.

 

(Lin, Jabi, and Diao 2020) 关键词:CNN,城市设计

本文作者使用波函数坍缩(Wave Collapse Function)生成地图,然后通过CNN来生成具体的街区设计和功能分布图。最后,作者根据生成的像素颜色,将二维图像转译为了具有高度信息的三维模型。

万字长文,探索建筑智能前沿_第56张图片

CNN framework

 

 

辅助工具:

 

(Lu et al. 2020) 关键词:聚类,建筑环境

基于聚类算法全局舒适度数据库的学习,作者提出了energyplus的协同仿真模型,来模拟具有合成热舒适度分布的混合制冷系统。后续作者希望将这套方法用在别的环境数据上,比如湿度等等。

(Showkatbakhsh, Erdine, and Rodriguez 2020) 关键词:ANN,数字建造

本文中,作者主要针对几项设计评价指标(比如建造费用等等)做优化,寻找一个最佳的形态。建造中使用了金属棒作为骨架。因为在弯曲金属棒的时候会因为弹性而回弹一定的角度,作者还另外训练了一个机器学习模型,根据需要达到的弯曲角度来预测实际需要弯曲的角度。最后通过机械臂弯曲金属棒来实现建造。

万字长文,探索建筑智能前沿_第57张图片

In-situ reinforcement system built with robotic rod bending

 

(Wortmann and Natanian 2020) 关键词:GA,建筑环境

这是一篇对比遗传算法和机器学习效果的文章。作者定义了一系列的参数用于生成建筑形态,然后通过Honeybee来模拟建筑能耗。最后作者将生成的数据用在遗传算法和机器学习的训练中,对比两种模型的准确度和鲁棒性。结果表明,两者在准确度上几乎没有差别,但是机器学习的鲁棒性要远高于遗传算法。

(Miao, Koenig, and Knecht 2020) 关键词:文献综述,城市设计

这是一篇关于生成式城市设计的文献综述,总结了各种基于性能优化的城市设计方法,还有机器学习的应用。

建筑师还在用人工智能做什么?(2020年第二期) - CAADRIA2020会议导读

设计认知:

Development of an Urban Greenery Evaluation System Based on Deep Learning and Google Street View (Xia, Yabuki, and Fukuda 2020)

关键词:CNN,语义分割,街景图

视频汇报下载:

https://drive.google.com/file/d/16zkM2yIUWhykxcmDrTQReVejgDemWRZe/view

语义分割模型还可以被用于城市街景图的特征提取。这篇文章讨论了常规的基于卫星图的城市分析实际上脱离了使用者视角,因此在分析城市景观的时候,可以使用语义分割模型来对街景图进行特征提取,得到例如绿化率之类的指标,然后辅助后续的分析过程。这样基于人视角的数据和分析方法要更有可信度。

万字长文,探索建筑智能前沿_第58张图片

Green vegetation extraction results and references

Mobile Mixed Reality for Environmental Design Using Real-time Semantic Segmentation and Video Communication (Kido, Fukuda, and Yabuki 2020)

关键词:CNN,语义分割,混合现实

视频汇报下载:

https://drive.google.com/file/d/14dNb_oJU37NOXGR2N2OKx6BAbTO2Tbgn/view

 

语义分割模型对城市照片的分析结果,还可以结合混合现实(MR)技术,对图片中的物件图层进行筛选,然后实现使用不同的图层来遮挡数字模型的效果。实时反馈的语义分割结果解决了MR中的图层遮挡问题。

万字长文,探索建筑智能前沿_第59张图片

MR with occlusion handling using semantic segmentation

Automatic Recognition and Segmentation of Architectural Elements from 2D Drawings by Convolutional Neural Network (Xiao et al. 2020)

关键词:CNN,语义分割,平面图

视频汇报下载:

https://onedrive.live.com/?authkey=%21ANeNKUai7zmObg4&cid=54097721E3A8D905&id=54097721E3A8D905%211864&parId=54097721E3A8D905%211863&o=OneUp

 

本文将语义分割模型应用在了识别建筑平面图各个部分的任务中。平面图的主要元素(门,窗,墙,柱,楼梯,背景底色)被划分为不同的区域,然后进入标准的语义分割模型的训练和测试。结果展示了对线稿图模式的平面图的较高的识别率,后期可以辅助BIM模型的快速搭建。

万字长文,探索建筑智能前沿_第60张图片

Left: Original image; Middle: Labelled image; Right: Predict result.

 

A Rapid Building Density Survey Method Based on Improved Unet (Sun and Hu 2020)

关键词:GAN,特征识别

视频汇报下载:

https://www.bilibili.com/video/BV14z4y197Rh/

本文作者使用GAN(Unet)作为技术支撑,将城市卫星图作为输入,标记建筑区域的黑白图作为输出,训练了一个图像到图像的神经网络。使用这套系统,用户可以输入城市卫星图而快速提取建筑区域,进而以较低的时间和金钱代价得到较为准确的建筑密度指标,来衡量城市设计。

万字长文,探索建筑智能前沿_第61张图片

Satellite images/labels and predict images

 

Recognizing Architectural Objects in Floor-plan Drawings Using Deep-learning Style-transfer Algorithms (Cho et al. 2020)

关键词:GAN,特征识别

视频汇报下载:

https://youtu.be/6Spxfl5G98M

同样使用GAN,本文作者将建筑平面图作为输入,将色块区分开的平面语义分割作为输出,训练GAN学习将平面图中不同的元素标记出来。

万字长文,探索建筑智能前沿_第62张图片

Result and accuracy.

A Deep Learning Approach for Brand Store Image and Positioning (Han and Lee 2020)

关键词:CNN,特征识别

视频汇报下载:

https://drive.google.com/file/d/1UbhzNEzkf4kpmEQxxueXcem0KAhLdSyS/view

 

本文通过对品牌旗舰店室内照片的机器学习,建立了一套定量的室内环境评价系统,包括识别室内设计风格和用户评价氛围。

万字长文,探索建筑智能前沿_第63张图片

Style and Atmosphere Evaluation

Process Path Derivation Method for Multi-tool Processing Machines Using Deep-learning-based Three Dimensional Shape Recognition (Kado et al. 2020)

关键词:pointNet,特征识别

视频汇报下载:

https://drive.google.com/file/d/1vnjPcA0z_lx84j5u2lVxcmhy0SljDY0X/view

 

本文作者关注的是建造问题中的节点制造工序。不同的铆接点需要使用不同的工具来制造,比如方形规整的节点可以直接使用电锯切割,而孔状节点需要使用钻头工具。而这些节点的制造工序是需要人工来判断的。因此作者通过对节点模型(点云格式)的机器学习,来自动把节点分类,然后推荐合适的制造工序,减轻工厂和设计方在模型对接上的人工损耗。

万字长文,探索建筑智能前沿_第64张图片

Case study

 

A Machine-learning Driven Design Assistance Framework for the Affective Analysis of Spatial Enclosures (Sanatani 2020)

关键词:回归模型,特征预测

视频汇报下载:

https://www.youtube.com/watch?v=C-heKtrNu3k&feature=youtu.be

本文是一个简单的回归模型的应用。作者将窗户的窗墙比,面积,长宽比作为输入,输出用户对这种窗户设计的评价指标。

万字长文,探索建筑智能前沿_第65张图片

Conceptual script for the regression analysis unit

 

 

设计生成:

 

Generative Modelling With Design Constraints (Akizuki et al. 2020)

关键词:强化学习,生成式设计

视频汇报下载:

https://drive.google.com/file/d/1c-NAfAtmKBx33QWQ2Ri9mtPHuuvl9RhK/view

 

本文作者通过标准的强化学习框架,展示了从二维到三维的若干个生成式设计案例。可执行的策略由简单到复杂,评价体系也逐渐完善。作者展示的最后一个案例是基于乐高模型的决策方法,将设计元素模块化之后,在有限的决策条件下寻找最优解。类似的研究近年来也有许多。

万字长文,探索建筑智能前沿_第66张图片

Object generation via LEGO block model

 

A Machine Learning-Based Method for Predicting Urban Land Use (Xia and Tong 2020)

关键词:ANN,特征预测

视频汇报下载(待更新,见评论区):

https://mega.nz/file/w5IGFApL#7mINpMrNpFT1AyASjOa47S19A-1QJqEXwnFUyGCcwsy8

本文作者将用地性质表达为矢量数据,然后训练了一个ANN模型,通过读取当前地块周边的土地用地性质,来预测当前地块可能的用地性质。相比于图像的神经网络,作者很巧妙的使用了矢量的神经网络,将原本的地图数据栅格化后以矢量保存。全文逻辑清晰,神经网络细节描述全面,结果具有说服力。

万字长文,探索建筑智能前沿_第67张图片

Dataset processing

 

Machine Learning Neural Networks Construction and Analysis in Vectorized Design Drawings (Zheng and Ren 2020)

关键词:ANN,平面图生成

全文下载:

https://www.researchgate.net/publication/343350855_Machine_Learning_Neural_Networks_Construction_and_Analysis_in_Vectorized_Design_Drawings

视频汇报下载:

https://upenn.box.com/s/uc6n75zark8u4mmeqzqdmzntvzdzeqdo

 

本文关注户型图中的卧室布局问题,将设计元素矢量化为坐标,然后通过训练ANN模型来生成卧室布局。区别于基于图像的神经网络,矢量化的数据结构能更清晰的描述CAD数据的本质,训练的速度也更快,容差性更强。特殊的神经网络结构可以为生成多种解提供可能性。

Neural Network Structure and Result Comparison.

Apartment Floor Plans Generation via Generative Adversarial Networks (Zheng et al. 2020)

关键词:GAN,平面图生成

全文下载:

https://www.researchgate.net/publication/343350758_Apartment_Floor_Plans_Generation_via_Generative_Adversarial_Networks

视频汇报下载:

https://upenn.box.com/s/y9dbz9s5tf4haybd78dbx31148jpl0lm

本文通过对建筑户型图的机器学习,搭建了一个基于GAN的图像神经网络,用于对用户指定的边界作为唯一输入,来生产户型平面图。中国户型图和日本户型图作为两套数据训练了两个模型。作者同时对比了两个模型交叉生成的结果。

万字长文,探索建筑智能前沿_第68张图片

Testing image pair.

Integrating Building Footprint Prediction and Building Massing (Rhee, Veloso, and Krishnamurti 2020)

关键词:GAN,平面图生成

视频汇报下载:

https://drive.google.com/file/d/1as1Dbbq5LvLr9yEmXKuq2IJw9mt6SeZE/view

 

本文关注的是城市空间中的步行公共区域(footprint)的生成。作者通过GIS数据收集了一个城市的建筑分布和步行空间的平面图。将建筑部分表达为黑色,其他区域为白色,输入图像展示了城市地块的建筑排布,而神经网络要求的输出是该地块中的步行区域位置。作者进一步将步行区域简化为四边形(矢量表达),然后训练VGG神经网络来学习通过建筑排布图像来生成步行区域。最后作者还提出了几种将简化四边形还原的设计方法,进而辅助设计师得到更完善的步行区域规划建议。

万字长文,探索建筑智能前沿_第69张图片

Overall Process of Generating Building Footprints Using Deep Learning and Diagrammatic Image Dataset of Building Occupancy in Pittsburgh, PA.

Machine Learning Assisted Urban Filling (Shen et al. 2020)

关键词:GAN,平面图生成

全文下载:

https://www.researchgate.net/publication/343350747_Machine_Learning_Assisted_Urban_Filling

视频汇报下载:

https://upenn.app.box.com/s/apni7jha7krieag0nqb527deyvgv1coz

GAN的方法同样可以适用于生成城市平面图。本文作者将城市信息进行抽取成简化平面图,其中场地条件(道路,河流,绿地)作为输入信息,而建筑布局作为输出信息。神经网络的目标是通过场地条件生成建筑布局,来实现快速的城市设计方法。作者对中国的四种城市规模收集了八个城市的数据,分别训练了各自的模型,并交叉生成,对比了中国不同城市可能存在的设计策略的差别。

Data Collection and Generated results by different GAN models

The Spire of AI - Voxel-based 3D Neural Style Transfer (Ren and Zheng 2020)

关键词:Style Transfer,生成式设计

全文下载:

https://www.researchgate.net/publication/343350845_The_Spire_of_AI_-_Voxel-based_3D_Neural_Style_Transfer

视频汇报下载:

https://upenn.box.com/s/02k3sz6rbo33a3vi06y3z67kgd3oqmt1

 

本文是一篇关于风格迁移在三维模型生成上的文章。作者将三维模型切割平面的图像定义为内容图像,对给定的风格图像进行批量的风格迁移,最后重新叠加形成三维体塑模型。相比于其他三维风格迁移方法(表皮,三视图等),这种基于体塑的方法能实现空间内的凹曲面找形,不局限于视图位置。

万字长文,探索建筑智能前沿_第70张图片

Final Conversion from Voxelization Volume to Gaussian Smooth

3D Architectural Form Style Transfer through Machine Learning (Zhang and Blasetti 2020)

关键词:Style Transfer,GAN,生成式设计

全文下载:

https://www.researchgate.net/publication/338187170_3D_Architectural_Form_Style_Transfer_through_Machine_Learning_Full_Version

视频汇报下载:

https://drive.google.com/drive/folders/1PqjLQ94cYhi97QMItCifInm1zIsBI93P

 

这是另一篇关于风格迁移在三维模型生成上的文章。作者首先将三维形态数据表述为两种二维的形式:连续切面和多组透视渲染图。基于这两种数据模式,作者分别尝试和对比了三种生形方法:风格迁移,pix2pix,CycleGAN。用户输入两个三维模型,程序可以将两个模型进行组合,形成一个新的模型,同时具有两个模型的特征。

万字长文,探索建筑智能前沿_第71张图片

Preprocess-based workflow with different algorithms and data types : (a) Input Model A. (b) Input Model B. (c) Results from Serial Stacks. (d) Results from Multi-view.

辅助工具:

T-SNE: A Dimensionality Reduction Tool for Design Data Visualisation (Meng, Graham, and Haeusler 2020)

关键词:聚类,同类找形

视频汇报下载:

https://drive.google.com/drive/folders/1f-ubSlk9YNgJb1nKHLqewzqn-kTvzPF7

 

本文作者将建筑空间形式通过空间句法总结得到各个特征参数,然后通过t-SNE对这些参数进行聚类,进而实现空间形态的降维可视化。通过后续的分析,建筑师可以快速找到相似的空间结构来辅助设计决策。

万字长文,探索建筑智能前沿_第72张图片

Collect Room Geometrical Data using Space Syntax Inspired Dynamo Script

The Augmented Museum - a Machinic Experience with Deep Learning (Koh 2020)

关键词:CNN,图像评价

视频汇报下载:

https://drive.google.com/file/d/1gIS6ogUhcZizsKAfuVjZvASMOSUkEwp8/view

 

本文展示了一些列的试验,以博物馆画作(图像)为出发点,作者使用了各种预训练的神经网络模型来实现定量的评价,比如观众对画作的喜爱程度,产生的情感,主色调等等。根据神经网络的预测结果,设计师可以合理安排各个展品的位置。

万字长文,探索建筑智能前沿_第73张图片

Left: The facial recognition algorithm used. Right: Each artwork stores and aggregates the emotional responses of all viewers.

AI渗透 - 建筑师还在用人工智能做什么?(2020年第三期) - eCAADe2020会议导读

设计认知:

Urban Emotion - The interrogation of social media and its implications within urban context (Kim, Rosenwasser, and Lopez 2020)

关键词:CNN,数据可视化

本文作者通过对社交网络(Ins)上的照片和定位信息的收集,来可视化城市中不同位置对访问者的情绪影响。首先作者使用预训练的CNN来判定收集到的照片上的人物情绪,然后将情绪对应的数值映射到地图上,进而直观的研究城市对情绪的影响。

万字长文,探索建筑智能前沿_第74张图片

TrendScapetrend study, showcasing a changing visualization of activity during differing blocks of hours during the day.

A big data evaluation of urban street walkability using deep learning and environmental sensors (Liet al. 2020)

关键词:语义分割,城市设计,数据可视化

本文探索了一种基于图像数据采集和语义分割的城市街道步行能力测量方法。作者首先捕获了街景图片,交通流量数据,以及环境传感器数据,然后通过语义分割得到街景图片上的关键信息,并可视化表达在街区地图上。通过对比不同街道的结果,作者进一步分析了步行能力的影响要素。

Physicaland Perceived WoUS results.

Deep Learning Methods for Urban Analysis and Health Estimation of Obesity (Newton et al. 2020)

关键词:CNN,图像分析,疾病率

本文是David Newton的新作之一。作者通过对城市医疗数据的收集,定位了疾病发生的地理位置,然后尝试训练CNN模型,输入城市某区域的卫星图,来预测该区域发生疾病的可能性,然后给城市设计提供降低疾病发生率的建议。

万字长文,探索建筑智能前沿_第75张图片

The Xception CNN architecture.

Automatic Generation of Horizontal Building Mask Images by Using a 3D Model with Aerial Photographs for Deep Learning (Ikeno, Fukuda, and Yabuki 2020)

关键词:GAN,平面生成,立面生成

这是一篇标准的训练图像到图像的神经网络的文章,目的是通过读取卫星图来区分建筑和非建筑区域。不同的是,作者使用了三维航拍图来生成训练数据。

万字长文,探索建筑智能前沿_第76张图片

Systemto generate sets of aerial photographs and mask images.

The Emoting City - Designing feeling and artificial empathy in mediated environments (Patelet al. 2020)

关键词:人工智能,传感器

本文以深圳双年展的成果为例,提出了一种理论框架,展示了未来城市和人类交互的可能性。人工智能整合人类的感知力,认知力和现实场景中的行为,在底层实现运算,然后反馈信息给前端的用户。

万字长文,探索建筑智能前沿_第77张图片

The Emoting City conceptual diagram depicting applications and components across 3 layers: computational environmental, and human.

Occupancy-informed - Introducing a method or flexible behavioural mapping in architecture using machine vision (Jørgensen, Tamke, and Poulsgaard 2020)

关键词:CNN,行为捕捉

本文关注的是建成室内环境中的评价数据收集。以室内布置的摄像头为采集设备,CNN算法可以识别其中的人物位置和动作,进而自动建立社交关系图谱。基于这种方法采集的数据,我们可以客观的评价建筑中的使用情况,进而提出改良建议。

万字长文,探索建筑智能前沿_第78张图片

Output form initial prototype, shows the real-time construction of graph representations.

Drawing Recognition - Integrating Machine Learning Systems into Architectural Design Workflows (Brownet al. 2020)

关键词:GAN,平面识别

标准的一篇CNN识别建筑平面图区域的文章。

万字长文,探索建筑智能前沿_第79张图片

Various Room Labelling Results.

Methods for the Prediction and Specification of Functionally Graded Multi-Grain Responsive Timber Composites (Fragkia and Foged 2020)

关键词:GAN,材料属性,机械臂

本文通过对木材的材料特性的机器学习,识别特定木板材料的弯曲特性,然后指导机械臂对板材进行处理。

万字长文,探索建筑智能前沿_第80张图片

The robotic fabrication of multi-grain responsive timber composites is formed as gradual material layering deposition of various grain directionality, using a custom robotic end-effector.

设计生成:

Reprogramming Urban Block by Machine Creativity (Yu 2020)

关键词:GAN,平面生成,立面生成

本文基于UCL2019年的UD研究,使用了图像到图像的GAN模型,目标是让机器生成建筑方案,包括先由输入的边界生成平面语义分割图,再由优化过的平面图生成立面布局,最终组合在一起形成整体方案。

万字长文,探索建筑智能前沿_第81张图片

Application of the Trained Pix2Pix Models: Reprogram Inner Space of Agri-tecture Block.

Architectural Visualisation with Conditional Generative Adversarial Networks (cGAN) (Chan and Spaeth 2020)

关键词:GAN,建筑渲染

本文作者解决的是设计初期的建筑方案表现问题。设计师往往喜欢从绘制草图开始设计一个方案,但是草图可能缺少必要的渲染细节。因此本文作者训练了一个图像到图像的神经网络,输入透视图草图,输出真实的照片图,来帮助建筑师快速看到自己绘制的草图对应的建筑实景渲染图。

万字长文,探索建筑智能前沿_第82张图片

Results generated by Cyclic-cGAN with 80 training data.

An Academy of Spatial Agents - Generating spatial configurations with deep reinforcement learning (Veloso and Krishnamurti 2020)

关键词:强化学习,建筑布局

本文介绍了一种强化学习方法,基于不同地形,来生成建筑布局方案。以形状,面积,拓补学关系等等为特征,强化学习模块能综合考虑各项指标,生成可行性最高的方案。

万字长文,探索建筑智能前沿_第83张图片

Simulation of 12 agents in a terrain with a bridge over a stream.

辅助工具:

A machine-learning model driven by geometry, material and structural performance data in architectural design process (Yazici 2020)

关键词:ANN,聚类,结构分析

从下图的流程图中可以理解,本文作者主要关注壳体结构的分析,先使用分析软件,比如Karamba,得到结构体的基本和衍生参数,然后通过对参数的聚类,来进一步分析结构,预测例如建造和材料推荐等等的信息。

万字长文,探索建筑智能前沿_第84张图片

Workflow.

Perceptive Machine - Visuospatial Configurations Through Machine Intuition (Kampani and Varoudis 2020)

关键词:聚类,降维,数据可视化

城市数据往往是多维化而复杂的,因此如果将这些复杂数据都可视化,那带来的效果会是难以阅读和区分的。本文作者通过对多维的城市数据进行聚类和降维,然后将二次处理过的数据进行可视化。这种方法提高了数据的可读性,同时保留了重要的特征。

万字长文,探索建筑智能前沿_第85张图片

Evaluation processes tested on simple surfaces to tune the algorithm.

LOTI - Using Machine Learning to simulate subjective opinions in design (Markusiewicz and Balerdi 2020)

关键词:ANN,行为数据

这是一篇非常有趣的文章。作者在带一个workshop的时候发现,有些学生设计的Loti椅子具有抄袭的嫌疑,但是又很难界定抄袭的边界。所以作者设计了一个实验,让学生们来对一个椅子的设计来判断它是不是属于抄袭,然后根据学生提交的问卷,训练神经网络来判断一个设计的抄袭与否。这是一种机器对人的行为数据的学习和再现。

万字长文,探索建筑智能前沿_第86张图片

Different versions of Loti generated with the parametric model.

Machine Learning Methods in Energy Simulations for Architects and Designers (Sebestyen and Tyc 2020)

关键词:CNN,环境数据

这是一篇比较标准的使用神经网络来简化环境模拟运算的文章。作者将Ladybug等模拟的结果作为输出,训练神经网络,然后取代原先复杂的算法。

万字长文,探索建筑智能前沿_第87张图片

Predicted shadow and radiation images of a single complex-façade system (middle) and the corresponding true images (left) including the difference map (right).

Machine Learning Methods for Clustering Architectural Precedents (Alymani, Jabi, and Corcoran 2020)

关键词:聚类,设计风格

本文作者将建筑数据进行收集,再使用聚类算法来尝试对设计的风格进行分类。文章中对比了各个聚类算法的效果。

万字长文,探索建筑智能前沿_第88张图片

Workflow.

Designing with a Robot - Interactive methods for brick wall design using computer vision (Das, Foged, and Jensen 2020)

关键词:CNN,图像识别,机械臂

真正意义上的机器人自动搬砖。本文作者设计了一套自动识别砖块的系统,架设在机械臂上,然后根据摄像头反馈的图像数据,神经网络给出砖块的属性和位置,然后指导机械臂完成砖块的抓取和搭建。

万字长文,探索建筑智能前沿_第89张图片

Colour of the brick to be placed (in blue) is to be decided by its 6 nearest neighbouring bricks and available brick on the table.

 

On AI Adoption Issues in Architectural Design (Zwierzycki 2020)

关键词:AI,文献综述

GH插件Anemone和Owl的作者,大名鼎鼎的Mateusz Zwierzycki,本次会议提交了一篇AI+AD的历史梳理和文献综述,值得一看。

关于作者:

郑豪,宾夕法尼亚大学设计学院博士生,程序与设计研究者,专攻机器学习,机械臂技术,混合现实技术,生成式设计。他于加州大学伯克利分校(UC Berkeley)获得建筑学硕士学位,于上海交通大学获得建筑学学士及文学学士学位。

曾工作于清华大学和加州大学伯克利分校,研究机械臂辅助施工,机器学习,仿生式3D打印。教学经验包括,澳门科技大学硕士课程讲师,同济大学工作营导师,宾夕法尼亚大学助教等等。同时,他还担任国际会议ACADIA和CDRF的协办人和审稿人,SSCI期刊审稿人。

重点:

2020年12月19日

我们也邀请了MixLab的嘉宾之一,同时也是本文的作者郑豪,一同来为大家分享 “建筑智能前沿”

详情请戳????

报名链接  ????

邀请三位好友转发本文

票价即可享受 Vip 优惠价

14:00 入场

14:30-16:30 年会分享

16:30-23:00 自由游园

小编微信

万字长文,探索建筑智能前沿_第90张图片

温馨提醒:为了遵守疫情防控的有关要求,届时请各位带好口罩,备好健康码,由工作人员统一检票入场。

你可能感兴趣的:(神经网络,算法,大数据,编程语言,python)