ArcGIS Pro安装和深度学习入门及入门者的一些注意事项

简单介绍


  • ArcGIS Pro是ArcGIS产品中基于微软.NET Framework开发的一款ArcGIS桌面端的一款产品,采用64位架构,主要用于密集型计算。ArcGIS Pro并不是ArcMap以及ArcMap子套件的替代品,而是两个方向的产品。
  • 对于普通人而言,ArcGIS主要用于三维处理、深度学习、大规模数据加载以及其它的一些热点GIS问题处理方面。
  • 说实话,个人感觉ArcGIS Pro相比于传统ArcMap套件,在健壮性和稳定性方面还差得远。个人感觉虽然ArcGIS Pro很强大,但是用起来并不省心。

有好多朋友需要数据的,可以去这个QQ群(565316938)里面下载,可以直接游客进去下载。

ArcGIS Pro的安装包


值得一提的是对于做深度学习相关内容的用户,ArcGIS Pro的安装包可以分为两个部分:ArcGIS Pro安装包,ArcGIS Pro深度学习的相关包,若要使用深度学习模型训练和预测,必须安装深度学习的安装包。


ArcGIS Pro的安装包可以在X宝以较低的价格购买,深度学习相关的安装包可以在官方文档中关于深度学习介绍的章节找到。
我这里提供一个迅雷的下载链接,如果不能下载,请移步淘宝、官网、百度云、360云盘、QQ群等地址。
ArcGIS Pro 提取码:f24e
Deep Learning Package
值得注意的是在安装了ArcGIS Pro和其深度学习包后,打开软件,一般需要玩家们在克隆一个自己的Python环境,在这里搞(如果你暂时不需要再安装额外的python包也不需要在py文件中执行一些莫名其妙的脚本的话可以不用克隆):
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第1张图片


参考资料:
ArcGIS Pro深度学习简介:https://pro.arcgis.com/zh-cn/pro-app/latest/help/analysis/deep-learning/what-is-deep-learning-.htm
安装 ArcGIS 的深度学习框架:https://pro.arcgis.com/zh-cn/pro-app/latest/help/analysis/deep-learning/install-deep-learning-frameworks.htm

ArcGIS Pro的Learn账号


ArcGIS Pro新版2.8到2021年10月29日仍没有破解版本,老版本应该有,如果要使用2.8你有两种方案:

  • 教育机构的学生或老师,自己注册Learn账号并用于登录,请参考https://www.esri.com/zh-cn/lg/training-and-services/learn-arcgis-education-trial
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第2张图片

  • 淘宝几块钱叫别人帮你注册一个,到期又注册,成本价算下来10块钱一个月。
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第3张图片


至于安装和登录,折腾一下一般很快就搞定了,这里就不在重复演示


接下来想给大家演示的是如果使用ArcGIS Pro的深度学习功能。

参照官方文档的解释,在ArcGIS Pro中,深度学习可以分为这几类:

影像分类
  • 图像分类涉及为数字图像分配标注或类。 例如,可能会将左下方的无人机图像标记为人群,而将右侧数码照片标记为猫。 这种类型的分类也称为对象分类或图像识别,可以在 GIS 中用于对图像中的要素进行分类。
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第4张图片
对象检测
  • 对象检测是在图像中定位要素的过程。 例如,在以下遥感图像中,神经网络找到了飞机的位置。 在更通用的计算机视觉用例中,模型可能能够检测不同动物的位置。 此过程通常涉及在感兴趣要素周围绘制一个边界框。 可以在 GIS 中使用它来定位卫星、航空或无人机影像中的特定要素并在地图上绘制这些要素。
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第5张图片
语义分割
  • 当图像中的每个像素被归为一类时,将会进行语义分割。 例如,在左下方图像中,道路像素与非道路像素分别进行了分类。 在右侧,照片中构成猫的像素将分类为猫,而图像中的其他像素则属于其他类别。 在 GIS 中,这通常被称为像素分类、图像分割或图像分类。 它通常用于创建土地利用分类地图。
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第6张图片
实例分割
  • 实例分割是一种更加精确的对象检测方法,将在其中绘制每个对象实例的边界。 例如,在左下方的影像中,将检测房屋的屋顶,包括屋顶形状的精确轮廓。 在右侧,将检测到小型汽车,您可以看到小型汽车的清晰形状。 这种类型的深度学习应用程序也称为对象分割。
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第7张图片
影像转换
  • 影像转换是将影像从场景的一种可能表达或样式转换为另一种(例如降噪或超分辨率)的任务。 例如,左下方的影像显示的是原始低分辨率影像,而右侧的影像显示使用超分辨率模型的结果。 这种类型的深度学习应用程序也称为影像到影像的转换。
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第8张图片
变化检测
  • 变化检测深度学习任务可以检测两个日期之间感兴趣要素的变更,并生成变化的逻辑图。 例如,左下方的影像显示的是五年前的房产开发,中间的影像显示的是如今同一开发,右图显示的是逻辑变化图,其中新房屋显示为白色。
    ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第9张图片

在具体罗列一下就是这么个图:

ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第10张图片


  • 对于建筑物的分割,通常由于建筑物的特征差异较大,且建筑的大小规模也不近相同,因此对于建筑物的提取并不适合使用对象检测(Obeject Detection)去识别,使用语义分割的算法将会得到更好的精度。下面我以棕榈树案例图中的建筑物为研究对象,分别演示如何在ArcGIS Pro中使用Object Detection和Pixels Classification算法来对建筑物进行识别分类,并分析它们的优缺点。(后面有对过程中遇到的问题作简单分析

ArcGIS的深度学习示例

ArcGIS Pro中的深度学习使用大致分为3个步骤,分别是(1)划分并导出数据集;(2)训练模型;(使用模型对未知数据进行预测分类)
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第11张图片

1.原始数据

本次示例采用了一张100多MB的tif图像数据(细节真的是相当的丰富呢):
数据集我是从别人那儿拿过来的,暂时没有,如果你需要,发邮件给我[email protected].

2. 打标签以及导出数据集

首先创建一个新项目并导入原始数据:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第12张图片
ArcGIS Pro提供了打标签的工具,如何找到打标签的工具呢:
首先选中原始图像,然后点击菜单栏的图像–分类工具–为深度学习标注数据:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第13张图片
打开工具后,我们就可以进行标注了,值得注意的是,标注前先建立类别,比如建立building类(value随便填,一般填123456789,最好别作shi填0,指不定会报错,可以试试):
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第14张图片

接着使用建立好的类别在原始图像上标注数据集,像素分类一般把轮廓给标注出来,目标检测就标注出对象就行。下面我分别演示(其实哪一种打标签的方法都能导出其它类型的数据,我觉得这么标记准确一些,可能是错觉,你爱怎么打标签就怎么打标签):
像素分类怎么打标签:

Object Detection怎么标签:

导出打好标签的 数据:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第15张图片
下面是我打过标签的数据:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第16张图片
其中dataset2_voc用于目标检测,dataset9_classfied_tiles用于像素分类。在目录的emd文件中可以看到数据集的详细信息:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第17张图片

3. 训练深度学习模型

在工具箱中找到训练深度学习模型选项
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第18张图片
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第19张图片
选中之后需要填写一些参数:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第20张图片
在environment中可以找到选择GPU还是CPU,我之前有遇到跑GPU的时候,一直卡在generate raster 0%的位置上,不知道为什么,但是跑CPU又没问题。
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第21张图片
参数配置完后,点击下面的run就可以开始跑算法了。

但是这里有一个小技巧可以掌握一下:
点击run旁边的小三角,选择复制Python命令
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第22张图片
然后再View菜单栏中选择打开Python window,把复制的代码粘贴到python window中再执行,这样可以看到更多的运行信息:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第23张图片

由于过程过于漫长,需要坐下来喝杯茶,我觉得,因为很气人啊。
跑完之后可以得到输出的模型文件夹:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第24张图片
我这里跑了三个模型,两个目标检测的模型和一个像素分类的模型,model_voc_rotate180是对voc原始数据进行180读旋转得到的增广数据集。
事实证明,增广的数据集精准度反而更低,原因是因为数据集本身不行。
跑完的模型打开:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第25张图片
其中ModelCharacteristics存放着loss图和results,emd文件中模型的i详细信息,pth是模型文件,其它文件请自行参考。这是我跑的模型的损失图,
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第26张图片
准确率:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第27张图片

4. 预测推理

最后使用ArcGIS工具进行预测推理:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第28张图片

预测结果展示:
像素分类结果:


像素分类算法能很好地分割出建筑物的边缘,并且精准度非常地高。

目标检测算法结果:

通过这幅图我们可以看出,目标检测算法虽然能检测出有建筑物的区域,但准确度并不高,存在将其它区域识别成建筑物的情况,另一方面,目标检测算法无法识别出整个建筑,而会将单个建筑分割成无数个小型切片,这个结果应该可以通过增加数据集和极大值抑制的方式来进行优化,但无论如何,跟前面的像素分类算法相比,目标检测算法并不适合用在复杂建筑的识别上,尤其是数据量不足的情况下,但是另一个方面,我又相信再数据量足够的情况下,目标检测仍然能取得较好的识别结果。建议再试试呗。

以上整个工程如果你有兴趣,可以联系我发给你,我的邮箱: [email protected]

过程中的一些问题如何解决


1. 如果你再选择数据集进行训练模型时显示找不到网络结构文件什么的,这可能是你没有安装深度学习包。如果你确认安装了,请在设置中切换以下python环境,再重启一下再试,如果还是不行,新建项目再试。

2. 如果运行过程中显示下载权重文件失败,建议开科学网试试。或者切换网络模型试试。

3. 如果你点击了运行,却一直卡在generate raster那儿(生成栅格图),建议强制终止取消任务后切换environment,如果你用的显卡不行,试试切到CPU。

4. 实际操作过程中,有很多问题,需要耐心和细心;虽然ArcGIS Pro提供了便捷的深度学习箱,方便使用算法,但使用过程中遇到的一些莫名其妙的bug(目前发现2.8保存不了标签文件)和错误并不比直接跑代码来的轻松简单,甚至更烦(因为一个简单的问题估计网上都找不到遇到同样错误的前辈,看来玩gis确实是少部分人啊)

行行好,赏口饭吃:
ArcGIS Pro安装和深度学习入门及入门者的一些注意事项_第29张图片

你可能感兴趣的:(ArcGIS,深度学习,arcgis,python,目标检测)