城市数据团课程学习总结

从三月份开始上城市数据团的课（我的学习笔记是3月17日开始），到现在五月中，终于差不多上完了，也看了近百个视频。回头一看还是个小成就。写一点总结笔记。
起缘是因为我做地产方面，一直有关注他们的公众号，看到有相关课程就毫不犹豫的报了名。
城市数据团在网易云课堂上一共开了四门课。按照我学习的顺序是：

1. 爬虫入门，零编程数据爬取攻略
2. 美感培养，数据可视化专题强化
3. 小白逆袭，数据分析实战进阶心理
4. 从零到一，python网页爬虫攻略
   另外还有一个大鹏教你玩数据，主要就2个视频，还有发现城市的秘密就是pdf，有跟他们的公众号的就不用特别再看了。

第一个是零编程爬虫入门，主要先讲火车头采集器。当时我对学编程爬虫还很抗拒，觉得用采集器好方便啊。这个上手也确实很快，很有成就感。用来入门挺好的。
实践：爬了链家等几个网站，后来不需要就没有继续爬。

第二个是美感培养，因为自信ppt做的不错，所以有关ppt的视频课我都略过了。这里主要是powermap的用法。因为powermap是excel2013年后提供的插件，所以可以update一下。其中的动态图比较有用，我跟着做了一份广州各区房价增长的动态图。（正好这一年广州房价嗖嗖的长，效果好明显的。）
后来加了bdp图表的制作，也很方便，因为是在线平台，上手很快，基本上看过视频就会操作了。

第三个是数据分析实战，前面讲的excel一些操作技巧属于提高办公效率的范畴。接下来是qgis，也是我感觉最有用的，因为这个领域并不是很多人涉及，不像已经讲滥了的ppt，excel。但是做出来的分析和图表可以很酷炫。

这个难度比较大一点，主要是软件功能比较复杂，而且需要多图层加载。比如栅格图，就会生成一套栅格图的图层文件（一套，不止一个）。做完一个项目，文件夹里满满都是文件，有些自己都想不起来是干什么的了，又不敢删掉，好烦。
如果入门不深，其实主要掌握热力图和栅格图也可以过关。像泰森多边形和德洛内三角这些略为复杂的空间分析手段，就不用深入了，反正做出来也很难解释给吃瓜群众。
这个软件对于个人专业帮助很大，对于建筑师来讲，虽然每天都和道路，坐标打交道，但常用的软件还是cad，或者ps,sku这些，对archgis，qgis这些会比较陌生。这种全信息的地理平台，可以把地域参数（比如人口，经济，房价增长率）很直接的和经纬度落实在一起，对于数据分析和展现非常的有帮助。
后来我根据学到的技能，结合广州土地等数据分析，再用栅格图和热力图等展现出来，写了一篇广州土地出让的分析文，因为在行内，用地理信息系统的大概还比较少，这类的数据展现也不多，所以也比较特别，在内部微信号发表出来后，立刻被某地产大号转载，有6000+的阅读量，也算不错了。
运用qgis的缺点就是合适的shp文件并不是随手可得，比如广州2014-2015年市区划分有很大调整，我差点连新区的文件都找不到，最后花了一点点钱才下载到手。而且手头上的shp地图也就是分区的，还没有能划分到街区的，所以数据还没能落得很细，比如无法比较珠江新城（广州的cbd）和其他周边地区的数据。当然还有一个办法就得自己比较费力的合并整理，这步工作我还没有做。所以虽然qgis是很有用的软件，但它的功能我可能还远远没有发掘出来。

第四个就是python爬虫，也是我个人花时间最多的课程。因为同时还买书学习，也加入了专门的学习群。这也是我做笔记最多的一门课。但毕竟这是一门脚本语言，需要从根本上理解逻辑和代码，和一般的软件操作并不一样。很坦白的讲，我觉得python这门课讲的不是特别特别好，虽然大鹏很深入浅出，也很努力的把重点集中在50个视频左右，但网页爬取是一个比较动态的过程，每一个网页都不太一样。对于小白来说，最后只有2个实战其实是不够的，也还不太深入。看完视频后还有挺多爬虫不会的，也是有点挫败感的。
如果要改进的话，个人的建议是多加入一些实战课，并进行深一点的拓展，比如app的爬取，甚至更高阶比如panda，scapy这些。那我就不用来来去去找其他资料啦。

其他方面，数据团的qq网上答疑也很及时，至少不是完全没有回音。另外软件给的很大方。比如qgis，anacoda这些软件都是直接下载，真是满方便的。

一百多节课说过去也过去了，大多是我利用午休时间看的，半小时左右可以看1-2个视频，感觉也不是特别辛苦，也做了满满一本笔记。两个月的业余时间（不是全部）学了以上所述的满有用的几项技能，总的来说还是很推荐的，所以写下此文，供大家参考，也作为自己的一项学习总结。日后还要多多练习，把学费十倍百倍的挣回来（笑）。