2017，要这样学数据分析丨数据工匠简报（Feb. 27）

摘要：初学数据分析的朋友，在2017年应该如何学习数据分析；郑宇博士的“城市计算” 又是如何计算出人群的流向。本周数据工匠简报带您一探究竟。

2017，要这样学数据分析

好多初学数据分析，或想转行做数据分析的朋友，经常私信问我：数据分析是个怎样的工作？赚钱吗？可不可以转行做数据分析师？零基础或有基础，应该如何学习数据分析？为了解答朋友们的问题，刚刚做了一次视频直播，我觉得效果和发挥的状态还好，就以笔录的形式分享给大家，希望能对大家有所帮助。

视野决定了境界和能力，而所处的环境又决定了视野。好多人不知道什么是数据分析师，认为会熟练使用Excel就是数据分析师，如果你还会使用Excel中的一些高级功能如透视和函数等等，可能别人就认为你是牛＊的数据分析师了，如果你工作中还用到了VBA，（word天啊！），在别人眼中你就是数据分析大神了。真的是这样吗？诚然，单用Excel的确可以解决大部分的数据问题，但是作为一个数据分析师，你并不是一个基层的统计分析从业者，那么数据分析师应该是怎样的职业呢？

数据分析的职位分类按照数据处理的不同阶段分为数据采集、数据分析、与数据挖掘三种。其中数据采集的概念是对企业来说的，是jacky企业（航航数据）在做的事，包括原始数据源的采集和地理信息数据的采集，这里受众面太窄，就不一一说了，想了解的朋友可以私信我。

下面主要说下数据分析和数据挖掘的职位：
大家要记住一句话：数据分析的职位分为业务方向与技术方向两个方向，这两个方向决定了两条不同的职业规划和晋升途径，包括下面章节要说的数据分析的学习规划也跟这两个方向紧密相关。

---

预测人群流向：他的这项技术能知道朝阳群众们都要去哪儿

从 2008 年开始，来自微软亚洲研究院的郑宇博士开始主持一项名为「城市计算」的研究，具体地说，城市计算是一个通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临的挑战（如环境恶化、交通拥堵、能耗增加、规划落后等）的过程。

在这个多种学科交叉（城市规划、交通、能源、环境、社会学和经济学等）、覆盖面积极大的领域，其主要研究的问题有四项：

• 城市感知：如何利用城市现有的资源（如手机、传感器、车辆和人等），在不干扰人们生活的前提下自动感知城市的韵律。如何从大量的传感器和设备中高效而可靠地收集、传送数据将给现有的传感器网络技术带来挑战。
• 海量异构数据的管理：城市产生的数据五花八门，属性差别很大。例如：气象是时序数据，兴趣点是空间点数据，道路是空间图数据，人的移动是轨迹数据（时间+空间），交通流量是流数据，社交网络上用户发布的信息是文本或图像数据。如何管理和整合大规模的异构数据是一个新的挑战。
• 异构数据的协同计算：这部分包括三个方面：(1) 如何从不同的数据源中获取相互增强的知识是一个新的课题。传统的机器学习往往基于单一数据，如自然语言处理主要分析文本数据，图像视觉主要基于图像数据。在城市计算的很多应用中，对不同性质的数据一视同仁，其效果并不理想。(2) 在保证知识提取深度的同时，如何提高对大数据的分析效率，从而满足城市计算中众多实时性要求较高的应用（如空气质量预测、异常事件监测等），也是一个难题。(3) 数据维度的增加也容易导致数据稀疏性问题。当数据规模达到一定程度，简单的矩阵分解算法都变得难以执行。
• 虚实结合的混合式系统：城市计算常常催生混合系统，如云加端模式，即信息产生在物理世界，通过终端设备被收集到云端（虚拟世界）分析和处理，最后云再将提取的知识作为服务提供给物理世界的终端用户。数据在物理和虚拟世界中来回穿行，从分散到集中，再到分散。这对系统的设计和搭建提出了更高的要求。

---

计算机取代人类工作，人类该如何应对

现在是时候面对现实了：由于数量空前的技术进步和高度互联的信息网络，全球就业市场正发生快速变化，而全球范围内的雇员都难于在其中竞争。

过去数十年的 技术变革速度 是有史以来最快的，我们生活在一段 指数式增长 的时期。这些技术从长期来看是有益的，但它们常常造成短期内的就业岗位流失，从而导致员工焦虑以及临时失业的问题。

例如，我们可以想一想世界上最普遍的就业类型：驾驶机动车辆的司机。本周，在匹兹堡完成为期 3 个月的测试之后，Uber 开始在旧金山的街道上部署自动驾驶的 UberX 汽车。

虽然这在目前是一次小规模的部署（而且 Uber 仍然需要司机坐在驾驶座待命），但这股潮流将大幅减少司机岗位的数量。试想一下，等到我们能够大规模地部署自动驾驶汽车，会 有多少工作岗位可能消失不见 。我们将不再需要很多人类司机，那么这些雇员身上将会发生什么呢？

把这些跟人工智能的进步综合在一起来看，一些专家认为，世界上 有三分之一到二分之一的工作将面临被自动化技术取代的风险 。今天需要思考接下来做什么的是 Uber 司机，明天可能就是我们当中接近半数的人。

重点在于，我们并非出现了失业问题，而是遭遇了工作不匹配的挑战。这样的错配曾在历史上发生过多次，尤其是在经济出现意想不到快速变化的时期。

---

以上简讯由数据工匠提供，感兴趣的小伙伴可以通过扫描简报后的二维码链接原文，更多数据科学资讯尽在数据工匠，扫码关注 Datartisan 数据工匠公众号！如果你看到什么与“数据科学”有关的好文或者信息科技优质的文章，可以随手转发给我们，让更多热爱数据科学的小伙伴一起成长！