数据挖掘初涉

学习一门技术要和行业靠拢，没有行业背景的技术如空中楼阁。技术尤其是计算机领域的技术发展是宽泛且快速更替的（十年前做网页设计都能成立公司），一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合行业之后就能够独当一面了，一方面有利于抓住用户痛点和刚性需求，另一方面能够累计行业经验，使用互联网思维跨界让你更容易取得成功。不要在学习技术时想要面面俱到，这样会失去你的核心竞争力。

一、目前国内的数据挖掘人员工作领域大致可分为三类。

• 1）数据分析师：在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询，商务智能，出分析报告。
• 2）数据挖掘工程师：在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。
• 3）科学研究方向：在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。

二、各工作领域需要掌握的技能。

(1).数据分析师

• 需要有深厚的数理统计基础，但是对程序开发能力不做要求。
• 需要熟练使用主流的数据挖掘（或统计分析）工具如Business Analytics and Business Intelligence Software（SAS）、SPSS、EXCEL等。
• 需要对与所在行业有关的一切核心数据有深入的理解，以及一定的数据敏感性培养。
• 经典图书推荐：《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用 》、《Excel 2007 VBA参考大全》、《IBM SPSS Statistics 19 Statistical Procedures Companion》等。

(2).数据挖掘工程师

• 需要理解主流机器学习算法的原理和应用。
• 需要熟悉至少一门编程语言如（Python、C、C++、Java、Delphi等）。
• 需要理解数据库原理，能够熟练操作至少一种数据库（Mysql、SQL、DB2、Oracle等），能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。
• 经典图书推荐：《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。

(3).科学研究方向

• 需要深入学习数据挖掘的理论基础，包括关联规则挖掘 （Apriori和FPTree）、分类算法（C4.5、KNN、Logistic Regression、SVM等) 、聚类算法 （Kmeans、Spectral Clustering）。目标可以先吃透数据挖掘10大算法各自的使用情况和优缺点。
• 相对SAS、SPSS来说R语言更适合科研人员The R Project for Statistical Computing，因为R软件是完全免费的，而且开放的社区环境提供多种附加工具包支持，更适合进行统计计算分析研究。虽然目前在国内流行度不高，但是强烈推荐。
• 可以尝试改进一些主流算法使其更加快速高效，例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。
• 需要广而深的阅读世界著名会议论文跟踪热点技术。如KDD，ICML，IJCAI，Association for the Advancement of Artificial Intelligence，ICDM 等等；还有数据挖掘相关领域期刊：ACM Transactions on Knowledge Discovery from Data，IEEE Transactions on Knowledge and Data Engineering，Journal of Machine Learning Research Homepage，IEEE Xplore: Pattern Analysis and Machine Intelligence, IEEE Transactions on等。
• 可以尝试参加数据挖掘比赛培养全方面解决实际问题的能力。如Sig KDD ，Kaggle: Go from Big Data to Big Analytics等。
• 可以尝试为一些开源项目贡献自己的代码，比如Apache Mahout: Scalable machine learning and data mining ,myrrix等（具体可以在SourceForge或GitHub.上发现更多好玩的项目）。
• 经典图书推荐：《机器学习》 《模式分类》《统计学习理论的本质》《统计学习方法》《数据挖掘实用机器学习技术》《R语言实践》，英文素质是科研人才必备的《Machine Learning: A Probabilistic Perspective》《Scaling up Machine Learning : Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise Miner : A Case Study Approach》《Python for Data Analysis》等。

三、以下是通信行业数据挖掘工程师的工作感受。

真正从数据挖掘项目实践的角度讲，沟通能力对挖掘的兴趣爱好是最重要的，有了爱好才可以愿意钻研，有了不错的沟通能力，才可以正确理解业务问题，才能正确把业务问题转化成挖掘问题，才可以在相关不同专业人才之间清楚表达你的意图和想法，取得他们的理解和支持。所以我认为沟通能力和兴趣爱好是个人的数据挖掘的核心竞争力，是很难学到的；而其他的相关专业知识谁都可以学，算不上个人发展的核心竞争力。

说到这里可能很多数据仓库专家、程序员、统计师等等都要扔砖头了，对不起，我没有别的意思，你们的专业对于数据挖掘都很重要，大家本来就是一个整体的，但是作为单独一个个体的人来说，精力有限，时间有限，不可能这些领域都能掌握，在这种情况下，选择最重要的核心，我想应该是数据挖掘技能和相关业务能力吧（从另外的一个极端的例子，我们可以看， 比如一个迷你型的挖掘项目，一个懂得市场营销和数据挖掘技能的人应该可以胜任。这其中他虽然不懂数据仓库，但是简单的Excel就足以胜任高打6万个样本的数据处理；他虽然不懂专业的展示展现技能，但是只要他自己看的懂就行了，这就无需什么展示展现；前面说过，统计技能是应该掌握的，这对一个人的迷你项目很重要；他虽然不懂编程，但是专业挖掘工具和挖掘技能足够让他操练的；这样在迷你项目中，一个懂得挖掘技能和市场营销业务能力的人就可以圆满完成了，甚至在一个数据源中根据业务需求可以无穷无尽的挖掘不同的项目思路，试问就是这个迷你项目，单纯的一个数据仓库专家、单纯的一个程序员、单纯的一个展示展现技师、甚至单纯的一个挖掘技术专家，都是无法胜任的）。这从另一个方面也说明了为什么沟通能力的重要，这些个完全不同的专业领域，想要有效有机地整合在一起进行数据挖掘项目实践，你说没有好的沟通能力行吗？

数据挖掘能力只能在项目实践的熔炉中提升、升华，所以跟着项目学挖掘是最有效的捷径。国外学习挖掘的人都是一开始跟着老板做项目，刚开始不懂不要紧，越不懂越知道应该学什么，才能学得越快越有效果。我不知道国内的数据挖掘学生是怎样学的，但是从网上的一些论坛看，很多都是纸上谈兵，这样很浪费时间，很没有效率。

另外现在国内关于数据挖掘的概念都很混乱，很多BI只是局限在报表的展示和简单的统计分析，却也号称是数据挖掘；另一方面，国内真正规模化实施数据挖掘的行业是屈指可数（银行、保险公司、移动通讯），其他行业的应用就只能算是小规模的，比如很多大学都有些相关的挖掘课题、挖掘项目，但都比较分散，而且都是处于摸索阶段，但是我相信数据挖掘在中国一定是好的前景，因为这是历史发展的必然。

讲到移动方面的实践案例，如果你是来自移动的话，你一定知道国内有家叫华院分析的公司（申明，我跟这家公司没有任何关系，我只是站在数据挖掘者的角度分析过中国大多数的号称数据挖掘服务公司，觉得华院还不错，比很多徒有虚名的大公司来得更实际），他们的业务现在已经覆盖了绝大多数中国省级移动公司的分析挖掘项目，你上网搜索一下应该可以找到一些详细的资料吧。我对华院分析印象最深的一点就是2002年这个公司白手起家，自己不懂不要紧，一边自学一边开始拓展客户，到现在在中国的移动通讯市场全面开花，的确佩服佩服呀。他们最开始都是用EXCEL处理数据，用肉眼比较选择比较不同的模型，你可以想象这其中的艰难吧。

至于移动通讯的具体的数据挖掘的应用，那太多了，比如不同话费套餐的制订、客户流失模型、不同服务交叉销售模型、不同客户对优惠的弹性分析、客户群体细分模型、不同客户生命周期模型、渠道选择模型、恶意欺诈预警模型，太多了，记住，从客户的需求出发，从实践中的问题出发，移动中可以发现太多的挖掘项目。最后告诉你一个秘密，当你数据挖掘能力提升到一定程度时，你会发现无论什么行业，其实数据挖掘的应用有大部分是重合的相似的，这样你会觉得更轻松。

四、推荐书籍

一、数据分析入门：

• 《Head First Data Analysis》

电子工业出版社的经典书目系列，从数据分析基本步骤开始、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧一一讲到。图比较多，适合入门。

• 《Head First Statistics》

推荐理由同上，适合入门者的经典教材。

• 《R in Action-Data Analysis and Graphics with R》

R是属于GNU系统的一个自由、免费、源代码开放的软件，用于统计计算和统计制图。这本书从实用的统计研究角度逐例分析R在数据处理、模型构建、以及图形操作上的由浅入深的结合，堪称经典。

 

• 《数据之魅-基于开源工具的数据分析》

作者是华盛顿大学理论物理学博士。这本书是数据分析的经典之一，包含大量的R语言模拟过程及结果展示，例举了很多数据分析实例和代码。

• 《数据挖掘-市场营销、销售与客户关系管理领域应用》

作者是Data Miners的创办人，有二十多年的营销和客户关系管理结合数据挖掘的经验。详细介绍了作为一个数据挖掘团队需要的知识体系，包括数据库、SAS使用、统计学、机器学习、数据可视化、如何访问用户收集需求、如何写论文与沟通等等。有条件的建议看英文原版。

 

• 《Data Analytics for Beginners: Basic Guide to Master Data Analytics》

入门五星推荐。里面很多图表实例，手把手教你如何EXCEL画图，对各种知识点（平均值，模式，中值，方差，标准偏差）的讲解相当的到位，比起大学里的各种课本靠谱。

先把这些花时间啃啃，数据分析的理论部分就基本入门了，根据实际情况还需要结合你的业务需求来进行系统的学习。

 

 

二、数据分析进阶：

• 《Doing Data Scienc》

作者Cathy O’Neil是哈佛大学的博士，MIT的数据博士后，曾今作为一名Quant在对冲基金D.E. Shaw 工作，目前是一家纽约初创公司的Data scientist 。这本书需要有一定的编程和理论基础，作为入门教材来说有点难，虽然只有400来页，但是涉及的知识点很全面。每一章节的核心内容都附有编程案例，R/Python/Shell三种语言任君挑选（个人博客：http://mathbabe.org）另一作者Rachel Schutt曾在谷歌研究院工作数年，负责设计算法原型并通过建模理解用户行为。

 

• 《Python for Data Analysis》

墙裂推荐。Python数据分析必看，适合入行不久的数据分析师。作者Wes McKinney，资深数据分析专家，在创建Lambda Foundry（数据分析公司）之前，曾是AQR Capital Management的定量分析师。有多年的Python数据分析工作经验，对各种Pyhon包iPython，NumPy，pandas，matpotlib等有着很深的理解。他仅凭一己之力撰写了大量与Python数据分析相关的经典文章，并开发了用于数据分析的著名开源Python库：Pandas。看完这本，敲完代码，Python数据分析就算上道了。

 

• 《Data Science for Business》

目前（2019年）未有中文版，但这不妨碍它的质量，内容优秀且丰富。很多牛人（如Tom Phillips，Google搜索和分析业务主管）为之作序，数据科学如何与商业结合？相信这本书会给你不少启发。

 

• 《Python Data Science Handbook》

2016年6月出版的，500页保质保量，目前已有中文版，作者（Jake VanderPlas）是华盛顿大学电子科学研究所的高级数据科学研究员，研究领域包括天文统计学、机器学习和可扩展计算。书的前半部分介绍了用于数据分析和一般的科学计算的基本Python库，后面从实际应用的角度使用Python库scikit-learn开始机器学习实践。适合有一定Python基础人（或者R基础），并且想学习如何使用Python进行数据分析的人。

 

• 《Storytelling with Data》

作者Cole NussbaumerKnaflic，私募分析师，前Google人力分析团队总监。本书展示了如何高效率展示量化资讯，如何用丰富的资料讲故事。Google内部的数据可视化课程讲师，之前也在Maryland Institute College of Art兼职讲师。如果你想知道如何以图叙事，这边好书不容错过。

 

• 《精通数据科学 从线性回归到深度学习》

数据科学界为数不多的国内出版物，几个友人看过后觉得不错，中国工程院院士，前中国科学院计算技术研究所所长李国杰也为之做序。作者唐亘，数据科学家，国人的书一向注重实操性，此书用了大量的例子和模型进行软件实操演练，将统计学、机器学习和计算机科学融会贯通，对于刚刚入行还摸不清门道的人来说，可能会帮你解决一些实际问题。

五、技能图