数据挖掘学习指引<一>

        对于当前热门的大数据、云计算等技术，被百度、阿里等国内互联网巨头炒的很火，数据挖掘作为一门很实用的技术，在商业管理、市场分析、科学计算等大数据方面发挥着大作用。

       数据挖掘技术也变得很火，why？

       1、数据挖掘作为市场营销的一个手段，可以将潜在的商业信息捕获。指商业公司根据客户以前的消费记录，预测消费者的喜好、兴趣，可以开展定向营销，以促进双方赢利。典型的尿片+beer组合就不说了；例如，银行系统可以根据客户突然的大范围消费，可以预测该客户可能买房、结婚等，进而向楼盘、婚庆所介绍生意等。

        2、数据挖掘可以为决策者提供知识。数据很大，知识很少；在数据库中保存的巨大数据，如何利用这些数据，寻找客户消费、分类等潜在的规律。这个优势在电信、银行、超市等行业有很多体现。例如，某国电信公司将10年的国民打电话数据发给研究机构，以制定出合适的电话收费方案和管理政策。

        随着电子商务、股票系统、信用卡交易等商业范畴内的大数据兴起，数据挖掘在发现新知识以提供定制的客户关系管理（CRM）。

       简单介绍了数据挖掘的几个实际应用案例后，什么是数据挖掘？

       data mining，是指从巨大的数据集中发掘有用的、新奇的、可理解的模型。data mining通过数据库、机器学习（贝叶斯分类器、决策树等）、数理统计、神经网络等多学科的理论、规则来实现的。    

       掌握数据挖掘，需要了解数据挖掘的几种模型和数据库类型。

       1、关联规则：从数据库中找到高频出现的属性组或项目组。例如，beer和尿布，badminton 和 battledore等。

       2、分类器：从数据训练建立分类器，输入新数据进行分类。例如，决策树等，在信用卡评估中银行根据记录的客户信用卡交易、借贷偿还等数据评估信用等级。

       3、聚类（clustering）：将数据集分组，使得组内元素间有很高的相似性，组间无相似性。例如，电商通过客户浏览相似商品判断客户的分类，通过判断生物特征进行物种分类。

       4、顺序挖掘：根据很多个序列，找到高频发生的子序列。例如，商家卖给你一台电脑，可能9个月后会推荐给你一台打印机或者路由器。

       5、异常检测：给出n个点，发现某个点k的值超过范围，k点具有异常性。      

       数据挖掘，前提是大数据，从海量数据中发现模型和知识，所以模型建立的基础必须基于数据。而各种各样的数据类型，即为数据挖掘带来了发展空间又带来了挑战。现在介绍数据挖掘中常见的几种数据类型：

       1、关系型数据库中的链表。题外话，关系型数据管理系统能简单提供数据查询，但是并不能带来更多的知识。

       2、数据仓库。数据仓库是将数据库中的数据进行清理、集成，为数据挖掘建立模型提供源数据。

       3、空间数据。例如遥感卫星采集的地图信息、集成电路的pcb设计与检测等

       4、图，多媒体，文本数据库等。

       数据挖掘虽然发展很成熟，但是了解这门技术最新的发展方向和遇到的挑战、改进的地方也很有必要。

        1、数据挖掘高性能、高移植性的算法发现。经典算法的使用难道几十年都不变？

        2、与用户的交互性改进。数据库技术有专门的数据查询语言SQL，数据挖掘能发展出一门语言吗？

        3、数据挖掘结果的可视化。

        更多的专业技术的探讨和研究可以参考数据挖掘的国际会议与期刊，例如 IEEE ICDM，PKDD，ACM data mining and knowledge discovery。

        数据仓库和OLAP技术

        数据仓库是数据挖掘的处理对象，在做数据分析时，需要从海量的数据库中汇合数据，集成后变成数据仓库，然后利用数学分析和建立模型来分析数据，然后得到知识应用于决策分析。所以数据仓库具有集成、面向主题的特征，区别于面向事务的数据库；数据库考虑的是事务流处理，建立一个表，每个属性代表着解决事物的具体意义，数据仓库是集成不同源的数据库，通过模型分析，找到具有某种内在联系的规律或者分类。

       OLTP和OLAP是分别针对DBMS和DM提出来的在线处理，OLTP实时处理事务，例如顾客注册、图书登记、商品上架等；OLAP则是利用模型处理过去某段时间里的数据集。

       前面讲了这么多数据仓库和数据库的区别与联系，怎么建立数据仓库呢？下面要介绍的是从表和电子表格中建立数据立方块（data cube）。

       data cube，是数据仓库中的多维数据模型，方便做统计与分析。不同的维代表着不同的item，可以roll up 和drill down来累加某个维度上的数据。

       数据仓库的概念模型（conceptual modeling），主要有三种：star schema、snowflake schema、fact constellation，也就是星型模型、雪花模型、星座模型，这些模型的建立就像各自的外在表现一样，星型模型呈中心发散状，雪花模型呈末端发散状，星座模型呈多个雪花状相互联系的状态。重要的是数据仓库不仅包含schema中每个维度的item，还包含对这些维的操作（measures）。

        数据预处理，是构建数据仓库的重要环节，包含数据清理、数据变换、数据降维等。

        数据清理，主要是指某些数据无意义、数据缺失、挑选某些属性关联的工作；数据变换，主要指标准化数据，归一化等；数据降维，指某些维数相关的数据可以消去等。