数据挖掘综述报告

1.数据挖掘产生于发展：

       在金融业方面, 数据挖掘的应用突出表现在信用评估和防止欺诈等方面。PaoloGiudici和OliviaParrRud对利用神经网络、logistic回归和决策树方法进行信用评估的相关问题进行了阐述。RobertGroth从防止金融欺诈的角度论述了数据挖掘的应用问题以及利用神经网络技术进行股票预测的问题。MichaelJ.A.Berry和GordonS.Linoff则从金融产品的交叉销售和保险精算两个角度对数据挖掘在金融业的应用进行了探讨。在金融业方面,数据挖掘的应用突出表现在信用评估和防止欺诈等方面。PaoloGiudici和OliviaParrRud对利用神经网络、logistic回归和决策树方法进行信用评估的相关问题进行了阐述。RobertGroth从防止金融欺诈的角度论述了数据挖掘的应用问题以及利用神经网络技术进行股票预测的问题。MichaelJ.A.Berry和GordonS.Linoff则从金融产品的交叉销售和保险精算两个角度对数据挖掘在金融业的应用进行了探讨。

2.数据挖掘的现状：

    目前，数据挖掘的研究方面主要有：数据库知识发现方面，将KDD 与数据库系统、数据仓库系统和Web数据库系统紧密结合，力图充分利用Web中的丰富资源; 机器学习方面，进一步研究知识发现方法，希望克服现存算法的计算性瓶颈；统计领域，加大传统统计方法在数据挖掘中的应用。

    中国国内数据挖掘的研究领域一般集中于相关算法研究、数据挖掘的实际应用以及相关数据挖掘理论的研究。然而，目前关于数据挖掘的论文虽多，但与企业结合较少。

3.数据挖掘的定义：

›  技术定义：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

›  商业定义：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。

4.数据挖掘的功能：

    （1）概念知识：

›  数据库中存在着丰富的数据，但人们总希望能以简洁的描述形式来描述汇集的数据集。

›  概念描述就是对某类对象的内涵进行描述并概括出这类对象的有关特征，是一种对数据的概况、提炼和抽象。

›  概念描述分为特征性描述（characterization ）和区别性描述(discrimination) ，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成区别性描述的方法很多，如决策树方法、遗传算法等。

（2）关联知识：

›  关联知识主要反映一个事件和其他事件之间依赖或者关联性。如果两项或者多项属性之间存在关联，那么其中一项的属性值就可以根据其他属性值进行预测。

›  关联知识能寻找到数据库中大量数据的相关联系, 常用的两种技术为关联规则和序列模式。关联规则可用于如分析客户在超市买牙刷的同时又买牙膏的可能性；序列模式分析则如买了电脑的顾客会在三个月内买杀毒软件。

（3）聚类知识：

›  聚类就是将数据对象分组为多个类或簇，使得在同一个簇中的对象之间具有较高的相似度，而在不同簇中的对象差别很大。

›  聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类分析有广泛的应用，包括市场或客户分割、生物学研究、空间数据分析等方面。

（4）分类知识：

›  分类知识主要反映同类事物的共同特征和不同事物之间的差异。

分类知识可以用来分析己有的数据，也可以用它来预测未来的数据。例如，用分类来分析用户行为，通过这种分类，我们可以得知某一商品的用户群，对销售来说有很大的帮助。

（5）预测性知识：

›  预测知识根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可以认为是以时间为关键属性的关联知识。

›  数据挖掘通过对数据库中的数据进行分类和预测，可以自动地提出描述重要数据类的模型或预测未来的数据趋势。这在商业界的应用很广，包括信誉证实、选择购物和性能预测等。一个典型的例子是市场预测问题，数据挖掘利用原有的销售记录来预测新推出的产品的销售情况等。

（6）偏差性知识：

›  偏差型知识是对差异和极端特例的描述，揭示事物偏离常规的异常现象。

›  数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。这常用于金融银行业中检测欺诈行为，或市场分析中分析特殊消费者的消费习惯。

5.数据挖掘的十大算法：

（1）C4.5

C4.5 算法是机器学习算法中的一种分类决策树算法,其核心算法是 ID3 算法.   C4.5 算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：

1)  用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；

2)  在树构造过程中进行剪枝；

3)  能够完成对连续属性的离散化处理；

4)  能够对不完整数据进行处理。

    C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。

    （2）The k-means algorithm  即 K-Means 算法

    k-meansalgorithm 算法是一个聚类算法，把 n 的对象根据他们的属性分为 k 个分割，k < n。

    它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。

    它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。

    (3)Supportvector machines

    支持向量机，英文为 Support  Vector  Machine，简称 SV 机（论文中一般简称 SVM） 。 它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是 C.J.C  Burges 的《模式识别支持向量机指南》。van der Walt  和  Barnard  将支持向量机和其他分类器进行了比较。

    (4)TheApriori algorithm

    Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。

    (5)最大期望(EM)算法

    在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent

Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（DataClustering）领域。

    (6)PageRank

PageRank 是 Google 算法的重要内容。 2001 年 9 月被授予美国专利，专利人是 Google 创始人之一拉里•佩奇（Larry Page）。因此，PageRank 里的 page 不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。

    PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank 背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的―链接流行度‖——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank 这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。

    (7)AdaBoost

    Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，

然后把这些弱分类器集合起来，构成一个更强的最终分类器  (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

    (8)kNN:k-nearest neighbor classification

    K 最近邻(k-Nearest  Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的 k 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

    (9)NaiveBayes

    在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴

素贝叶斯模型（Naive BayesianModel，NBC）。   朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC 模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC 模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为 NBC 模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给 NBC 模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC 模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC 模型的性能最为良好。

    (10)CART:分类与回归树

    CART,Classification and Regression Trees。  在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

6.数据挖掘应用现状：

›  商务智能（BI）：在商业领域特别是零售业，数据挖掘的运用是比较成功的。由于MIS系统在商业的普遍使刚，特别是码技术的使用，可以收集到大量关于购买情况的数据，并且数据量在不断激增。利用数据挖掘技术可以为经营管理人员提供正确的决策手段，这样对促进销售及提高竞争力是人有帮助的。

›  Web搜索引擎：数据挖掘技术应用到搜索引擎领域，从而产生智能搜索引擎，将会给用户提供一个高效、准确的Web检索工具。在金融领域，可以利用数据挖掘对客户信誉进行分析。典型的金融分析领域有投资评估和股票交易市场预测。

›  金融领域：在金融业方面,数据挖掘的应用突出表现在信用评估和防止欺诈等方面。

RobertGroth从防止金融欺诈的角度论述了数据挖掘的应用问题以及利用神经网络技术进行股票预测的问题。MichaelJ.A.Berry和GordonS.Li noff则从金融产品的交叉销售和保险精算两个角度对数据挖掘在金融业的应用进行了探讨。

›  数据挖掘还可用于工业、农业、交通、电信、军事、Internet等其它行业。数据挖掘具有广泛的应用前景，它既可应用于决策支持，也可用于数据库管理系统(DBMS)中。数据挖掘作为决策支持和分析的工具，可以用于构造知识库。在DBMS中，数据挖掘可以用于语义查询优化、完整性约束和不一致检验等。 

7.研究机构，刊物，人物与会议：

    国外机构：

v  ACMTransactions on Knowledge Discovery from Data (TKDD)

v  IEEETransactions on Knowledge and Data Engineering (TKDE)

v  DataMining and Knowledge Discovery

v  Knowledgeand Information Systems

v  Data& Knowledge Engineering

    国内机构：

• 北京大学SAS数据挖掘卓越中心
• 中国科大博纳数据挖掘中心
• 厦门大学数据挖掘中心（DMC）
• 复旦大学数据挖掘实验室
• 南京大学机器学习与数据挖掘研究组-LAMDA
• 西南财经大学商务数据挖掘中心。

    刊物：

v  ACMTransactions on Knowledge Discovery from Data (TKDD)

v  IEEETransactions on Knowledge and Data Engineering (TKDE)

v  DataMining and Knowledge Discovery

v  Knowledgeand Information Systems

v  Data& Knowledge Engineering

    国内人物：
       （1）韩家炜 JiaweiHan
       韩教授的研究方向是数据挖掘（Data Mining），他现在领导伊利诺伊大学的数据挖掘研究室（Data Mining ResearchGroup）。他现在还是ACM期刊TKDD（ACMTransactions on Knowledge Discovery from Data)的主编。韩教授最近毕业的博士有： Dong Xin，Chao Liu，XiaoxinYin，Xifeng Yan，Hwanjo Yu等。与MichelineKamber，Jian Pei（裴健）合作撰写的专著Data Mining: Concepts andTechniques （数据挖掘：概念与技术），为数据挖掘界公认的经典教材，目前已推出第3版
       （2）范明
       郑州大学信息工程学院教授
目前主要从事数据库、数据挖掘、机器学习方面研究，参与国家自然科学基金项目2项。曾主持完成河南省自然科学基金项目多项，先后发表论文50余篇，出版专著教材各1部、主持翻译出版译著6部。数据挖掘导论(完整版) 与《数据挖掘：概念与技术》的翻译者之一
       （3）孟小峰
       中国人民大学信息学院教授数据挖掘：《概念与技术》的翻译者之一近5年在国内外杂志IEEE Transactions on Knowledge and Data Engineering (TKDE)、Geoinformatic、中国科学等及国际会议VLDB、SIGMOD、ICDE、EDBT等发表论文120多篇，出版学术专著《Moving Objects Management:Models, Techniques, and Applications》(Springer)、《XML数据管理：概念与技术》、《移动数据管理：概念与技术》（中国计算机学会学术著作丛书）等。获国家发明专利授权8项。
       （4）周志华 计算机软件新技术国家重点实验室
       南京大学计算机科学与技术系获学士、硕士和博士学位。2001年1月起留校任教。2002年3月破格晋升副教授，2003年11月被聘任为教授，2004年4月获博士生导师资格。现现任南京大学计算机软件新技术国家重点实验室常务副主任、机器学习与数据挖掘研究所 (LAMDA)所长、人工智能教研室主任。南京航天航空大学兼职教授、澳大利亚Deakin大学名誉研究员、复旦大学智能信息处理重点实验室学术委员会委员。

会议：

v  数据库三大顶级会议SIGMOD，VLDB，ICDE

v  数据挖掘KDD

v  机器学习ICML

v  信息检索的SIGIR

v  二流的EDBT，ICDT，CIKM，SDM，ICDM，PKDD等

       SIGMOD：97分，数据库的最高会议，涉及范围广泛，稍偏应用（因为理论文章有PODS）独树一帜，与众不同。

       VLDB：95分，非常好的数据库会议。与SIGMOD类似，涉及范围广泛，稍偏应用。

       从文章的质量来说，SIGMOD和VLDB难分伯仲，没有说谁比谁更高。他们的范围也几乎一样。

       PODS：95分。是“数据库理论的最好会议,也是一个很好的理论会议”。
感觉其中算法背景的人占主流

       KDD:：full paper 95分，poster/short paper 90分。数据挖掘的最高会议。由于历史积累不足以及领域圈子较小，勿用讳言KDD目前比SIGMOD尚有所不如。

       ICDE：92分。很好的数据库会议，也是一个大杂烩。好处是覆盖面广、包容性强，坏处是文章水平参差不齐。

       EDBT：88分，不错的数据库会议，录取率很低然而历史积累不足，影响还明显不及ICDE。

       ICDT：88分，PODS的欧洲版，数据库理论第二会议。和SIGMOD/VLDB一样，ICDE和EDBT在质量和影响上都不相上下。其它的如CIKM，ICDM，SDM，SSDBM，PKDD等等都比以上的会议差一截。

       CIKM：85分。

       SDM：full paper 90分，poster/short paper 85分。SIAM的数据挖掘会议，与ICDM并列为数据挖掘领域的第二位，比KDD有明显差距。好像其中统计背景的人比较多，也有一部分机器学习背景的人，比较diversified。

       ICDM：full paper 90分，poster/short paper 85分。IEEE的数据挖掘会议，与SDM并列为数据挖掘领域的第二位，比KDD有明显差距。

       PKDD：83分（因为poster/shortpaper数量很少，所以不予区分）。好像是KDD的欧洲版，但与KDD差距很大。

8.发展趋势：

    现在，许多企业都把数据看成宝贵的财富，纷纷利用商务智能发现其中隐藏的信息，借此获得巨额的回报。国内暂时还没有官方关于数据挖掘行业本身的市场统计分析报告，但是国内数据挖掘在各个行业都有一定的研究。据国外专家预测，在今后的5—10年内，随着数据量的日益积累以及计算机的广泛应用，数据挖掘将在中国形成一个产业。
 　众所周知，IT就业市场竞争已经相当激烈，而数据处理的核心技术---数据挖掘更是得到了前所未有的重视。数据挖掘和商业智能技术位于整个企业IT-业务构架的金字塔塔尖，目前国内数据挖掘专业的人才培养体系尚不健全，人才市场上精通数据挖掘技术、商业智能的供应量极小，而另一方面企业、政府机构和和科研单位对此类人才的潜在需求量极大，供需缺口极大。

v  统一的数据挖掘语言和实施标准。

发现语言的形式化描述，即研究专门用于知识发现的数据挖掘语言，也许会像SQL语言一样走向形式化和标准化。

v  可视化数据挖掘。

寻求数据挖掘过程中的可视化方法，使知识发现的过程能够被用户理解，也便于在知识发现的过程中进行人机交互。

v  Web数据挖掘。

研究在网络环境下的数据挖掘技术（WebMining），特别是在因特网上建立DMKD服务器，并且与数据库服务器配合，实现WebMining。

v  多媒体数据挖掘。

由于音频视频设备、数码像机、CD- ROM 和因特网的流行和普及，多媒体数据库系统变得日益普通。多媒体数据通常是一种多维的、非结构化或者半结构化的，各媒体数据有着不同的特点，有着各自表述信息的方式，各媒体既可独立表示信息又可共同表示相同事件的不同特征，共同描述事件的存在、发展和结果。因此，多媒体数据集中必定存在关于信息主体的特征、属性以及它们之间的关系，或者存在着某些人们从直观上无法得到的模式。

v  加强对各种非结构化的数据的开采。

（DataMiningforAudio&Video），如对文本数据、图文数据、视屏图像数据、声音数据乃至综合多媒体数据的开采。