【数据分析师3级】数据挖掘概论

第一部分：数据挖掘概论

数据挖掘概要：

1.1.1数据挖掘的起源、定义及目标：

数据挖掘：Data Mining，从现有的大量数据，收集其中不明显，之前未知，可能有用的知识

大量数据有多大。假设平均每个人有1.5张信用卡，每个人每个人消费10次，银行一共150万人，由于台湾的线上支付不发达，使用信用卡支付有优惠，大多人有很多信用卡，最大的银行号称有千万级的用户。所以1.5张和150万都是很保守的估计，就依据这些保守的估计，银行每个月可以产生2250万消费记录，每年越有2亿7千万的消费记录。

数据挖掘就是在这里面挖掘客户消费形态和规则。

数据挖掘的例子：

盗刷团伙：以前美国有一些盗刷集团会向一些游民花费1万元购买他们的身份信息，然后向办取一张有五万额度信用卡，以四万的价格卖给另一个消费者，另一个消费者能获得五万的消费金额。用完就可以将卡扔掉。银行会损失5万。在在美国那边非常的猖獗，于是银行开展了一个会议，把很多专家召集起来，让他们继续讨论，于是得到了10个黄金法则，如果满足黄金法则其中一条，就说明是盗刷集团。于是银行开始实施这些规则，结果盗刷集团不仅没有得到控制，还更加猖獗了。

这个时候有一个银行职员，进行了数据挖掘，结果发现百分之80的盗刷卡中的第一笔订单小于1美元。（之前未发现，可能有用的情况）于是叫来专家确定是不是真的是一个定律。然后得到心理学，经济学等专家的肯定。最后把这一条规则作为判定盗刷卡的准则。

数据挖掘的目标：建立决策模型，哪一类的用户对我的产品感兴趣。根据过去的行动来预测未来的行为

1.1.2数据挖掘的发展历程

1960年：数据收集：放在磁盘，软盘，硬盘

1980年：数据查询：数据库（SQL语言）

1990年：数据统计：数据仓库（OLAP）（整体趋势）

2000年：数据分析：数据挖掘。

银行最早引入数据挖掘：用来营销，信用风险

1.1.3数据挖掘在政府部门以及各行业的应用

利用公司员工的数据来分析评估顾客信用。

本次课程教学：银行业，零售业，政府，等

各行各业都有数据挖掘的需求