机器学习(一)初识机器学习

(1)初识机器学习:

一.概念:将 规律 用于对未来 不确定 场景的决策。

规律:从历史数据中总结

通常 来自数据分析师 ———让机器代替
从数据中寻找规律
规律—自动生成————>决策
历史几十年,,,,有大数据引出,,概率论与数理统计(基石)统计学(受限于计算能力限制,低端计算机)
统计学:抽样调查,(有缺陷)————>验证
抽样—>描述统计—>假设检验(统计推断)
发展到,对全部数据进行处理

分析气温:收集历史数据,通过可视化展示,局部上下波动,总体上升
图形——得到——>函数(寻找模型)使用与一维
多维,上百维,构建不出图形,不能发现规律,,纯靠数学运算

二.机器学习发展的动力

1.用数据代替专家(主观经验),定义规则——>if/else 业务逻辑,
2.经济。数据变现

3.业务系统发展的历史
基于专家经验(1)
基于统计———分纬度统计(2)
机器学习————在线学习(3)

运营,产品,专家 交流经验———>程序员——>if/else(1)
数据分析==技术报表(olvp)——>业务规则(2)
离线机器学习(多),跑定时任务,生成模型 —— 发展方向 ———>实时推荐(在线学习)(3)

四。机器学习的典型应用

1.购物篮分析(数据变成钱)
啤酒+尿片(沃尔玛数据分析人员发现)算法:关联规则(典型数据挖掘算法,非机器学习算法)

2.分用户精准营销
中国移动:全球通(商务),动感地带(学生),神州行(务工人员)
机器学习:
算法:聚类(典型机器学习算法)

3.垃圾邮件识别
算法:朴素贝叶斯(机器学习算法)

4.信用卡欺诈
风险识别:还款能力,消费能力
算法:决策树(机器学习算法)

5.互联网广告,搜索引擎
算法:ctr预估(用户点击率预估:线性逻辑回归)

6.推荐系统(猜你喜欢)
算法:协同过滤(与第一条类似)算法不同,解决同类型问题,提升销量

7.领域:自然语言处理
前景广泛(门槛较机器学习更高)
情感分析(积极,消极),实体识别(文章中:人名地名时间)
更多其他领域

8.深度学习:图像识别
(很火)吴文达教授主要从事这方面

更多:语音识别,个性化医疗,情感分析,人脸识别,自动驾驶,智慧机器人,私人虚拟助理,手势控制,视频内容自动识别,实时翻译。。。。

工业届热点

(2)机器学习与传统数据分析的区别

1.数据特点: 交易数据(与¥有关)——VS—— 行为数据(行为历史)

数据特点

交易数据 行为数据
与¥有关 行为历史
少量数据 海量数据
一致性高 不关注精准一致性
sql no sql

*no sql 数据库:只能处理行为性数据,保证吞吐量,一致性打折扣

2.解决的业务问题不一样

数据分析 机器学习
历史,报告过去的事情 未来,预测未来的实行

3.技术手段不同

数据分析:人的经验,用户驱动(olap)交互式分析,受限于人,维度,属性数目有限,技术成熟,落伍
机器学习:算法,数据驱动,大量维度,属性(上亿规模) 发展阶段,部分成熟,流行(推荐,点击预估)

3.参与者不同,服务对象不同

数据分析:数据分析师,目标用户:公司高层
机器学习:数据+算法 做分类,算法差别不大,关键是数据质量 目标用户:个体用户

(3)机器学习常见算法分类

算法分类(1):
有监督学习:(有y)分类算法(是否为垃圾邮件,打标签),回归算法
无监督学习:(没y)聚类算法:分成几累,之前并不知道
半监督学习:(强化学习)小孩学走路

算法分类(2): 分类与回归:
聚类:
标注:像分类,一句话,给每个元素打标签,主谓宾

算法分类(3):(important)
生成模型:(陪审团)属于各个类的概率(%20A类, %40B类, 20%C类。。。)模棱两可
判别模型:(法官)直接给函数,返回结果,属于哪一类,!武断
主要区别:训练数据模型的方法

SVM算法面试必考

分类:C4.5

关联分析 fp-growth:关联算法(韩嘉伟)两边扫描,平凡相机挖掘

统计学习 EM(算法框架)
PageRank 谷歌
AdaBoost 人脸识别,决策树改进版
NAVIE BAYES 朴素贝叶斯

常用成熟算法:

FP-Growth
逻辑回归
RF.GBDT
推荐算法
LDA(文本,自然语言)
Word2Vector(谷歌,文本挖掘)
HMM,CRF(条件随机场,自然语言,文本挖掘)
深度学习(各种识别)

(4)机器学习解决问题的框架

(人工智能解决的问题相对单纯)

确定目标:

业务需求
数据
特征工程(数据预处理,清晰,整合,提取特征),繁琐,复杂

训练模型:

定义模型
定义损失函数**:通常情况下没有精确解(重要),相似,差异度
优化算法:求函数极小值的优化算法,(随机梯度下降,种种)

模型评估:

交叉验证(主流):评估指标,准确率,方差,曲线
效果评估

你可能感兴趣的:(Machine,Learning)