mahout 学习
---------------------
运行
hadoop jar mahout-examples-0.9-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob --input /input2/intro.txt --output /out3 --usersFile /users.txt --booleanData --similarityClassname SIMILARITY_COOCCURRENCE
mahout不与hadoop2.2兼容，需要重新编译下载
csdn： mahout0.9 jar支持hadoop2
http://download.csdn.net/download/fansy1990/7166055
运行n长时间 多个mapper reducer 但是出来的结果还是不对
用户3的结果 3 [106:3.3,102:3.0833333,103:3.0625]
但是正确答案是 103
吐槽一下 mahout太山寨了
-----------------------
Mahout用两种方式来实现推荐引擎
1， 单机
用基于用户，物品，模型的方式
-- 出来的结果很奇怪，很多都不对
2， 分布式
共现矩阵
-- 简单易于理解
-- 易用性好， 可以支持评分或不评分
--------------- 推荐------------------
场景
1， 推荐用户可能感兴趣的商品
2， 推荐用户可能认识的好友
3， 分析大量文章之间的超链接关系
4， 去哪里吃饭
实际运用
当当，豆瓣会展现买了X1的人也会买X2
淘宝会在一些页面侧面推荐一些你所查询过的物品
推荐算法分为基于用户， 基于物品的
基于物品 （物以类聚）更加实用
基于物品的算法容易理解，更适合于大数据， 而且如果产品小于用户数的话， 性能更优。
公式
物物之间的共生矩阵 * 该用户偏好值的向量
共生矩阵 - 两件商品被同时购买的次数 - 针对所有选定的用户
原理
如果用户喜欢物品A， 而且物品A和物品B同时出现的次数很多， 推荐物品B
基于用户 （人以群分）
从相邻用户中找到推荐物品。
问题是
如何找到相邻用户，选取几个相邻用户作为参考呢？
寻找相邻用户的方法（排除随机寻找）
1， 皮尔逊相关系数 （默认） PersonCorrelationSimiliarity
线性关系， 偏好值一起增大或减小。
类似于余弦相似性，用角度来判断。
再用权重来优化 （Weighting）
2， 欧式距离 最简单
计算偏好度的直线距离
3， 对数似然 LogLikelihood
当偏好度是个boolean型的， 即没有具体的数字时使用。
是谷本系数的增强版
4， 基于聚类
将物品推荐给相似的用户族，而不是具体用户
----------- 分类(有监督学习)----------
分类场景
1， 过滤垃圾邮件
2， 信用卡欺诈
3， 保险，电信预测客户流失
步骤
1， 提取特征值
a> 预处理 产生用作训练样本的可分类数据（将多张表的数据转成一行记录）
b> 转换成向量 Vector -- 就是一个map的形式
2， 选择/训练算法 生成model目录
Logistic （S函数， 梯度下降）
朴素贝叶斯 （概率统计）
P(yes|E) = P(E1|yes) * P(E2|yes) * P(E3|yes) * P(E4|yes) * P(yes) /P(E)
P(no|E) = P(E1|no) * P(E2|no) * P(E3|no) * P(E4|no) * P(no) /P(E)
随机森林（先训练大量的简单的分类器，然后通过投票机制得出唯一的结果）
k近邻算法 （距离计算，但是运行量大）
决策树 （香农熵， 信息增益）
3， 检验结果
summary
confusion matrix
归一化数值
将特征值的数据都换算成0-1， 避免结果被特征中的大值所左右。
文本转换成向量
文本数据是海量的， 其中蕴含大量的知识，文本转换成向量是发现知识的第一步。
向量空间模型 Vector Space Model
TF-IDF 词频-逆文档频率
如果包含词语w的文档越少， IDF就越大， 说明w具有很好的类别区分能力。
问题
自带的贝叶斯只能针对20news， 如果自己新建一个简单的测试用例，就无法运行。
mahout
优点：
和hadoop无缝集成 / 有现存的API，可以直接调用
缺点：
缺少对底层算法的理解 / 出了问题难以解决
python
优点： 对底层比较理解
缺点： 和hadoop集成， 算法都需要自己来写
----------- 聚类(无监督学习)-----------
--聚类有点像自动分类
场景：
新闻聚类
查看排名靠前的关键字
地图中的中心点 center hub
K-Means步骤
1， 寻找聚类中心
2， 计算每个点到聚类中心的距离， 并将每个点划分到离该点最近的中心（聚类）。
3， 计算聚类中所有点的坐标平均值，并将这个平均值设为新的聚类中心。
循环上述步骤， 直到聚类收敛 即本次迭代与上次迭代的结果相同。
运行reuters的实例， 可以看到Top Terms(每个聚类中的前10个词的排名)
Top Terms:
comp.graphics => 68.00439453125
jpeg => 55.91266632080078
gif => 29.98711585998535
image => 28.28740692138672
jfif => 27.233814239501953
graphics => 26.90915870666504
tiff => 26.35403060913086
phigs => 25.4221248626709
siggraph => 24.714284896850586
3d => 23.99508666992187
------------- 脚本-----------------
--------------------------------
基于20news 的贝叶斯分类测试
mahout prepare20newsgroups -p 20news-bydate-train/ -o 20news-train/ -a org.apache.lucene.analysis.standard.StandardAnalyzer -c UTF-8
mahout prepare20newsgroups -p 20news-bydate-test/ -o 20news-test/ -a org.apache.lucene.analysis.standard.StandardAnalyzer -c UTF-8
mahout trainclassifier -i 20news-train -o 20news-model -type cbayes -ng 1
mahout testclassifier -d 20news-test -m 20news-model -type cbayes -ng 1 -method sequential
---------------------------------
-------------------------------
logistic分类 - donut.csv
mahout trainlogistic --input donut.csv \
--output ./model \
--target color --categories 2 \
--predictors x y --types numeric \
--features 20 --passes 100 --rate 50
mahout runlogistic --input donut.csv --model ./model \
--auc --confusion
------------------------------
--------------------------
查看mahout生成的文件内容
mahout seqdumper -s part-r-00000 -o part-0
--------------------------
------------------------------
基于20news-test 的聚类测试
mahout seqdirectory -c UTF-8 -i 20news-test/ -o 20news-seqfiles
mahout seq2sparse -i 20news-seqfiles/ -o 20news-vectors -ow
mahout kmeans -i 20news-vectors/tfidf-vectors/ -c 20news-initial-clusters -o 20news-kmeans-clusters -dm org.apache.mahout.common.distance.SquaredEuclideanDistanceMeasure -cd 1.0 -k 20 -x 20 -cl
#mahout clusterdump --seqFileDir 20news-kmeans-clusters/clusters-1 -d 20news-vectors/dictionary.file-0 -dt sequencefile -n 10 -o 2.txt
mahout clusterdump --seqFileDir 20news-kmeans-clusters/clusters-1 -p 20news-kmeans-clusters/clusteredPoints/ -d 20news-vectors/dictionary.file-0 -dt sequencefile -n 10 -o 3.txt
----------------------------
运行
hadoop jar mahout-examples-0.9-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob --input /input2/intro.txt --output /out3 --usersFile /users.txt --booleanData --similarityClassname SIMILARITY_COOCCURRENCE
mahout不与hadoop2.2兼容，需要重新编译下载
csdn： mahout0.9 jar支持hadoop2
http://download.csdn.net/download/fansy1990/7166055
运行n长时间 多个mapper reducer 但是出来的结果还是不对
用户3的结果 3 [106:3.3,102:3.0833333,103:3.0625]
但是正确答案是 103
吐槽一下 mahout太山寨了
-----------------------
Mahout用两种方式来实现推荐引擎
1， 单机
用基于用户，物品，模型的方式
-- 出来的结果很奇怪，很多都不对
2， 分布式
共现矩阵
-- 简单易于理解
-- 易用性好， 可以支持评分或不评分
--------------- 推荐------------------
场景
1， 推荐用户可能感兴趣的商品
2， 推荐用户可能认识的好友
3， 分析大量文章之间的超链接关系
4， 去哪里吃饭
实际运用
当当，豆瓣会展现买了X1的人也会买X2
淘宝会在一些页面侧面推荐一些你所查询过的物品
推荐算法分为基于用户， 基于物品的
基于物品 （物以类聚）更加实用
基于物品的算法容易理解，更适合于大数据， 而且如果产品小于用户数的话， 性能更优。
公式
物物之间的共生矩阵 * 该用户偏好值的向量
共生矩阵 - 两件商品被同时购买的次数 - 针对所有选定的用户
| A | B | C | D | |
| A | NA | 3 | 4 | 4 |
| B | 3 | NA | 3 | 2 |
| C | 4 | 3 | NA | 3 |
| D | 4 | 2 | 3 | NA |
原理
如果用户喜欢物品A， 而且物品A和物品B同时出现的次数很多， 推荐物品B
基于用户 （人以群分）
从相邻用户中找到推荐物品。
问题是
如何找到相邻用户，选取几个相邻用户作为参考呢？
寻找相邻用户的方法（排除随机寻找）
1， 皮尔逊相关系数 （默认） PersonCorrelationSimiliarity
线性关系， 偏好值一起增大或减小。
类似于余弦相似性，用角度来判断。
再用权重来优化 （Weighting）
2， 欧式距离 最简单
计算偏好度的直线距离
3， 对数似然 LogLikelihood
当偏好度是个boolean型的， 即没有具体的数字时使用。
是谷本系数的增强版
4， 基于聚类
将物品推荐给相似的用户族，而不是具体用户
----------- 分类(有监督学习)----------
分类场景
1， 过滤垃圾邮件
2， 信用卡欺诈
3， 保险，电信预测客户流失
步骤
1， 提取特征值
a> 预处理 产生用作训练样本的可分类数据（将多张表的数据转成一行记录）
b> 转换成向量 Vector -- 就是一个map的形式
2， 选择/训练算法 生成model目录
Logistic （S函数， 梯度下降）
朴素贝叶斯 （概率统计）
P(yes|E) = P(E1|yes) * P(E2|yes) * P(E3|yes) * P(E4|yes) * P(yes) /P(E)
P(no|E) = P(E1|no) * P(E2|no) * P(E3|no) * P(E4|no) * P(no) /P(E)
随机森林（先训练大量的简单的分类器，然后通过投票机制得出唯一的结果）
k近邻算法 （距离计算，但是运行量大）
决策树 （香农熵， 信息增益）
3， 检验结果
summary
confusion matrix
归一化数值
将特征值的数据都换算成0-1， 避免结果被特征中的大值所左右。
文本转换成向量
文本数据是海量的， 其中蕴含大量的知识，文本转换成向量是发现知识的第一步。
向量空间模型 Vector Space Model
| word1 | w2 | w3 | |
| document1 | 1 | 2 | |
| d2 | 3 | ||
| d3 | 10 | 11 |
TF-IDF 词频-逆文档频率
如果包含词语w的文档越少， IDF就越大， 说明w具有很好的类别区分能力。
问题
自带的贝叶斯只能针对20news， 如果自己新建一个简单的测试用例，就无法运行。
mahout
优点：
和hadoop无缝集成 / 有现存的API，可以直接调用
缺点：
缺少对底层算法的理解 / 出了问题难以解决
python
优点： 对底层比较理解
缺点： 和hadoop集成， 算法都需要自己来写
----------- 聚类(无监督学习)-----------
--聚类有点像自动分类
场景：
新闻聚类
查看排名靠前的关键字
地图中的中心点 center hub
K-Means步骤
1， 寻找聚类中心
2， 计算每个点到聚类中心的距离， 并将每个点划分到离该点最近的中心（聚类）。
3， 计算聚类中所有点的坐标平均值，并将这个平均值设为新的聚类中心。
循环上述步骤， 直到聚类收敛 即本次迭代与上次迭代的结果相同。
运行reuters的实例， 可以看到Top Terms(每个聚类中的前10个词的排名)
Top Terms:
comp.graphics => 68.00439453125
jpeg => 55.91266632080078
gif => 29.98711585998535
image => 28.28740692138672
jfif => 27.233814239501953
graphics => 26.90915870666504
tiff => 26.35403060913086
phigs => 25.4221248626709
siggraph => 24.714284896850586
3d => 23.99508666992187
------------- 脚本-----------------
--------------------------------
基于20news 的贝叶斯分类测试
mahout prepare20newsgroups -p 20news-bydate-train/ -o 20news-train/ -a org.apache.lucene.analysis.standard.StandardAnalyzer -c UTF-8
mahout prepare20newsgroups -p 20news-bydate-test/ -o 20news-test/ -a org.apache.lucene.analysis.standard.StandardAnalyzer -c UTF-8
mahout trainclassifier -i 20news-train -o 20news-model -type cbayes -ng 1
mahout testclassifier -d 20news-test -m 20news-model -type cbayes -ng 1 -method sequential
---------------------------------
-------------------------------
logistic分类 - donut.csv
mahout trainlogistic --input donut.csv \
--output ./model \
--target color --categories 2 \
--predictors x y --types numeric \
--features 20 --passes 100 --rate 50
mahout runlogistic --input donut.csv --model ./model \
--auc --confusion
------------------------------
--------------------------
查看mahout生成的文件内容
mahout seqdumper -s part-r-00000 -o part-0
--------------------------
------------------------------
基于20news-test 的聚类测试
mahout seqdirectory -c UTF-8 -i 20news-test/ -o 20news-seqfiles
mahout seq2sparse -i 20news-seqfiles/ -o 20news-vectors -ow
mahout kmeans -i 20news-vectors/tfidf-vectors/ -c 20news-initial-clusters -o 20news-kmeans-clusters -dm org.apache.mahout.common.distance.SquaredEuclideanDistanceMeasure -cd 1.0 -k 20 -x 20 -cl
#mahout clusterdump --seqFileDir 20news-kmeans-clusters/clusters-1 -d 20news-vectors/dictionary.file-0 -dt sequencefile -n 10 -o 2.txt
mahout clusterdump --seqFileDir 20news-kmeans-clusters/clusters-1 -p 20news-kmeans-clusters/clusteredPoints/ -d 20news-vectors/dictionary.file-0 -dt sequencefile -n 10 -o 3.txt
----------------------------