数据挖掘 基础算法
1 SVD矩阵分解算法。
2 SVD++算法。
3 PageRank算法。
4. HMM模型：
1）马尔可夫模型：
马尔科夫过程指当前状态只与前n个状态有关。这个被称作n阶马尔可夫模型。最简单的就是n=1阶的模型，就是只与当前状态有关。（这里要注意它和确定性生成模式的区别，这里我们得到的是一个概率模型）。下图是所有可能的天气转变情况：
1）隐马尔科夫模型：
阿黄是大家敬爱的警官，他性格开朗、身体健壮，是大家心中健康的典范。现在我们通过贯彻发现，控制阿黄的情绪的有一些侍神。每位侍神控制阿黄时，阿黄以一定的概率表现出各种情绪状态。
如情绪状态（观察状态）：放声大笑、愁眉不展、老泪纵横、勃然大怒
侍神状态：修罗王、阿修罗、罗刹神。
每种侍神状态以一定的概率转换为下一个侍神状态，并且我们可以通过概率模型计算转换的规律性，它们的转化矩阵为：
0.5 0.25 0.25
0.375 0.125 0.375
0.125 0.675 0.375
每位侍神主宰阿黄，他表现的状态也有一定的概率性：
0.60 0.20 0.15 0.05
0.25 0.25 0.25 0.25
0.05 0.10 0.35 0.50
同时由于每天的状态也取决于前一天的状态，因此我们也有侍神第一次出现的概率：
修罗王 阿修罗 罗刹神
0.63 0.17 0.20
至此，我们已经研究得到了阿黄情绪变化的所有信息：侍神状态和情绪状态；三种关系：侍神转换关系，侍神与情绪关系，侍神初始状态。
初始状态矩阵：Ui=( 0.64 0.17 0.20)
状态转移矩阵：
0.5 0.25 0.25
0.375 0.125 0.375
0.125 0.675 0.375
两态混合矩阵：
0.60 0.20 0.15 0.05
0.25 0.25 0.25 0.25
0.05 0.10 0.35 0.50
一： 计算观察状态的概率：
知道这些之后，我们可以估计“放声大笑”-“老泪纵横”-“勃然大怒”出现的概率。因为他们的转换关系可以是（修罗王，阿修罗，罗刹神）^3=27
因此这样计算是指数级，几乎是灾难性的。
当然在计算机进行计算时，可以利用递归化简化计算，降低复杂度：
第一天：放声大笑
(0.63 * 0.6) = 0.3780002
(0.17 * 0.25) = 0.0425
(0.2 * 0.05) = 0.010000001
第二天：老泪纵横
(((0.37800002*0.5) + (0.0425*0.375) + (0.010000001*0.375))*0.15)=0.03092813
(((0.37800002*0.25) + (0.0425*0.125) + (0.010000001*0.675)) * 0.25) = 0.026640628
(((0.37800002*0.25) + (0.0425*0.375) + (0.010000001*0.375)) * 0.35) = 0.039965626
第三天：勃然大怒
(((0.03092813*0.5) + (0.026640628*0.375) + (0.039965626*0.125)) * 0.05) = 0.0015225002
(((0.03092813*0.25) + (0.026640628*0.125) + (0.039965626*0.675)) * 0.25) = 0.009509727
(((0.03092813*0.25) + (0.026640628*0.375) + (0.039965626*0.375)) * 0.5) = 0.01635469
所以，最终所有可能加起来，“放声大笑－老泪纵横－勃然大怒”的概率为
0.0015225002＋0.009509727＋0.01635469= 0.027386917
(((0.37800002*0.25) + (0.0425*0.125) + (0.010000001*0.675)) * 0.25) = 0.026640628
(((0.37800002*0.25) + (0.0425*0.375) + (0.010000001*0.375)) * 0.35) = 0.039965626
第三天：勃然大怒
(((0.03092813*0.5) + (0.026640628*0.375) + (0.039965626*0.125)) * 0.05) = 0.0015225002
(((0.03092813*0.25) + (0.026640628*0.125) + (0.039965626*0.675)) * 0.25) = 0.009509727
(((0.03092813*0.25) + (0.026640628*0.375) + (0.039965626*0.375)) * 0.5) = 0.01635469
所以，最终所有可能加起来，“放声大笑－老泪纵横－勃然大怒”的概率为
0.0015225002＋0.009509727＋0.01635469= 0.027386917
二： 由观察状态推测最大可能隐状态：
比如某天阿黄，不幸的出现了“放声大笑”-“老泪纵横”-“勃然大怒”的观察状态，如何确定是那些侍神（隐状态）导致的这种情况呢？
那么我们计算的时候，可以选取MAX{P(笑-泪-怒 | 修罗王－修罗王－修罗王), P(笑-泪-怒 | 修罗王-修罗王-阿修罗），.......， P(笑-泪-怒 | 罗刹神-罗刹神-罗刹神) }
中最大的概率，即可求出期望的最大隐状态转换。
第一天：
一天：放声大笑
修罗王 (0.63 * 0.6) = 0.37800002
阿修罗 (0.17 * 0.25) = 0.0425
罗刹神 (0.2 * 0.05) = 0.010000001
第二天：老泪纵横
修罗王 max ((0.37800002*0.5), (0.0425*0.375), (0.010000001*0.125)) * 0.15 = 0.028350003
阿修罗 max ((0.37800002*0.25), (0.0425*0.125), (0.010000001*0.675)) * 0.25 = 0.023625001
罗刹神 max ((0.37800002*0.25), (0.0425*0.375), (0.010000001*0.375)) * 0.35 = 0.033075
阿修罗(0.17 * 0.25) = 0.0425
罗刹神(0.2 * 0.05) = 0.010000001
第二天：老泪纵横
修罗王max ((0.37800002*0.5), (0.0425*0.375), (0.010000001*0.125)) * 0.15 = 0.028350003
阿修罗max ((0.37800002*0.25), (0.0425*0.125), (0.010000001*0.675)) * 0.25 = 0.023625001
罗刹神max ((0.37800002*0.25), (0.0425*0.375), (0.010000001*0.375)) * 0.35 = 0.033075
修罗王max ((0.028350003*0.5), (0.023625001*0.375), (0.033075*0.125)) * 0.05 = 0.000708750
阿修罗max ((0.028350003*0.25), (0.023625001*0.125), (0.033075*0.675)) * 0.25 = 0.00558140
罗刹神max ((0.028350003*0.25), (0.023625001*0.375), (0.033075*0.375)) * 0.5 = 0.006201562
可见，第一天，修罗王主宰阿黄最为可能；
第二天，由修罗王变为罗刹神，造成阿黄老泪纵横的可能最大；
而第三天，继续由罗刹神主宰阿黄，造成勃然大怒的可能最大
所以，对应“放声大笑－老泪纵横－勃然大怒”最可能的侍神组合为：修罗王－罗刹神－罗刹神
三：使用HMM模型的步骤：
HMM包含两类状态，三种关系：初始状态，状态转移矩阵，两状态混合矩阵。
HMM除了上面两个功能之外还有一个从观察序列得出HMM的这一种应用。（当然这个最难，根据观察序列和其代表的隐状态，生成一个三元组HMM（Π,A,B））。以后有时间了我会继续研究和实现的。
四：HMM应用：
说了这么多，HMM到底有什么应用呢？
HMM一开始是在信息论中应用的，后来才被应用到自然语言处理还有其他图像识别等各个方面。下面举两个例子说明他的应用，一个是输入法的整句解码，一个是语音识别。有图为证：
输入法把拼音看做是观察状态，需要得到的汉字为隐藏状态，这样，输入法的整句解码就变成了维特比解码，其转移概率即是二元语言模型，其输出概率即是多音字对应不同拼音的概率。
将上图中的拼音换成语音，就成了语音识别问题，转移概率仍然是二元语言模型，其输出概率则是语音模型，即语音和汉字的对应模型。
4. Aproiri算法：
Apriori算法是挖掘关联规则的算法，它使用了一个很高效的剪枝技术，那就是频繁子集只能由频繁子集生成而来。
先讲Apriori算法的两个很重要的含义：最小项集和频繁子集。频繁子集就是支持度，即出现次数超过一定阀值的子串。
然后呢：Apriori算法就希望找到支持度超过阀值的k项集。
所以根据频繁子集的子集一定是频繁子集，它就选取包含元素为1的频繁子集，然后再逐一添加合并，得到包含元素为2甚至更多的频繁子集。
执行过程：
1 初始化，寻找到那些支持度大于一定阀值的1频繁子集。
2 逐步迭代，从i-1项频繁子集生成i频繁子集，并且检测k频繁子集的支持度。如果支持度大于一定的阀值，就保留i项频繁子集。
优缺点：
1 优点：引入了剪枝技术，大幅增加了频繁子集寻找的过程。
2 缺点：需要多次扫描事务数据库，这导致效率低下。所以后面提出了高效的FP-Tree算法。
4. Fp-growth算法：
Fp-growth算法因为引入了首先对出现次数为1的项集进行排序，然后将事务数据项中的事务按照前面的排序结果再次进行排序。
后面建立Fp-Tree时，就直接类似Trie树的方法了，将一个事务直接插入到Fp-Tree中。然后使用链表将同属于一个物品的指针项连接起来，而且每个节点都记录了从开始到这个节点有多少个出现次数。
后面求解频繁子集的时候，只需要检查该节点的支持度，然后从该节点找到根节点，就是频繁子集。
最近时间有限，先写到这里，后面会补上相关的代码实现的。具体的执行过程参见参考文献：1
5. 支持度可信度：
支持度: P(A∪B)，即A和B这两个项集在事务集D中同时出现的概率。
置信度: P(B｜A)，即在出现项集A的事务集D中，项集B也同时出现的概率。
注意一定要提升自己的学习的主动性。
6. 维度灾难：
1961年，Bellman提出了维度灾难的概念。他在考虑动态优化问题时用来描述空间为度增加时，分析和组织高维空间。
产生维度灾难的原因有两个：
1. 纬度提高时，空间体及增加的过快，因而可用的数据变的稀疏。2 组织和搜索数据时，也有依赖于检测对象区域，这些区域中的对象通过相似度属性而形成分组。然而在高维空间中，所有的数据都很稀疏从很多角度看并不相识，因而平常使用的数据组织极其低效。
处理高维灾难的方法有很多：降维（PCA主成分析法）、函数距离（），马尔科夫蒙特卡洛、共享最近邻搜索方法。
参考文献：
Fp算法详解：http://blog.csdn.net/lmm2003/article/details/6882737
PageRank算法参考文献：http://www.cnblogs.com/FengYan/archive/2011/11/12/2246461.html