【机器学习-周志华】学习笔记-第七章

记录第一遍没看懂的
记录觉得有用的
其他章节：
        第一章
        第三章
        第五章
        第六章
        第七章
        第八章
        第九章
        第十章
        十一章
        十二章
        十三章
        十四章
        十五章
        十六章

第七章的前提：所有相关概率都已知

        7.1节首先定义了条件风险(公式7.1)，然后把每一个样本的条件风险的数学期望表达了出来(公式7.2)，然后返回来定义使得每个样本达到最小的分类器记录下来(公式7.3)。

极大似然估计

        极大似然估计是要先假设参数服从一个先验分布。可以看公式(7.12)(7.13)对应的例子，他假设了概率密度函数复制高斯分布，而高斯分布形式为：$p(x)=(2\pi {\sigma }^2{)}^{-\frac{1}{2}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$。因此，相当与把高斯分布的表达式代入(7.10)之中，去解(7.11)中的问题。首先代入可得：
$$LL({\theta }_c)=\sum _{x\in D_c}log(p{\theta }_c(x))=\sum _{x\in D_c}log((2\pi {\sigma }_c^2{)}^{-\frac{1}{2}}exp(-\frac{(x-{\mu }_c{)}^2}{2{\sigma }_c^2}))=\sum _{x\in D_c}-\frac{1}{2}log2\pi {\sigma }_c^2-\frac{(x-{\mu }_c{)}^2}{2{\sigma }_c^2}$$
        然后是求偏导等于0：
$$\begin{gathered} \partial LL/\partial {\mu }_c=\sum _{x\in D_c}-(x-{\mu }_c)/{\sigma }_c^2=0\Rightarrow \sum _{x\in D_c}x=\sum _{x\in D_c}{\mu }_c \\ \partial LL/\partial {\sigma }_c^2=\sum _{x\in D_c}-\frac{1}{2{\sigma }_c^2}+\frac{(x-{\mu }_c{)}^2}{2({\sigma }_c^2{)}^2}=0\Rightarrow \sum _{x\in D_c}{\sigma }_c^2=\sum _{x\in D_c}(x-{\mu }_c{)}^2 \end{gathered}$$
        即，参数最大似然估计为：

朴素贝叶斯分类器

        核心：假设所有属性相互独立，有

        对于离散属性：

        对于连续属性：

EM算法

        在已知$x$和上一步的${\Theta }^t$的条件之下，隐变量$Z$的数学期望：