周志华----机器学习

第2章----模型评估与选择

很多学习器是为测试样本产生一个实值或概率预测,然后将这个预测值与一个分类阈值进行比较,若大于阈值分为正类,否则为反类。

1、统计假设检验:学习器性能比较的重要依据

        假设检验:对学习器泛化错误率的某种判断。现实生活中只能获取测试错误率。

        周志华----机器学习_第1张图片

         交叉验证t检验:对不同的学习器的性能进行比较

        McNemar检验

        Friedman检验与Nemenyi后续检验

2、人们除了通过实验估计其泛化性能,更希望知道为什么有这样的性能。

泛化误差可分为偏差、方差和噪声之和

周志华----机器学习_第2张图片

第3章--线性模型

f(x)=w^Tx+b


f(x)=w_{1}x_{2}+w_{2}x_{2}+...+w_{d}x_{d}+b

周志华----机器学习_第3张图片

许多非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得,w直观表达了个属性在预测中的重要性。

周志华----机器学习_第4张图片

 w=(\sum y_{i}(x_{i}-\bar{x}))/\sum x^2_{i}-1/m(\sum x^2_{i})^2

 b=1/m\sum (y_{i}-wx_{i})

其中\bar x=1/m\sum x_{i} 为均值   

周志华----机器学习_第5张图片

周志华----机器学习_第6张图片

周志华----机器学习_第7张图片

对数几率回归

周志华----机器学习_第8张图片

 周志华----机器学习_第9张图片

周志华----机器学习_第10张图片

线性判别分析LDA(难   )

周志华----机器学习_第11张图片

 多分类学习

你可能感兴趣的:(概率论,机器学习)