婉妃
婉妃

机器学习算法深度总结

接触机器学习时间也不短了, 趁国庆放假, 做一下深度整理.

1. 大纲

若想在企业胜任算法相关岗位知识, 除了掌握常见算法, 会背后数学原理外, 还需要掌握算法优化, 特征工程, 模型评估和优化技能, 下面是我整理的一张机器学习读书笔记的各分支地图:


机器学习算法深度总结_第1张图片

每一个分支及二级分支, 都涉及到较多的知识点, 需要找相关材料深入理解并熟练掌握.

下面按分支详细展开介绍.

2.监督学习

1. 线性模型

最简单的线性模型, 只能表现线性输入输出函数, 不能很好地与非线性函数近似, 解决实际问题上并无太大价值:


机器学习算法深度总结_第2张图片

实际应用中常对线性模型进行扩展, 使其变为基于参数的线性模型, 用线性模型表示非线性输入:

(注意: 因为手敲黑体latex公式较费时, 黑体格式向量简写为普通体, 大家看到类似形式相乘的公式, 就默认是对应的都是向量就好了).

基于数据的简单线性模型:
基于参数的线性模型:
上式中, 是基函数的第j个因子, 的第j个因子.

举例: 基函数为多项式的线性模型 :

常见的基函数:

  • 多项式:
  • 高斯:
  • sigmoid: , 其中
  • tanh:

下图分别展示了多项式基函数, 高斯基函数和sigmoid基函数的图像:


机器学习算法深度总结_第3张图片

后续关于线性模型的描述都基于这个最广义的基于参数的线性模型.

2. 最小二乘

1. 最小二乘学习法

最小二乘学习法(后续简称二乘法)是对模型输出和训练集输出的残差的平方和最小时的参数进行学习:

优化目标:

二乘法也称L2损失最小化学习法.

线性模型训练样本的残差平方表示如下:

其中, 是训练输出的n维行向量, 是基函数的nxb设计矩阵:

也是输入数据的基函数向量向量组成的列向量矩阵.
求平方差的参数向量的偏微分:

上式推导:

  1. 常用的矩阵求导公式:


    机器学习算法深度总结_第4张图片
  1. 改写为向量积

2.展开多项式

  1. 对第二项求关于的导数:
    根据矩阵求导公式:

    故
  1. 对第三项求的导数:
    根据矩阵求导公式:

    故

第一项求的导数为0, 故:

得证.

时取得最小值, 此时最小二乘解满足
解得:

广义逆矩阵: 是对逆矩阵的推广, 只有方阵, 非奇异矩阵才有逆矩阵, 单矩形矩阵或奇异矩阵都可以定义广义逆矩阵.
令广义逆矩阵为:

, 则可写为:

2. 最小二乘解的性质

补充知识: 奇异值分解

矩阵A()的SVD定义为:

奇异值在主对角线上. U和V均为酋矩阵, 满足,
SVD分解步骤:
①对()方阵(做特征分解: , 所有特征向量组成V矩阵, V中的每个特征向量为右奇异向量
②对()方阵做特征分解: , 所有特征向量组成U矩阵, U中的每个特征向量为右奇异向量
③奇异值矩阵为对角矩阵, 每个奇异值, 为左奇异矩阵中奇异向量对应的特征值

设计矩阵(线性模型的基函数矩阵)的奇异值分解:

分别称为奇异值, 左奇异向量, 右奇异向量.

  • 奇异值非负
  • 奇异向量满足正交性

的广义逆矩阵:

是标量的广义逆矩阵,
最小二乘解表示为:

模型输出向量变换为列向量:

因此, 是的正交投影矩阵, 最小二乘法输出向量是值域的正交投影得到的.

带入真实函数中的参数:

可知, 真的输出值向量就存在于中
结论: 用最小二乘法的向量若是由的正投影得到的, 则可以有效去除y中的噪音.
噪声期望E为0是, 就是真是参数的无偏估计:

渐近无偏性:
增加训练样本n, 上式会向着模型中最优参数方向收敛的性质

补充知识: 投影矩阵

  1. 投影到向量
    机器学习算法深度总结_第5张图片

    向量b在向量a上的投影, 其中 (a,b均为向量)
    求解:
    设b在a直线上的投影为, 作直线a的垂线直线e, 则e为向量b到向量p的最短距离, 且.
  2. 投影到子空间
    若投影p, 向量b, 矩阵P满足, 则称P为投影矩阵. 将改写一下, , 可将投影向量看做秩为1的投影矩阵P.
  3. 投影矩阵的两个典型的性质
    ① P是一个对称矩阵
    ②它的平方等于它自身：P2=P

3. 带约束的最小二乘

  • L2约束也称L2正则化, 回归问题里也叫岭回归(Ridge Regression),也叫权重衰减(weight decay), 可改善模型的过拟合.
  • L1约束也叫"稀疏规则算子"(Lasso regularization), 模型参数太多时, 模型求解耗时太多, 稀疏学习可将大部分参数置为0, 从而快速求解.

L1和L2约束二乘的参数空间:


机器学习算法深度总结_第6张图片
1. L2约束二乘

约束条件如下:

L2参数空间, 是一个参数空间原点为圆心,R为半径内的圆(一般为超球):

机器学习算法深度总结_第7张图片

引入拉格朗日对偶问题:

利用拉格朗日对偶问题, 求解:

的最优解问题, 可得到最优化问题的解, 上式中拉格朗日待定因子的解由圆半径R决定

简化版(不由R决定):

上式表示对样本拟合程度, 与组合得到最小值, 防止过拟合

L2约束的LS关于的微分可通过下式求解:

上文已经求过:

根据矩阵求导公式:

综合(2)(3)求(1)中关于的微分:

令关于的导数为0, L2约束的LS的解为:

上式结论:

  • 将矩阵相加提高其正则性, 进而更稳定地进行逆矩阵求解.
  • L2约束的LS也称为L2正则化的LS, 式(1)中的称为正则项, 为正则化参数
  • L2正则化有时也称岭回归

将设计矩阵做奇异值分解:

带入上上式, 则L2约束的LS解表示为:

上式结论:

  • 时, L2约束的LS蜕化为一般的LS
  • 设计矩阵计算条件恶劣,包含极小的奇异值时, 变得极大, 训练输出y的噪声会增加
  • 分母中加入正的常数, 避免过大, 进而可防止过拟合

拓展: 更一般L2约束的LS

更一般的L2约束LS使用正则化矩阵G, 可得到更一般的表示:

  • 问题表示:

  • 求解:
    更一般的L2约束的LS解求解过程, 和标准L2约束的LS大体相同:

  • 参数空间:
    矩阵G对称正定时, 将数据限制在椭圆区域内. 下图为更一般的L2约束的LS参数空间:
    机器学习算法深度总结_第8张图片

模型选择

  • 部分空间约束或L2约束的LS, 都过分依赖正交投影矩阵P和 正则化参数λ的选择
  • 选择合适的P和λ至关重要
    采用不同的输入样本, 决定算法中各个参数值的过程称为模型选择

2. L1约束二乘

L1约束二乘的参数空间:


机器学习算法深度总结_第9张图片

稀疏学习中常用L1进行条件约束:


其中,
再回顾L1和L2约束二乘的参数空间:

机器学习算法深度总结_第10张图片

以含参线性模型为例对上图做分析:

  • 训练误差是关于的向下的二次凸函数, 因此在参数空间内有椭圆状等高线, 底部是最小二乘解
  • :椭圆等高线和圆周交点是L2约束LS的解, 即-Constrained Least Squares
  • :椭圆等高线和菱形的角的焦点是L1约束LS的解, L1约束LS的解一定位于参数的轴上

L1约束二乘求解

L1范数包含原点处不可微分的绝对值, 故不能像L2约束那样简单求解:


机器学习算法深度总结_第11张图片

下面通过利用拉格朗日对偶问题求解, 考虑L1正则化的最优化问题:

L1范数原点不能微分, 用微分的二次函数控制:

函数如图:


机器学习算法深度总结_第12张图片

L2正则化LS一般表达式:

线性模型的解:

现在的解的情况下，绝对值函数也是与二次函数的上界相外切的，因此，是成立的。另外，是为最小的时候取到的，也是成立的。由于是J的上界, 因此也是成立的， 综上可得:

可见, 更新后的解比现在的解更收敛, 具体如下图所示：

机器学习算法深度总结_第13张图片

给定适当的初始值反复更新这个解, l1约束二乘的解就可使用l2约束二乘法来求得.

3.Lp约束二乘

范数:

时称最大值范数:
p=0时L_0范数表示非零向量元素个数:

范数的单位球(R=1):

机器学习算法深度总结_第14张图片

分析:

  1. 时,坐标轴上呈现有峰值的尖形
  2. 时,单位球呈现凸形

稀疏解存在的特殊条件:
1.约束空间为凸形(非凸优化困难)
2.坐标轴上呈现有峰值的尖形

就像上图展示的那样，在坐标轴上呈有峰值的尖形是存在稀疏解的秘诀。另一方面，满足约束条件的空间如果不是凸型的话，可能存在局部最优解，但是最优化工作就会变得异常艰难。因此，当p=1时是稀疏解存在的唯一的凸型，由此可知，L1约束的最小二乘学习法是非常特殊的一种学习方法。

满足Lp范数的约束条件的空间性质:


机器学习算法深度总结_第15张图片

4. 弹性网络(L1+L2)

L1约束的限制:

  1. 参数b比训练样本n多时, 线性模型可选择的最大特征数被局限为n
  2. 线性模型中形成集群构造(有多个基函数相似的集合)时, LS选择一个忽略其它, 核模型输入样本是簇构造是更易形成集群构造
  3. 参数b比样本n少时, 的通用性比更差

解决方案是L1+L2, 这个方法就是利用L1+L2范数的凸结合来进行约束的:

这里, 满足的标量, 时, L1+L2约束变为L1约束; 时, L1+L2约束变为L2约束; 时, 在参数轴上保持尖形.

时, L1+L2范数的单位球如下图所示(黑实线)：

机器学习算法深度总结_第16张图片

由图可见, 时L1+L2范数的单位球和范数的单位球形状完全相同, 然而, 如果用放大镜放大角的部分, 会发现范数的单位球像L2那样平滑, 但是L1+L2范数的单位球则像L1范数那样呈尖形.
因此L1+L2范数约束也会想L1范数约束那样容易求得稀疏解.

此外, 另外，即使参数b比训练样本数n还要多，L1+L2约束的最小二乘学习法也可以拥有n个以上的非零参数。另外，当基函数为集合构造的时候，经常会以集合为单位对基函数进行选择，实验证明：L1+L2约束的最小二乘学习法比L1约束的最小二乘学习法具有更高的精度。然而，除了加入正则化参数λ之外，为了调整L1范数和L2范数的平衡，还需要引入参数T，这也是L1+L2约束最小二乘学习法在实际中所面临的问题。

2. SVM

1. 间隔最大化分类

考虑二分类:

为分割样本的超平面的法线, 为截距.

机器学习算法深度总结_第17张图片
2018-08-29 at 上午9.27.png

对各样本间隔为正时的和学习.

闭集约束条件:

以上和存在时,称训练样本线性可分.

2.硬间隔SVM

分割最充分的超平面为最优解, 对应正则化后的间隔的最小值:

机器学习算法深度总结_第18张图片
2018-08-29 at 上午9.38.png
  • 正则化间隔:
  • 最小化:

从几何学来讲, 间隔为两端的两个超平面和的间距的一半, 使这个间隔最大的超平面对应的分类器称为硬间隔支持向量机分类器:

机器学习算法深度总结_第19张图片

3.软间隔SVM

硬间隔SVM假定训练样本线性可分, 软件个SVM允许间隔计算出现少量误差:

C>0是调整误差范围参数, C越大, 越接近0, 软间隔SVM越接近硬间隔SVM.

通常的SVM指软间隔SVM.

机器学习算法深度总结_第20张图片
2018-08-29 at 上午9.44.png

2. SVM求解

SVM最优化问题是目标函数为二次函数, 约束条件为线性的典型二次规划问题:

机器学习算法深度总结_第21张图片
二次规划求解

导入拉格朗日变量:

考虑最优化问题等价表现形式--拉格朗日对偶问题:

根据最优解条件可得:
\frac{\partial }{\partial \omega}L = 0 => \omega = \sum_{i=1}^n\alpha_iy_ix_i \\ \frac{\partial }{\partial \gamma}L = 0 => \sum_{i=1}^n\alpha_iy_i = 0 \\ \frac{\partial }{\partial \xi}L = 0 => \alpha_i + \beta_i = C, \forall i=1,\cdots,n

消去松弛变量可得拉格朗日对偶问题如下公式:

\hat \alpha = \underset{\alpha}{argmax}\left[\sum_{i=1}^n\alpha_i-\frac{1}{2}\sum_{i,j=1}^n\alpha_i\alpha_jy_iy_jx_i^T \right]\; 约束条件\;\sum_{i=1}^n\alpha_iy_i = 0, 0 \le \alpha_i \le C\;, \forall i = 1,\cdots,n
上述最优化问题, 利用只有n个最优变量的二次规划问题, 求解比原始最优化问题跟高效. 原始的最优化问题:

拉格朗日对偶问题的解用表示, 则SVM的解为:

截距的解:

3. 稀疏性

KKT条件
对偶解的最优条件即KKT条件. 对偶变量和约束条件满足互补关系:

KKT条件:

机器学习算法深度总结_第22张图片
KKT条件

4.核映射

核映射非线性模型
核映射使得SVM可以应用于非线性模型. 使用非线性函数对输入样本使用线性SVM分类器.这种特征空间内的线性分类器, 在输入空间是非线性分类器.

如果特征空间维数比输入空间维数d更高,则样本线性可分的可能性更大, 然而特征空间维数过大, 计算量也会响应增加.

核映射可显著降低计算量: 学习时, 线性SVM分类器样本空间输入只存在内积形式; 非线性SVM分类器特征空间输入只存在内积形式

核映射优势:

  • 通过核函数定义内积, 不需要知道特征变换具体是什么.
  • 输入不是向量, 也可以正确分类.

常见的核函数:
多项式核函数

高斯核函数

核映射方法适用于只关注内积的任何算法, 如聚类分析, 降维,将现行算法轻松转化为非线性.

5. hinge损失的二乘求解

考虑将SVM分类作为最小二乘分类的扩展.
SVM分类器将0/1损失作为间隔的函数单调非增, 但是二乘损失不是单调非增, 直接应用有些不自然, 故考虑将如下Hinge损失作为代理损失:

Hinge损失在m<1时有线性递增趋势, 即分类错误时, 损失无穷递增

Hinge损失和0/1损失函数图像:


机器学习算法深度总结_第23张图片
Hinge损失和0/1损失

Hinge损失最小化学习:

回顾线性分类问题和和模型分类问题
线性分类:

核模型分类问题:

对核模型分类问题进行Hinge损失最小化学习, 引入核矩阵的正则化项:

3. 逻辑回归

1. 模型定义

逻辑回归属于基于概率分类的学习法. 基于概率的模式识别是指对模式x所对应的类别y的后验概率禁行学习.
其所属类别为后验概率最大时的类别:

预测类别的后验概率, 可理解为模式x所属类别y的可信度.
逻辑回归(logistic), 使用线性对数函数对分类后验概率进行模型化:

上式, 分母是满足概率总和为1的约束条件的正则化项, 参数向量维数为:

考虑二分类问题:

使用上述关系式, logistic模型的参数个数从2b降为b个, 模型简化为:

补充知识 -对数似然:

似然函数:
对数似然:
似然是n次相乘的结果, 一个非常小的值, 经常发生计算丢位现象, 因此, 一般用对数来解决, 即将乘法变换为加法防止丢位现象发生.

二分类逻辑回归模型改写为对数自然最大化:

已知关于参数的线性模型:

的间隔和逻辑回归的损失是等价的.

机器学习算法深度总结_第24张图片

2. 从最大似然估计 (MLE)理解

1. 决策函数

一个机器学习的模型，实际上是把决策函数限定在某一组条件下，这组限定条件就决定了模型的假设空间。当然，我们还希望这组限定条件简单而合理。而逻辑回归模型所做的假设是：

这里的 g(h) 是sigmoid 函数，相应的决策函数为：

选择0.5作为阈值是一个一般的做法，实际应用时特定的情况可以选择不同阈值，如果对正例的判别准确性要求高，可以选择阈值大一些，对正例的召回要求高，则可以选择阈值小一些。

选择0.5作为阈值是一个一般的做法，实际应用时特定的情况可以选择不同阈值，如果对正例的判别准确性要求高，可以选择阈值大一些，对正例的召回要求高，则可以选择阈值小一些。

2. 参数求解

对数似然最大化
在逻辑回归模型中，令, 则
故似然度可表示为：

对数似然:

逻辑回归模型中，我们最大化似然函数和最小化交叉熵损失函数实际上是等价的。对于该优化问题，存在多种求解方法，这里以梯度下降的为例说明。梯度下降(Gradient Descent)又叫作最速梯度下降，是一种迭代求解的方法，通过在每一步选取使目标函数变化最快的一个方向调整参数的值来逼近最优值。

对于该优化问题，存在多种求解方法，这里以梯度下降求解为例说明。

  1. 给以初始值
  2. 随机选择一个训练样本
  3. 对于选定的训练样本, 已梯度上升方向对参数进行更新:

    其中:

    故:

L2约束的逻辑回归:

参数更新(梯度下降):

此处的, 在这里λ称作正则化参数，它通过平衡拟合训练的目标和保持参数值较小的目标。从而来保持假设的形式相对简单，来避免过度的拟合。

3. 从最小化Logstic损失来理解

回顾逻辑回归模型, 并考虑二分类:

逻辑斯蒂回归二分类模型的基本假设是输出Y=1的对数几率是输入x的线性函数，换句话说

对于二分类问题, 有:

令, , 结合(1)(2)式:

故:

这里得到了的决策函数, 综合(3)(4)得:

在 training data 上进行 maximum log-likelihood 参数估计:

等价于:

令, 此时目标函数是 strongly convex 的。接下来我们考虑用 gradient descent 来对目标函数进行优化。首先其 Gradient 是:

L2正则化:

4. 决策树

Decision Trees (DTs) 是一种用来classification和regression的无参监督学习方法。其目的是创建一种模型从数据特征中学习简单的决策规则来预测一个目标变量的值。

分类决策树由节点和有向边组成, 结点有内部结点和叶结点. 内部结点表示一个特征或属性, 叶结点表示一个类.


机器学习算法深度总结_第25张图片

例如，在下面的图片中，决策树通过if-then-else的决策规则来学习数据从而估测数一个正弦图像。决策树越深入，决策规则就越复杂并且对数据的拟合越好。


机器学习算法深度总结_第26张图片

决策树的优势:

  • 便于理解和解释。树的结构可以可视化出来。
  • 训练需要的数据少。其他机器学习模型通常需要数据规范化，比如构建虚拟变量和移除缺失值,不过请注意，这种模型不支持缺失值。
  • 由于训练决策树的数据点的数量导致了决策树的使用开销呈指数分布(训练树模型的时间复杂度是参与训练数据点的对数值)。
    = 能够处理数值型数据和分类数据。其他的技术通常只能用来专门分析某一种变量类型的数据集。详情请参阅算法。
  • 能够处理多路输出的问题。
  • 使用白盒模型。如果某种给定的情况在该模型中是可以观察的，那么就可以轻易的通过布尔逻辑来解释这种情况。相比之下，在黑盒模型中的结果就是很难说明清 楚地。
  • 可以通过数值统计测试来验证该模型。这对事解释验证该模型的可靠性成为可能。
  • 即使该模型假设的结果与真实模型所提供的数据有些违反，其表现依旧良好。

决策树的缺点包括:

  • 决策树模型容易产生一个过于复杂的模型,这样的模型对数据的泛化性能会很差。这就是所谓的过拟合.一些策略像剪枝、设置叶节点所需的最小样本数或设置数的最大深度是避免出现 该问题最为有效地方法。
  • 决策树可能是不稳定的，因为数据中的微小变化可能会导致完全不同的树生成。这个问题可以通过决策树的集成来得到缓解
  • 在多方面性能最优和简单化概念的要求下，学习一棵最优决策树通常是一个NP难问题。因此，实际的决策树学习算法是基于启发式算法，例如在每个节点进 行局部最优决策的贪心算法。这样的算法不能保证返回全局最优决策树。这个问题可以通过集成学习来训练多棵决策树来缓解,这多棵决策树一般通过对特征和样本有放回的随机采样来生成。
  • 有些概念很难被决策树学习到,因为决策树很难清楚的表述这些概念。例如XOR，奇偶或者复用器的问题。
  • 如果某些类在问题中占主导地位会使得创建的决策树有偏差。因此，我们建议在拟合前先对数据集进行平衡。

主要的决策树算法有ID3算法、C4.5算法和CART算法。

分类:
例如, 用经典数据集iris训练决策树, 预测鸢尾花卉种类:


机器学习算法深度总结_第27张图片

回归:
决策树也可以用来解决回归问题, 预测结果为概率值:


机器学习算法深度总结_第28张图片

决策树学习算法通常包含特征选择, 决策树生成和剪枝三个步骤.

1. 特征选择

特征选择的准则是信息增益或信息增益比, 特征选择决定用哪个特征划分特征空间.
几个基本概念:
信息增益
熵 表示随机变量的不确定性度量, 随机变量X(离散, 且)的熵定义为:

若上式以2为底, 单位比特; 熵越大, 随机变量不确定性越大; p=0.5时, 熵最大(=1), 不确定性最大

条件熵:
条件熵表示随机变量X的条件下Y的不确定性, 定义为X条件下Y的条件概率分布的熵对X的数学期望:

经验熵和经验条件熵
若H(X)和H(Y|X)中的概率若用极大似然估计得到, 则分别称为经验熵和经验条件熵.

信息增益
熵和条件熵之差称为信息增益, 表示得知特征X,则Y的不确定性减少的程度. 注, 决策树中默认熵和条件熵分别是经验熵和经验条件熵, 下同.

特征A对训练集D的信息增益g(D,A):

信息增益比
以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题。使用信息增益比可以对这一问题进行校正。
信息增益比表示特征A对训练数据集D的信息增益比。gR(D,A)定义为其信息增益g(D,A)与训练数据集D关于特征A的值的熵HA(D)之比，即：

基尼系数
分类问题中，假设有K个类，样本点属于第k类的概率为pk，则概率分布的基尼系数定义为：

二分类问题, 若样本点属于第一个类的概率为p, 则概率分布的基尼系数为:

对于给定样本集合D的基尼系数为:

这里是D中属于第k类的样本子集, K是类的个数.

若样本集合D根据特征A是否取某一可能值a被分割成D1和D2两部分，即：

则在特征A的条件下，集合D的基尼指数定义为：

基尼系数Gini(D)表示集合D的不确定性，表示经A=a分割后集合D的不确定性。基尼系数越大，样本集合的不确定性越大，与熵类似。
从下图可以看出基尼指数和熵之半的曲线很接近，都可以近似地代表分类误差率。

机器学习算法深度总结_第29张图片

信息增益计算方法
设训练集为D, |D|表示样本个数, 设有K个类 , , 为属于类的样本个数, ,.
设特征A有n个不同的取值, 根据特征A取值, 将D划分为n个子集, 为的样本个数, .
记子集中属于类的样本集合为, 即, 为的样本个数, 于是信息增益的算法如下:

(1) 计算数据集D的经验熵H(D)

(2) 计算特征A对数据集D的经验条件熵H(D|A)

(3) 计算信息增益

根据信息增益准则的特征选择方法是: 对训练数据集D, 计算每个特征的信息增益, 并比较他们的大小, 选择信息增益最大的特征.

2. 决策树的生成

常见的决策树算法: ID3, C4.5, C5.0 和 CART, 所有种类的决策树算法有哪些以及它们之间的区别？

  • ID3（Iterative Dichotomiser 3）由 Ross Quinlan 在1986年提出。该算法创建一个多路树，找到每个节点（即以贪心的方式）分类特征，这将产生分类目标的最大信息增益。决策树发展到其最大尺寸，然后通常利用剪枝来提高树对未知数据的泛化能力。
  • C4.5 是 ID3 的后继者，并且通过动态定义将连续属性值分割成一组离散间隔的离散属性（基于数字变量），消除了特征必须被明确分类的限制。C4.5 将训练的树（即，ID3算法的输出）转换成 if-then 规则的集合。然后评估每个规则的这些准确性，以确定应用它们的顺序。如果规则的准确性没有改变，则需要决策树的树枝来解决。
  • C5.0 是 Quinlan 根据专有许可证发布的最新版本。它使用更少的内存，并建立比 C4.5 更小的规则集，同时更准确。
  • CART（Classification and Regression Trees （分类和回归树））与 C4.5 非常相似，但它不同之处在于它支持数值目标变量（回归），并且不计算规则集。CART 使用在每个节点产生最大信息增益的特征和阈值来构造二叉树。
1. ID3算法

ID3算法核心: 在决策树各节点上用信息增益准则选择特征, 递归地构建决策树.
从根节点开始, 对结点计算所有可能的信息增益, 选择信息增益最大的特征作为结点特征,由该结点不同却只建立子结点; 再对子节点递归调用以上方法构建决策树, 知道所有特征的信息增益均很小或没有特征可以选择为止. 最后, 得到一个决策树.
ID3相当于用极大似然法进行概率模型的选择.

算法步骤如下:


机器学习算法深度总结_第30张图片

ID3算法只有树的生成, 生成的树容易过拟合.

2. C4.5算法

与ID3算法相似，C4.5算法对ID3算法进行了改进，C4.5在生成的过程中，用信息增益比来选择特征.

3. CART

分类树与回归树（classification and regression tree，CART）模型（Breiman）既可用于分类也可用于回归。

CART是给定输入随机变量X条件下输出Y的条件概率分布的学习方法, 主要分决策树生成和决策树剪枝.

  • 决策树生成: 是递归构建二叉决策树的过程
  • 特征选择: 回归树用平方误差最小化准则, 分类树用基尼系数最小化准则, 禁行特征选择, 生成二叉树.

回归树生成:
在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上输出值，构建二叉决策树：

(1) 选择最优切分变量j与切分点s，求解

遍历变量j，对固定的切分变量j扫描切分点s，选择使上式最小值的对(j,s)。
(2) 用选定的对(j,s)划分区域并决定相应的输出值：
单元划分

各单元上的最优值:

(3) 继续对两个子区域调用步骤(1),(2), 直至满足停止条件。
(4)将输入空间划分为M个区域，生成决策树：

每一轮计算, 求解出决策树和训练数据的残差: , 假设此时残差满足要求, 则算法停止, 此时的f(x)即为所求的回归树.

分类树生成:
对分类树用基尼系数（Gini index）最小化准则，进行特征选择，生成二叉决策树，其具体步骤如下：

机器学习算法深度总结_第31张图片

(1) 设节点的训练数据集为, 计算现有特征对该数据集的基尼系数, 对每个特征A, 对其可能的每个取值a, 根据样本点对的测试为"Y"或者"N"将D分成和, 计算时的基尼系数.
(2) 在所有可能的特征A及它们所有可能的切分点a中, 选择基尼系数最小的特征及其对应的切分点作为最有特征和最有切分点. 从现结点生成两个子结点,将训练数据集根据特征分配到两个子结点中去.
(3) 对两个子结点递归调用(1)(2), 知道满足停止条件.
(4)生成CART决策树.

算法停止的条件时节点中的样本个数小于预定阈值, 或样本集的基尼系数小于预定阈值(即样本基本属于同一类), 或者没有更多的特征.

3. 决策树剪枝

剪枝: 决策树学习中, 将已生成的过于复杂的树进行简化的过程称为剪枝(pruning).
过拟合: 决策树的过拟合指的是学习时过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。

剪枝可以解决决策树过拟合问题, 具体: 去掉细分的叶结点, 使其回退到父结点甚至更高节点, 然后将父结点或更高节点改为新的叶结点.
决策树的生成对应于模型的局部选择, 只考虑局部最优; 决策树的剪枝对应于模型的全局选择, 需考虑全局最优.

决策树剪枝通常通过极小化决策树整体的损失函数(loss function)或代价函数(cost function)实现.

决策树整体损失函数:

设数T的叶结点有个, t是树T的叶结点, 该叶结点上游个样本点, 其中k类样本点有个,
为叶结点t上的经验熵, 为参数, 则决策树的损失函数定义为:

其中, 经验熵:

将(1)中右边第一项记作:

将(3)带入(1), 得决策树学习的损失函数:

上式表示模型对训练数据的预测误差(拟合程度), 表示模型复杂度, 损失函数表示了二者的平衡.
参数控制二者间的影响:
(1) 较大的促使选择较简单的模型
(2) 较小的促使选择较复杂的模型
(3) 意味着只考虑模型数据拟合程度, 不考虑模型复杂度

(4) 确定时, 子树越大, 模型和数据拟合越好, 但模型复杂度高; 反之, 子树越小, 模型复杂度低, 但和数据拟合不好

剪枝说明:

  • 决策树生成只考虑了提高信息增益(或信息增益比), 而决策树剪枝通过优化损失函数, 还考虑了减小模型复杂度.
  • 决策树生成学习局部模型, 决策树剪枝学习整体模型.
  • 上式定义的损失函数极小化等价于正则化的极大似然估计, 所以, 利用损失函数最小原则剪枝就是用正则化的极大似然估计进行模型选择.

树的剪枝算法:

输入: 生成算法产生的整个树, 以及参数;
输出: 修剪后的子树.
(1) 计算每个结点的经验熵;
(2) 递归地从树的叶结点向上回缩;
设一组叶结点回缩到其父节点前后的整体树分别为和, 对应的损失函数值分别为和, 假如:

则进行剪枝, 将父节点变为新的叶结点.
(3) 返回(2), 直至不能继续为止, 得到损失函数最小的子树

注意, 式(4)决策树剪枝只需要考虑两个数的损失函数之差(), 其计算可在局部进行,故可用动态规划算法实现.

决策树剪枝示意图:


机器学习算法深度总结_第32张图片
决策树的剪枝

5. 朴素贝叶斯

朴素贝叶斯方法是基于贝叶斯定理的一组有监督学习算法，即“简单”地假设每对特征之间相互独立。 给定一个类别 y和一个从到的相关的特征向量， 贝叶斯定理阐述了以下关系:

使用简单(naive)的假设-每对特征之间都相互独立:

对于所有的，这个关系式可以简化为:

由于在给定的输入中是一个常量，我们使用下面的分类规则:

所以:

我们可以使用最大后验概率(Maximum A Posteriori, MAP) 来估计和 ; 前者是训练集中类别y的相对频率。
各种各样的的朴素贝叶斯分类器的差异大部分来自于处理 分布时的所做的假设不同。

尽管其假设过于简单，在很多实际情况下，朴素贝叶斯工作得很好，特别是文档分类和垃圾邮件过滤。这些工作都要求 一个小的训练集来估计必需参数。(至于为什么朴素贝叶斯表现得好的理论原因和它适用于哪些类型的数据，请参见下面的参考。)

相比于其他更复杂的方法，朴素贝叶斯学习器和分类器非常快。 分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。这样反过来有助于缓解维度灾难带来的问题。

另一方面，尽管朴素贝叶斯被认为是一种相当不错的分类器，但却不是好的估计器(estimator)，所以不能太过于重视从 predict_proba 输出的概率。

1. 极大似然估计

朴素贝叶斯法中,学习意味着估计和, 可以用极大似然估计去计算相应的概率.
先验概率的极大似然估计:

上式中, I是指示函数, 假如训练数据中y=1的15个样本点有9个, 则,
设第j个特征可能的取值集合, 条件概率的极大似然估计:

式中, 是第i个样本的第j个特征; 是第j个特征可能取的第l个值, I为指示函数

补充知识: 指示函数

集X的子集A的指示函数定义为:

A的指示函数记作或, 指示函数也称特征函数.

2. 朴素贝叶斯算法

输入: 训练数据, 其中, 是第i个样本的第j个特征, , 是第j个特征可能取得第l个值, ; 实例x;
输出: 实例x的分类
(1) 计算先验概率及条件概率
先验概率:

条件概率:

(2)对于给定的实例, 计算:

(3)确定实例x的分类

我们要做的就是统计对每一个类别来说，每一维特征每个特征出现的频率。频率有可能出现0的情况，我们需要进行*拉普拉斯平滑操作。

3. 贝叶斯估计

贝叶斯估计解决用极大似然估计可能出现的估计概率为0情况, 具体做法是在随机变量各个取值的频数上赋予一个整数
条件概率的贝叶斯估计:

先验概率的贝叶斯估计:

时是极大似然估计
时是拉普拉斯平滑(Lapalce smoothing)
时是利德斯通(Lidstone smoothing)

补充: 多项分布朴素贝叶斯(Sklearn)

服从多项分布数据的朴素贝叶斯算法，也是用于文本分类(这个领域中数据往往以词向量表示，尽管在实践中 tf-idf 向量在预测时表现良好)的两大经典朴素贝叶斯算法之一。 分布参数由每类 y的向量决定,式中n是特征的数量(对于文本分类，是词汇量的大小)是样本中属于类 y中特征i概率。
参数使用平滑过的最大似然估计法来估计，即相对频率计数:

式中是 训练集 T中 特征y在类 y中出现的次数，是类y中出现所有特征的计数总和。
先验平滑因子 应用于在学习样本中没有出现的特征，以防在将来的计算中出现0概率输出。 被称为拉普拉斯平滑(Lapalce smoothing)，而被称为利德斯通(Lidstone smoothing)。

6. 最大熵模型

最大熵原理认为满足约束条件的模型集合中选取熵最大的模型是最好的模型, 最大熵模型可由最大熵原理导出.

1. 最大熵原理

设离散随机变量X的概率分布P, 则其熵满足不等式:

当X服从均匀分布时, 熵最大. 举例: X取值:, 假设有约束:, 则X服从均匀分布即A和B等概率时熵最大.

2. 最大熵模型

输入: 训练集
学习目标: 用最大熵原理选择最好的分类模型
联合分布P(X,Y)和边缘分布P(X)的经验分布:

特征函数(指示函数):

特征函数关于经验分布的期望:

特征函数关于模型与经验分布的期望:

假设上式(1)(2)中的两个期望值相等:

可将(3)作为模型约束条件, 如有n个特征函数, 那么有n个约束条件.

下面, 由以上结论导出最大熵模型.

最大熵模型定义:
设满足所有约束条件的模型集合为
定义在条件概率分布上的条件熵:

则模型集合C中条件熵最大的模型称为最大熵模型.

3. 最大熵模型学习

最大熵模型学习可以形式化为约束最优化问题.
输入:
数据集
特征函数
约束最优化问题:

按最优化习惯, 将最大值问题改为等价的最小值问题:

将约束最优化的原始问题转换为无约束最优化的对偶问题, 引入拉格朗日乘子, 定义拉格朗日函数:

\begin{align*} L(P,w) &= -H(P) + w_0(1-\sum_yP(y|x)) + \sum_{i=1}^n w_i(E_{\tilde P}(f_i)-E_P(f_i)) \\ &=\sum_{x,y}\tilde P(x)P(y|x)\log P(y|x) + w_0\left (1-\sum_y P(y|x)) + \sum_{i=1}^nw_i(\sum_{x,y} \tilde P(x,y)f_i(x,y) - \sum_{x,y} \tilde P(x)P(y|x)f_i(x,y) \right ) \end{align*}
最优化化的原始问题:

对偶问题:

由于拉格朗日函数是P的凸函数, 原始问题的解和对偶问题的解释等价的, 下面求对偶问题内部的极小化问题, 将其记作:

便是对偶函数, 将其的解记作:

第一步, 求解:

求对的偏导数:
\begin{align*} \nabla_{P(y|w)} L(P,w) &= \sum_{x,y}\tilde P(x)(\log P(y|x)+1) - \sum_yw_0 -\sum_{x,y}\left (\tilde P(x)\sum_{i=1}^nw_if_i(x,y) \right) \\ & = \sum_{x,y}\tilde P(x) \left ( \log P(y|x) + 1 - w_0 -\sum_{i=1}^nw_i f_i(x,y) \right ) \end{align*}
令偏导数为0, 在的情况下, 解得:

由于, 得:

由(1)(2)表示的模型就是最大熵模型, 其中称为规范化因子, 是特征函数, 是特征的权值.

第二步, 求解:

将其解即为, 有:

求解(3)得到对偶函数的极大值, 用来表示.

因此, 算法学习到的最大熵模型为: , 最大熵模型的学习归结为对偶函数的极大化.

总结:

  1. 对偶问题的极大化等价于最大熵模型的极大似然估计. 详细证明见<统计学习方法> P87
  2. 最大熵模型和逻辑斯蒂回归模型有相似的结构, 他们被称为对数线性模型(log linear model)
  3. 对数线性模型的学习就是对模型进行极大似然估计或正则化的极大似然估计

7. EM算法

概率模型有时既有观测变量, 又有隐变量, 当存在隐变量时, 直接的最大似然估计无法直接搞定。
EM算法是一种迭代算法, 对于含有隐变量(hidden variable)的概率模型参数的极大似然估计或极大后验概率估计.
EM算法每次迭代分两步: E步, 求期望; M步, 求极大; 因此EM算法称为期望极大算法.

最经典的例子就是抛3个硬币:

假设三枚硬币, 分别记作A,B,C，正面出现的概率分别为. ,抛A硬币决定B和C(A正面, 选B; A反面, 选C), 然后抛B或者C决定正反面, 正面记1, 反面记0; 然后估算3个硬币的正反面概率值。

下面对着三枚硬币建模模型:

上式, 随机变量y是观测变量, 一次试验最终结果是1, 则y=1; 否则, y=0; 随机变量z是隐变量, 表示中间为观测到的掷硬币A的结果; 是模型参数, 这模型是以上数据的生成模型.

注意: 对隐变量的理解是理解EM算法的第一要义, 这里, 随机变量y的数据可以观测, 但是随机变量z的数据不可观测.

我们可以简单的来核对一下这个概率模型写得对不对。我们画出一次抛掷硬币的整个过程，并计算出相应的概率。然后带入到上面的公式中就可以知道模型构建是否正确了。

case A(z) B C prob
1 1 1 -
2 1 0 -
3 0 - 1
4 0 - 0

分析:

  1. 试验结果为1
    根据上表, 有
    同时, y=1带入上式(1), 有:
  2. 试验结果为0
    根据上表, 有
    同时, y=1带入上式(1), 有:

    可见, 公式(1)符合实际实验结果.

用极大似然估计求参数:
观测数据, 为观测数据, 则观测数据的似然函数为:

即,

考虑求模型参数的极大似然估计:

该问题没有解析解, 只能通过迭代的方法求解, EM算法便是可求解这一问题的一种迭代算法.

一般地, 用Y表示观测变量的数据, Z表示隐变量的数据, Y和Z连在一起称为完全数据, 观测数据Y又称不完全数据.

不完全数据Y的概率分布是, 对数似然函数
完全数据Y和Z的联合概率分布, 对数似然函数是

EM算法通过迭代求的极大似然估计, 每次迭代先求E(期望), 后求M(极大化).

Q函数:

完全数据的对数似然关于给定观测数据Y和当前参数下对未观测数据Z的条件概率分布的期望称为Q函数:

EM算法:
输入: 观测变量数据, 隐变量数据Z, 二者联合分布, 条件分布
输出: 模型参数

(1) 选择参数的初值, 开始迭代
注意: EM算法对初始值敏感, 不同的初值可能得到不同的参数估计值
(2) E步: 第i+1次迭代的E步, 计算:

这里 , 是第i次迭代参数的估计值, 是在观测数据Y和当前参数估计下隐变量数据Z的条件概率分布
(3)M步: 求使极大化的, 确定第i+1次迭代的参数估计值, 完成一次迭代:

每次迭代使似然函数增大或达到局部极值.
(4) 重复(2)(3)步, 直到收敛.
迭代终止条件, 一般是对较小的, 若满足:

则停止迭代.

8. 集成学习

集成学习(Ensemble)是一大类模型融合策略和方法的统称, 包含多种集成学习思想.
集成学习把性能较低的多种弱学习期, 通过适当组合形成高性能强学习器的方法. "三个臭皮匠顶个诸葛亮"这样的言语来形容集成学习器.
常见的集成学习分为对弱学习器独立学习的Bagging学习法和对多个弱学习器依次进行的Boosting学习法. 下面是展示了这两种集成学习法的示意图:


1. Boosting

boosting方法训练基分类器时采用串行方式, 各个基分类器之间有依赖.
基本思路: 基分类器层层叠加, 每一层训练时, 对前一层基分类器分错的样本,给予更高的权重. 测试时, 对各层分类器结果加权得到最终结果.
同时, 进行加权时, 最开始就能正确分类的样本,权重会逐渐减小, 有可能造成简单样本反而不能正确分类, 故, Boosting学习应边学习边更新样本券种, 并把学习过程中得到的所有分类器放在一起, 对其可信度平局后得到最终强分类器.
样本加权方法有很多, 最标准的就是Adaboost算法, Adaboost是英文Adaptive Boosting的缩写, 是自适应怎强的意思.

2. Bagging

Bagging是根据英文单词BootstrapAggregation创造的新词,统计学上的Bootstrap称为自主法, 是指有重复随机选取n个样本, 生成和原始样本集稍有差异样本集的方法.
Bagging学习法, 一方面经由自主法生成虚拟训练样本, 并对这些样本学习;另一方面, 反复重复该过程后对得到的多个分类器输出通过投票的方式做出集体决策.
Bagging学习, 重复次数较大, 不易过拟合; 对多个弱分类器学习是并行过程,故Bagging可并行学习.
典型的Bagging学习法是基于决策树基分类器的随机森林(Random Forest).

参考

  • L1 and L2 regularization
    https://zhuanlan.zhihu.com/p/43518720

  • L1范数与L2范数的区别
    https://zhuanlan.zhihu.com/p/28023308

  • 深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
    https://www.cnblogs.com/sddai/p/5728195.html

  • Logistic Regression 模型简介
    https://tech.meituan.com/intro_to_logistic_regression.html

  • Sklearn-决策树
    http://sklearn.apachecn.org/cn/0.19.0/modules/tree.html

  • CART之回归树构建
    https://cethik.vip/2016/09/21/machineCAST/

  • Sklearn-朴素贝叶斯
    http://sklearn.apachecn.org/cn/0.19.0/modules/naive_bayes.html

你可能感兴趣的:(机器学习算法深度总结)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 水平垂直居中的几种方法（总结） LJ小番茄 CSS_玄学语言htmljavascript前端csscss3
    1.使用flexbox的justify-content和align-items.parent{display:flex;justify-content:center;/*水平居中*/align-items:center;/*垂直居中*/height:100vh;/*需要指定高度*/}2.使用grid的place-items:center.parent{display:grid;place-item
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • 腾讯云技术深度探索：构建高效云原生微服务架构 我的运维人生 云原生架构腾讯云运维开发技术共享
    腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • 拥有断舍离的心态，过精简生活--《断舍离》读书笔记 爱吃丸子的小樱桃
    不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • 阶段总结反思 轻争
    马上就要进入10月份了，今天做一下前段时间的总结和反思。前段时间，日更、英语、健身、护肤坚持的比较好。阅读、书法坚持的不好。1.中间被迫停更半个多月，其余时间一直在坚持日更挑战。偶尔也有不想写的时候，就做一下摘抄。因为阅读（输入）没跟上来，所以写作（输出）质量有待进一步加强。2.英语做到了一周至少学习5天，每次不少于30分钟，但是小班课没有跟上更新速度，下一步要争取利用零碎时间补听小班课。3.减肥
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 主题升华随机抽总结 木棉咕噜
    昨天晚上在火山灿教练那里抽了主题升华最后一关。一共抽了两个故事，现总结如下。第一个故事是《并不是你想象的那样》。主题一：有时候，面对别人一些貌似不合常情的行为，不要轻易的指责他，也许背后有我们所不知道的原因。在这一个主题里面，刚开始的时候，我没有加上貌似二字。所以就没有改动之后这么精准。主题二：有时候我们对他人善意的行为，可能会给我们带来一些意外的回报。主题三：面对同样一件事，因为不同的人看待问题
  • 【无标题】达瓦达瓦 JhonKI 考研
    博客主页：https://blog.csdn.net/2301_779549673欢迎点赞收藏⭐留言如有错误敬请指正！本文由JohnKi原创，首发于CSDN未来很长，值得我们全力奔赴更美好的生活✨文章目录前言111️‍111❤️111111111111111总结111前言111骗骗流量券，嘿嘿111111111111111111111111111️‍111❤️111111111111111总结11
  • 上图为是否色发 JhonKI 考研
    博客主页：https://blog.csdn.net/2301_779549673欢迎点赞收藏⭐留言如有错误敬请指正！本文由JohnKi原创，首发于CSDN未来很长，值得我们全力奔赴更美好的生活✨文章目录前言111️‍111❤️111111111111111总结111前言111骗骗流量券，嘿嘿111111111111111111111111111️‍111❤️111111111111111总结11
  • 143234234123432 JhonKI 考研
    博客主页：https://blog.csdn.net/2301_779549673欢迎点赞收藏⭐留言如有错误敬请指正！本文由JohnKi原创，首发于CSDN未来很长，值得我们全力奔赴更美好的生活✨文章目录前言111️‍111❤️111111111111111总结111前言111骗骗流量券，嘿嘿111111111111111111111111111️‍111❤️111111111111111总结11
  • 4招写出高价值文章 zhiliner
    文章写得泛泛是因为思考得不够深，思考得越深文章会越有价值。拿到一个主题一定要去深入挖掘事件背后的东西，比如人物困境以及趋势性的东西。写作过程中有几个深度思考的方法一、解剖，让旧素材焕发新意作为一个写作者，我们能够做的最大贡献，就是给出自己看世界的角度。解剖其实就是把这个话题相关的信息都列出来，详细的列出来，看清楚它的内部。我们看到一个老话题或者一段旧素材的时候，不要只看这个素材或者话题本身，一定要
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
  • CentOS的根目录下，/bin 和 /sbin 用途和权限 Energet!c Linux日常centoslinux运维
    CentOS的根目录下，/bin和/sbin用途和权限一、/bin(Binary)二、/sbin(SystemBinary)三、总结在CentOS的根目录下，/bin和/sbin目录有不同的用途和权限一、/bin(Binary)用途:存放系统的基本命令，这些命令对所有用户都是可用的。例如：ls、cp、mv、rm等。权限:普通用户和系统管理员都可以使用这些命令。二、/sbin(SystemBinar
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • linux 发展史 种树的猴子 内核java操作系统linux大数据
    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
  • 又到年末 伊人微语
    今天，工作群里，各个部门开始提醒老师们上交各种期末总结资料，才蓦然感觉这个学期已接近尾声，才意识到2022即将过去，新的一年的脚步声已经越来越近不由得生阳一些感慨。年纪大了，感觉到每个日子都是“倏”地一声就过去了，来不及思量，来不及回顾，一年就这么过去了。我常常想，为什么会有这样的感觉呢？年轻时候的每一天是24小时，现在的每一天也不曾少过一分钟，为什么就会感觉到它的脚步越来越快呢？后来我想明白了，
  • 大都会资本BMAN的2018年终总结 非线性思考
    1投资的本质是认知变现赚钱=足够的认知*高效的的变现。2投资的三大基石策略:提升认知高效变现知行合一3如果你亏钱了要么是认知的问题，要么是变现的问题，要么而是知行合一的问题。4投资需要知行合一，很简单的道理，却拦住了很多高手，是因为认知和行动中间还隔着人性。顶级的高手能把自己从贪嗔痴中抽离出来，顶级高手没有人性，只有原则。5如果你玩的是空气币，就不要幻想拿着它改变世界，那是你套出了幻觉，眼光放短一
  • 2024.9.6 Python，华为笔试题总结，字符串格式化，字符串操作，广度优先搜索解决公司组织绩效互评问题，无向图 RaidenQ python华为leetcode算法力扣广度优先无向图
    1.字符串格式化name="Alice"age=30formatted_string="Name:{},Age:{}".format(name,age)print(formatted_string)或者name="Alice"age=30formatted_string=f"Name:{name},Age:{age}"print(formatted_string)2.网络健康检查第一行有两个整数m
  • 2024.8.22 Python，链表两数之和，链表快速反转，二叉树的深度，二叉树前中后序遍历，N叉树递归遍历，翻转二叉树 RaidenQ python链表开发语言
    1.链表两数之和输入：l1=[2,4,3],l2=[5,6,4]输出：[7,0,8]解释：342+465=807.示例2：输入：l1=[0],l2=[0]输出：[0]示例3：输入：l1=[9,9,9,9,9,9,9],l2=[9,9,9,9]输出：[8,9,9,9,0,0,0,1]昨天的这个题，用自己的办法写的麻烦的要死，然后刚才一看chat归类的办法，感觉自己像个智障。classListNode
  • 海拔五千 3点8度
    【海拔五千】连续几天到宿舍盯学生早起情况，今天早上都能及时离开宿舍，没有迟到的了。早读复习宋词，新背一首，晚上又忘了[流泪]断续听王静老师的一堂课，深度语文名不虚传！下课问学生如何，学生答曰比你讲的有趣[捂脸]继续读《娱乐至死》美国在不同的历史时期，代表城市不一样，从波士顿的政治中心，到纽约的大熔炉（自由女神就是其象征），再到芝加哥的工业发展中心，最后到拉斯维加斯的娱乐之城。不同历史时期美国精神的
  • 2022.01.22 有用 谨言的成长
    写作，对我来说，更像是一个自说自话，自我观察，自我反思，自我探索的途径。可以写我的心情故事，写我的观点而不用担心任何人的评论，写我的情绪，写我想说的，有时候觉得只是简单用语言还不能表现出那份深刻，但是文字可以给自己一个更长的时间来思考，来做深度思考，表达得更透彻。写作，有时候我会写自己看了某个电影后的一点感悟，自己的真实感受，不管它和专业影评人相比是不是很肤浅，是不是片面了，只是有时候我也想发声，
  • android 更改窗口的层次,浮窗开发之窗口层级 Ms.Bu android更改窗口的层次
    最近在项目中遇到了这样的需求：需要在特定的其他应用之上悬浮自己的UI交互(拖动、输入等复杂的UI交互)，和九游的浮窗类似，不过我们的比九游的体验更好，我们越过了很多授权的限制。浮窗效果很多人都知道如何去实现一个简单的浮窗，但是却很少有人去深入的研究背后的流程机制，由于项目中浮窗交互比较复杂，遇到了些坑查看了很多资料，故总结浮窗涉及到的知识点：窗口层级关系(浮窗是如何“浮”的)？浮窗有哪些限制，如何
  • Python入门之Lesson2:Python基础语法 小熊同学哦 Python入门课程python开发语言算法数据结构青少年编程
    目录前言一.介绍1.变量和数据类型2.常见运算符3.输入输出4.条件语句5.循环结构二.练习三.总结前言欢迎来到《Python入门》系列博客的第二课。在上一课中，我们了解了Python的安装及运行环境的配置。在这一课中，我们将深入学习Python的基础语法，这是编写Python代码的根基。通过本节内容的学习，你将掌握变量、数据类型、运算符、输入输出、条件语句等Python编程的基础知识。一.介绍1
  • Android应用性能优化 轻口味 Android
    Android手机由于其本身的后台机制和硬件特点，性能上一直被诟病，所以软件开发者对软件本身的性能优化就显得尤为重要；本文将对Android开发过程中性能优化的各个方面做一个回顾与总结。Cache优化ListView缓存：ListView中有一个回收器，Item滑出界面的时候View会回收到这里，需要显示新的Item的时候，就尽量重用回收器里面的View；每次在getView函数中inflate新
  • VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite iwindyforest vmwaremac os10.10workstationplayer
    最近尝试了下VMware下安装MacOS 系统， 安装过程中发现网上可供参考的文章都是VMware Workstation 10以下， MacOS X 10.9以下的文章， 只能提供大概的思路， 但是实际安装起来由于版本问题， 走了不少弯路， 所以我尝试写以下总结， 希望能给有兴趣安装OSX的人提供一点帮助。     写在前面的话： 其实安装好后发现， 由于我的th
  • 关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑？ deathwknight JavaScriptjava框架
    本人从学习Java开发到现在已有10年整，从一个要自学 java买成javascript的小菜鸟，成长为只会java和javascript语言的老菜鸟（个人邮箱：[email protected]） 一路走来，跌跌撞撞。用自己的三年多业余时间，瞎搞一个小东西（基于模型驱动的B/S在线开发平台，非MVC框架、非代码生成）。希望与大家一起分享，同时有许些疑虑，希望有人可以交流下 平台
  • 如何把maven项目转成web项目 Kai_Ge mavenMyEclipse
    创建Web工程，使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
  • 主管？？？ Array_06 工作
    转载：http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html 很久以前跟同事参加的培训，同事整理得很详细，必须得转！ 前段时间，公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来，虽然内容较多，因对老师三天来的课程内容深有感触，故借着整理学习心得的机会，将三天来的培训课程做了一个
  • python内置函数大全 2002wmj python
    最近一直在看python的document，打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面，其实在看的时候发现整个《The Python Standard Library》章节都是很不错的，其中描述了很多不错的主题。先把Build-in Fu
  • JSP页面通过JQUERY合并行 357029540 JavaScriptjquery
    在写程序的过程中我们难免会遇到在页面上合并单元行的情况，如图所示 如果对于会的同学可能很简单，但是对没有思路的同学来说还是比较麻烦的，提供一下用JQUERY实现的参考代码 function mergeCell(){         var trs = $("#table tr"); &nb
  • Java基础 冰天百华 java基础
    学习函数式编程 package base; import java.text.DecimalFormat; public class Main { public static void main(String[] args) { // Integer a = 4; // Double aa = (double)a / 100000; // Decimal
  • unix时间戳相互转换 adminjun 转换unix时间戳
    如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)？ Java time JavaScript Math.round(new Date().getTime()/1000) getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
  • 作为一个合格程序员该做的事 aijuans 程序员
    作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况 最好的方式是写工作日志，把自己今天完成了什么事情，遇见了什么问题都记录下来，日后翻看好处多多 2、考虑自己明天应该做的主要工作 把明天要做的事情列出来，并按照优先级排列，第二天应该把自己效率最高的时间分配给最重要的工作 3、考虑自己一天工作中失误的地方，并想出避免下一次再犯的方法 出错不要紧，最重
  • 由html5视频播放引发的总结 ayaoxinchao html5视频video
    前言   项目中存在视频播放的功能，前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备，必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解，不了解不知道，水真是很深。本文所记录的知识一些浅尝辄止的知识，说起来很惭愧。   视频结构   本该直接介绍html5的<video>的，但鉴于本人对视频
  • 解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat bewithme httpclient
         如果你构建了一个https协议的站点，而此站点的安全证书并不是合法的第三方证书颁发机构所签发，那么你用httpclient去访问此站点会报如下错误   javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
  • Jedis连接池的入门级使用 bijian1013 redisredis数据库jedis
    Jedis连接池操作步骤如下：         a.获取Jedis实例需要从JedisPool中获取；         b.用完Jedis实例需要返还给JedisPool；         c.如果Jedis在使用过程中出错，则也需要还给JedisPool； packag
  • 变与不变 bingyingao 不变变亲情永恒
    变与不变    周末骑车转到了五年前租住的小区，曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在，    各种店铺都换了好几茬，这些是变的。    三年前还很流行的一款手机在今天看起来已经落后的不像样子。    三年前还运行的好好的一家公司，今天也已经不复存在。    一座座高楼拔地而起，
  • 【Scala十】Scala核心四：集合框架之List bit1129 scala
    Spark的RDD作为一个分布式不可变的数据集合，它提供的转换操作，很多是借鉴于Scala的集合框架提供的一些函数，因此，有必要对Scala的集合进行详细的了解   1. 泛型集合都是协变的，对于List而言，如果B是A的子类，那么List[B]也是List[A]的子类，即可以把List[B]的实例赋值给List[A]变量   2. 给变量赋值(注意val关键字，a，b
  • Nested Functions in C bookjovi cclosure
      Nested Functions 又称closure，属于functional language中的概念，一直以为C中是不支持closure的，现在看来我错了，不过C标准中是不支持的，而GCC支持。   既然GCC支持了closure，那么 lexical scoping自然也支持了，同时在C中label也是可以在nested functions中自由跳转的
  • Java-Collections Framework学习与总结-WeakHashMap BrokenDreams Collections
            总结这个类之前，首先看一下Java引用的相关知识。Java的引用分为四种：强引用、软引用、弱引用和虚引用。         强引用：就是常见的代码中的引用，如Object o = new Object();存在强引用的对象不会被垃圾收集
  • 读《研磨设计模式》-代码笔记-解释器模式-Interpret bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 解释器（Interpreter）模式的意图是可以按照自己定义的组合规则集合来组合可执行对象 * * 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值 * 多
  • After Effects操作&快捷键 cherishLC After Effects
    1、快捷键官方文档 中文版：https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html 英文版：https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html 2、常用快捷键
  • Maven 常用命令 crabdave maven
    Maven 常用命令   mvn archetype:generate mvn install mvn clean mvn clean complie mvn clean test mvn clean install mvn clean package mvn test mvn package mvn site   mvn dependency:res
  • shell bad substitution daizj shell脚本
    #!/bin/sh /data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
  • Java SE 第二讲（原生数据类型 Primitive Data Type） dcj3sjt126com java
    Java SE  第二讲： 1.   Windows: notepad, editplus, ultraedit, gvim Linux: vi, vim, gedit 2.   Java 中的数据类型分为两大类： 1）原生数据类型  （Primitive Data Type） 2）引用类型（对象类型）  （R
  • CGridView中实现批量删除 dcj3sjt126com PHPyii
    1，CGridView中的columns添加 array( 'selectableRows' => 2, 'footer' => '<button type="button" onclick="GetCheckbox();" style=&
  • Java中泛型的各种使用 dyy_gusi java泛型
    Java中的泛型的使用：1.普通的泛型使用 在使用类的时候后面的<>中的类型就是我们确定的类型。 public class MyClass1<T> {//此处定义的泛型是T private T var; public T getVar() { return var; } public void setVa
  • Web开发技术十年发展历程 gcq511120594 Web浏览器数据挖掘
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • openSession()与getCurrentSession()区别： hetongfei javaDAOHibernate
    来自 http://blog.csdn.net/dy511/article/details/6166134 1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。 2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。 这里getCurrentSession本地事务(本地
  • 第一章 安装Nginx+Lua开发环境 jinnianshilongnian nginxluaopenresty
    首先我们选择使用OpenResty，其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
  • HSQLDB In-Process方式访问内存数据库 liyonghui160com
        HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。   先睹为快！   下面是一个In-Process方式访问内存数据库的代码示例：     下面代码需要引入hsqldb.jar包 （hsqldb-2.2.8）   import java.s
  • Java线程的5个使用技巧 pda158 java数据结构
    Java线程有哪些不太为人所知的技巧与用法？ 　　萝卜白菜各有所爱。像我就喜欢Java。学无止境，这也是我喜欢它的一个原因。日常 工作中你所用到的工具，通常都有些你从来没有了解过的东西，比方说某个方法或者是一些有趣的用法。比如说线程。没错，就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候，通常会面临各种各样的并发编程的问题，不过我们现在所要讲的可能会略有不同。
  • 开发资源大整合：编程语言篇——JavaScript（1） shoothao JavaScript
    概述：本系列的资源整合来自于github中各个领域的大牛，来收藏你感兴趣的东西吧。     程序包管理器   管理javascript库并提供对这些库的快速使用与打包的服务。 Bower - 用于web的程序包管理。 component - 用于客户端的程序包管理，构建更好的web应用程序。 spm - 全新的静态的文件包管
  • 避免使用终结函数 vahoa.ma javajvmC++
    终结函数（finalizer）通常是不可预测的，常常也是很危险的，一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能，以及带来移植性问题。不要把终结函数当做C++中的析构函数（destructors）的对应物。       我自己总结了一下这一条的综合性结论是这样的： 1）在涉及使用资源，使用完毕后要释放资源的情形下，首先要用一个显示的方
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他