闭关修炼——暂退
闭关修炼——暂退

《机器学习》学习笔记（六）——支持向量机（SVM）

机器学习(Machine Learning)是一门多学科交叉专业，涵盖概率论知识，统计学知识以及复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式， 并将现有内容进行知识结构划分来有效提高学习效率。本专栏将以学习笔记形式对《机器学习》的重点基础知识进行总结整理，欢迎大家一起学习交流！
专栏链接：《机器学习》学习笔记

目录

1. 概述

2.感知机

3.支持向量机

3.1 引子

3.2 间隔

3.3 支持向量

3.4 对偶问题

拉格朗日乘子法

解的稀疏性

对偶方法重新求解前面的问题

3.5 核函数

3.6 软间隔与正则化

正则化

3.7 支持向量回归

支持向量回归机--SVR

损失函数

3.8 核方法

回顾总结

1. 概述

支持向量机（support vector machines, SVM）是一种二分类模型。

它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；
支持向量机还包括核技巧，这使它成为实质上的非线性分类器。
与之前学习笔记所述的分类问题不同的是：分类问题强调将不同类的样本点以一条线分隔开，而支持向量机则是强调将不同的两类样本点分隔的间隔最大。

★支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。
其中，“凸”的含义为只有单极值点（一元二次函数那样），而不是有多个极值点；
          “二次”含义为诸如：y=ax^{2}+bx+c 绘制的图形样式。

☆支持向量机学习方法包含构建由简至繁的模型：
☞线性可分支持向量机——硬间隔支持向量机（硬间隔最大化）——训练数据线性可分

《机器学习》学习笔记（六）——支持向量机（SVM）_第1张图片 硬间隔示例图

☞线性支持向量机——软间隔支持向量机（软间隔最大化）——训练数据近似线性可分

《机器学习》学习笔记（六）——支持向量机（SVM）_第2张图片 软间隔示例图

☞非线性支持向量机——核技巧及软间隔最大化——训练数据线性不可分。

☆核方法是比支持向量机更为一般的机器学习方法。

2.感知机

感知机的模型就是尝试找到一条直线，能够把二元数据隔离开。
放到三维空间或者更高维的空间，感知机的模型就是尝试找到一个超平面，能够把所有的二元类别隔离开。
对于这个分离的超平面，定义为w^{T}x+b=0,如下图。

《机器学习》学习笔记（六）——支持向量机（SVM）_第3张图片 感知机模型

在超平面w^{T}x+b=0上方的，我们定义为y=1；
在超平面w^{T}x+b=0下方的，我们定义为y=−1。
可以看出满足这个条件的超平面并不止一个。如何判断哪个超平面的分类效果更好。

接着我们看感知机模型的损失函数优化，它的思想是让所有误分类的点(定义为M)到超平面的距离和最小，即最小化下式：
                               
当w和b成比例的增加，比如,当分子的w和b扩大N倍时，分母的L2范数也会扩大N倍。
在感知机模型中，我们采用的是保留分子，固定分母||w||_{2}=1，即最终感知机模型的损失函数为：
                               
那么如果我们不是固定分母，改为固定分子，作为分类模型的改进问题进而引入了SVM。

3.支持向量机

3.1 引子

线性模型：在样本空间中寻找一个超平面, 将不同类别的样本分开。

《机器学习》学习笔记（六）——支持向量机（SVM）_第4张图片

-Q . 将训练样本分开的超平面可能有很多, 哪一个好呢?

《机器学习》学习笔记（六）——支持向量机（SVM）_第5张图片

-A . 应选择”正中间”, 对局部扰动容忍性好, 鲁棒性高, 对未见示例的泛化能力最强。

在感知机模型中，可以找到多个可以分类的超平面将数据分开，并且优化时希望所有的点都离超平面远。
但是实际上离超平面很远的点已经被正确分类，让它离超平面更远并没有意义。
反而最关心是那些离超平面很近的点，这些点很容易被误分类。
如果可以让离超平面比较近的点尽可能的远离超平面，那分类效果会好有一些。
SVM的思想起源正起于此。

3.2 间隔

函数间隔是没有统一量度，没有规范化，并不能正常反应点到超平面的距离，在感知机模型里，当分子成比例的增长时，分母也是成倍增长。为了统一度量，需要对法向量w加上约束条件，这样就得到了几何间隔 \gamma  , 定义为：
                             
在样本空间中，划分超平面可通过如下线性方程来描述：
                                 w^{T}+b=0
其中w=(w_{1};w_{2};...;w_{d})为法向量，决定了超平面的方向；
        b为位移项，决定了超平面与原点之间的距离。
划分超平面可被法向量\omega和位移b确定，并将其记为(\omega ,b)。
样本空间中任意点x到超平面(\omega ,b)的距离可写为
                                  
假设超平面(\omega ,b)能将训练样本正确分类，即对于(x_{i},y_{i})\in D
若y_{i}=+1，则有w^{T}+b>0;
若y_{i}=-1，则有w^{T}+b<0。令
                              \left\{\begin{matrix} \omega ^{T}x_{i}+b\geqslant +1,y_{i}=+1;\\ \omega ^{T}x_{i}+b\leqslant -1,y_{i}=-1. \end{matrix}\right.
如下图所示，距离超平面最近的这几个训练样本点使上式等号成立，他们被称为“支持向量”
两个异类支持向量到超平面的的距离之和为
                               \gamma =\frac{2}{||\omega ||}
它被称为“间隔”。

《机器学习》学习笔记（六）——支持向量机（SVM）_第6张图片 支持向量与间隔​​​​

欲找到具有“最大间隔”的划分超平面，也就是要找到能满足式\left\{\begin{matrix} \omega ^{T}x_{i}+b\geqslant +1,y_{i}=+1;\\ \omega ^{T}x_{i}+b\leqslant -1,y_{i}=-1. \end{matrix}\right.中约束的参数\omega和b，使得\gamma最大，即
                                  
显然，为了最大化间隔，仅需最大化||\omega ||^{-1}，这等价于最小化||\omega ||^{2}，于是上式可写成
                                  《机器学习》学习笔记（六）——支持向量机（SVM）_第7张图片
这就是支持向量机（SVM）的基本型。 ★★★

3.3 支持向量

如下图所示，分离超平面为 w^{T}+b=0，如果所有的样本不光可以被超平面分开，还和超平面保持一定的函数距离（下图函数距离为1），那么这样的分类超平面是比感知机的分类超平面优的。
可以证明，这样的超平面只有一个。  
和超平面平行的保持一定的函数距离的这两个超平面对应的向量，我们定义为支持向量，如下图虚线所示。    
   
★超平面方程:{\color{Red} w^{T}+b=0}
《机器学习》学习笔记（六）——支持向量机（SVM）_第8张图片
★最大间隔: 寻找参数{\color{Red} \omega}和{\color{Red} b}, 使得{\color{Red} \gamma}最大.
                     

3.4 对偶问题

《机器学习》学习笔记（六）——支持向量机（SVM）_第9张图片
其中f(x)是目标函数，g(x)为不等式约束，h(x)为等式约束。

若f(x)，h(x)，g(x)三个函数都是线性函数，则该优化问题称为线性规划。
若任意一个是非线性函数，则称为非线性规划。

若目标函数为二次函数，约束全为线性函数，称为二次规划。

若f(x)为凸函数，g(x)为凸函数，h(x)为线性函数，则该问题称为凸优化。
注意这里不等式约束g(x)<=0则要求g(x)为凸函数，若g(x)>=0则要求g(x)为凹函数。

凸优化的任一局部极值点也是全局极值点，局部最优也是全局最优。

对于稍前所述的公式（SVM的基本型）
                      
与
                      《机器学习》学习笔记（六）——支持向量机（SVM）_第10张图片
使用拉格朗日乘子法可得到其“对偶问题”
对上式的每条约束添加拉格朗日乘子\alpha _{i}\geqslant 0，该问题的拉格朗日函数可写为：
                      
我们希望求解SVM的基本型公式来得到大间隔划分超平面所对应的模型
                         f(x)=\omega ^{T}+b
其中\omega和b是模型参数。
注意到SVM的基本型是一个凸二次规划问题。能直接用现成的优化计算包求解，但我们又更高效的办法。

拉格朗日乘子法

第一步：引入拉格朗日乘子得到拉格朗日函数
               
即
                 《机器学习》学习笔记（六）——支持向量机（SVM）_第11张图片
第二步：令L(\omega ,b,\alpha )对\omega和b的偏导为零可得
                 《机器学习》学习笔记（六）——支持向量机（SVM）_第12张图片
                  0=\sum_{i=1}^{m}\alpha _{i}y_{i}=-\frac{1}{2}w^{T}w+\sum_{i=1}^{m}\alpha _{i}
第三步：回代可得
                  
                   
不难发现，这是一个二次规划问题。
然而，该问题的规模正比于训练样本数，这会在实际任务中造成很大的开销。
为了避开这个方案，人们提出了很多高效算法，SMO是其中一个著名的代表。

解的稀疏性

求出\omega和b后，可得最终模型：
                   

KKT条件：
                   《机器学习》学习笔记（六）——支持向量机（SVM）_第13张图片
对任意样本(x_{i},y_{i})，总有\alpha _{i}=0或y_{i}f(x_{i})=1。
若\alpha _{i}=0，则该样本将不会在式的求和中出现，也就不会对f(x)有任何影响；
若\alpha _{i}>0，则必有y_{i}f(x_{i})=1，所对应的样本点位于最大间隔边界上，是一个支持向量。
支持向量机解的稀疏性: 训练完成后, 大部分的训练样本都不需保留, 最终模型仅与支持向量有关。
重要性质：模型训练完后，大部分的训练样本都不需要保留，最终模型仅仅与支持向量有关。

对偶方法重新求解前面的问题

如下图所示的训练数据集，其正实例点是x_{1}=(3,3)，x_{2}=(4,3)，负实例点是x_{3}=(1,1)
试求其线性可分的支持向量机。
          
解：正实例点是x_{1}=(3,3)，x_{2}=(4,3)
       负实例点是x_{3}=(1,1)
       根据SVM的基本型
        《机器学习》学习笔记（六）——支持向量机（SVM）_第14张图片
       可得：
         

         《机器学习》学习笔记（六）——支持向量机（SVM）_第15张图片
         《机器学习》学习笔记（六）——支持向量机（SVM）_第16张图片
第一步：转化为对偶问题
           由拉格朗日乘子法
            《机器学习》学习笔记（六）——支持向量机（SVM）_第17张图片
            可得（求最小化问题添负号，三个样本故m=3，正样本y=+1，负样本y=-1）
          《机器学习》学习笔记（六）——支持向量机（SVM）_第18张图片
            即
          《机器学习》学习笔记（六）——支持向量机（SVM）_第19张图片
            注：这里赘述一点关于上式中的难点推导：
                    已知正样本1：(x_{1},y_{1})=(3,3)
                           正样本2：(x_{2},y_{2})=(4,3)
                            负样本 ：(x_{3},y_{3})=(1,1)
                    那么\sum_{i=1}^{3}\sum_{j=1}^{3}是将样本全部遍历一遍
                    当i=1，j=1时：
                             \alpha _{1}\alpha _{1}(y_{1}\, y_{2})\binom{x_{1}}{x_{2}}=\alpha _{1}\alpha _{1}(3\, 3)\binom{3}{3}=18\alpha _{1}^{2}
                    就这样将i=1,2,3和y=1,2,3两两组合共九种情况结果相加即可
                    算时唯一一点要注意的是负样本的取值前要添加负号！
第二步：代入约束条件
              
              目标函数变形为：
                
               接下来分别对\alpha _{1},\alpha _{2}求偏导       
              《机器学习》学习笔记（六）——支持向量机（SVM）_第20张图片   
               令上两式均等于0
              《机器学习》学习笔记（六）——支持向量机（SVM）_第21张图片
               由于\alpha _{2}<0，不满足KKT条件第一条，故不符合要求，从而最小值在边界达到；
第三步：利用KKT条件，计算向量\omega
              《机器学习》学习笔记（六）——支持向量机（SVM）_第22张图片
               又由于-\frac{1}{4}<-\frac{2}{13}
              
               根据公式\omega =\sum_{i=1}^{m}\alpha _{i}y_{i}x_{i}可得：
                                        
                对上式计算具体而言，\frac{1}{4}(3,3)-\frac{1}{4}(1,1)=(\frac{1}{2},\frac{1}{2})
第四步：利用KKT条件，计算b
              
              
              《机器学习》学习笔记（六）——支持向量机（SVM）_第23张图片
              《机器学习》学习笔记（六）——支持向量机（SVM）_第24张图片
如果样本变多，人工计算不现实，需要一种高效的计算算法。

3.5 核函数

线性不可分

-Q:若不存在一个能正确划分两类样本的超平面, 怎么办?
-A:将样本从原始空间映射到一个更高维的特征空间, 使得样本在这个特征空间内线性可分.

核支持向量机

设样本x映射后的向量为\phi (x) , 划分超平面

原始问题      《机器学习》学习笔记（六）——支持向量机（SVM）_第25张图片

对偶问题     《机器学习》学习笔记（六）——支持向量机（SVM）_第26张图片

预测        

核函数

基本想法：不显式地设计核映射, 而是设计核函数.

                

Mercer定理(充分非必要)：只要一个对称函数所对应的核矩阵半正定, 则它就能作为核函数来使用.

          《机器学习》学习笔记（六）——支持向量机（SVM）_第27张图片

    《机器学习》学习笔记（六）——支持向量机（SVM）_第28张图片

核函数的注意事项：

核函数选择成为svm的最大变数

经验：文本数据使用线性核，情况不明使用高斯核

核函数的性质：

  • 1 核函数的线性组合仍为核函数
  • 2 核函数的直积仍为核函数
        
  • 3 设k(x_{1},x_{2})为核函数，则对于任意函数g
         

3.6 软间隔与正则化

软间隔

-Q:现实中, 很难确定合适的核函数使得训练样本在特征空间中线性可分; 同时一个线性可分的结果也很难断定是否是有过拟合造成的.
-A:引入”软间隔”的概念, 允许支持向量机在一些样本上不满足约束.

     《机器学习》学习笔记（六）——支持向量机（SVM）_第29张图片

0/1损失函数

基本想法：最大化间隔的同时, 让不满足约束的样本应尽可能少.
          《机器学习》学习笔记（六）——支持向量机（SVM）_第30张图片
正则化常数C>0，如果C→\propto，则等价于要求所有的样本点都分类正确，否则就允许一部分极少的样本分类错误

其中l_{0/1}是”0/1损失函数”
            《机器学习》学习笔记（六）——支持向量机（SVM）_第31张图片

存在的问题：0/1损失函数非凸、非连续, 不易优化！

替代损失

《机器学习》学习笔记（六）——支持向量机（SVM）_第32张图片

软间隔支持向量机

           《机器学习》学习笔记（六）——支持向量机（SVM）_第33张图片

原始问题
             《机器学习》学习笔记（六）——支持向量机（SVM）_第34张图片

引入“松弛变量”\xi _{i}
             

注：每一个样本都对应一个松弛变量\xi _{i}，用以表征该样本不满足约束y_{i}f(x_{i})\geq 1的程度。

软间隔与松弛向量

超平面方程:

《机器学习》学习笔记（六）——支持向量机（SVM）_第35张图片

《机器学习》学习笔记（六）——支持向量机（SVM）_第36张图片

                 《机器学习》学习笔记（六）——支持向量机（SVM）_第37张图片     

   《机器学习》学习笔记（六）——支持向量机（SVM）_第38张图片

       《机器学习》学习笔记（六）——支持向量机（SVM）_第39张图片

                   《机器学习》学习笔记（六）——支持向量机（SVM）_第40张图片

求解软间隔问题：

构造Lagrange 函数
                 

分别对变量求导，并令其为0，得到
              《机器学习》学习笔记（六）——支持向量机（SVM）_第41张图片

原始问题
               《机器学习》学习笔记（六）——支持向量机（SVM）_第42张图片

《机器学习》学习笔记（六）——支持向量机（SVM）_第43张图片

根据KKT条件可推得最终模型仅与支持向量有关, 也即hinge损失函数依然保持了支持向量机解的稀疏性.

软间隔支持向量机KKT条件

《机器学习》学习笔记（六）——支持向量机（SVM）_第44张图片
《机器学习》学习笔记（六）——支持向量机（SVM）_第45张图片

★软间隔支持向量机有稀疏性

正则化

支持向量机学习模型的更一般形式

         

通过替换上面两个部分, 可以得到许多其他学习模型：对数几率回归(Logistic Regression)、最小绝对收缩选择算子(LASSO) ……

3.7 支持向量回归

支持向量回归机--SVR

对于有限个样本组成的训练集来说，一定存在一个带状区域包含所有的样本点。并且这样的带状区域有无穷多个，宽度最小的带状区域才是我们关心的。
            《机器学习》学习笔记（六）——支持向量机（SVM）_第46张图片

当带状区域很大，所得的回归模型不精确，此时允许模型输出和实际输出间存在2\epsilon的偏差.
    《机器学习》学习笔记（六）——支持向量机（SVM）_第47张图片

损失函数

落入中间2\epsilon间隔带的样本不计算损失, 从而使得模型获得稀疏性.
                《机器学习》学习笔记（六）——支持向量机（SVM）_第48张图片

★支持向量分类支持向量在线上面
   支持向量回归支持向量在线外面

3.8 核方法

表示定理

结论: 无论是支持向量机还是支持向量回归, 学得的模型总可以表示成核函数的线性组合.

更一般的结论(表示定理): 对于任意单调增函数\Omega和任意非负损失函数, 优化问题
                       
的解总可以写为
                       《机器学习》学习笔记（六）——支持向量机（SVM）_第49张图片       

核线性判别分析

通过表示定理可以得到很多线性模型的”核化”版本

  • 核SVM
  • 核LDA
  • 核PCA
  • ……

核LDA: 先将样本映射到高维特征空间, 然后在此特征空间中做线性判别分析     
                       《机器学习》学习笔记（六）——支持向量机（SVM）_第50张图片        .

回顾总结

  • 支持向量机的”最大间隔”思想
  • 对偶问题及其解的稀疏性
  • 通过向高维空间映射解决线性不可分的问题
  • 引入”软间隔”缓解特征空间中线性不可分的问题
  • 将支持向量的思想应用到回归问题上得到支持向量回归
  • 将核方法推广到其他学习模型

欢迎留言，一起学习交流~~~

感谢阅读

END

你可能感兴趣的:(《机器学习》学习笔记,机器学习,SVM,支持向量机,学习笔记)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首 张三叨
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • 语文主题教学学习笔记之87 东哥杂谈
    “语文主题教学”学习笔记之八十七（0125）今天继续学习小学语文主题教学的实践样态。板块三：教学中体现“书艺”味道。作为四大名著之一的《水浒传》，堪称我国文学宝库之经典。对从《水浒传》中摘选的单元，教师就要了解其原生态，即评书体特点。这也要求教师要了解一些常用的评书行话术语，然后在教学时适时地加入一些，让学生体味其文本中原有的特色。学生也要尽可能地通过朗读的方式，而不单是分析讲解的方式进行学习。细
  • 遥感影像的切片处理 sand&wich 计算机视觉python图像处理
    在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
  • 《转介绍方法论》学习笔记 小可乐的妈妈
    一、高效转介绍的流程：价值观---执行----方案一）转介绍发生的背景：1、对象：谁向谁转介绍？全员营销，人人参与。①员工的激励政策、客户的转介绍诱因制作客户画像：a信任；支付能力；意愿度；便利度（根据家长具备四个特征的个数分为四类）B性格分类C职业分类D年龄性别②执行：套路，策略，方法，流程2、诱因：为什么要转介绍？认同信任；多方共赢；传递美好；零风险承诺打动人心，超越期待。选择做教育，就是选择
  • JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式androidjava常用设计模式
    博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
  • ai绘画工具midjourney怎么下载？附作品管理教程 设计师早上好
    Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
  • [实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估pytorchpython机器学习
    文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
  • 新能源汽车 BMS 学习笔记篇—BMS 基本定义及分类 WPG大大通 其他笔记汽车BMS经验分享新能源电池
    一、BMS定义1、概念：BMS（BatteryManagementSystem）即电池管理系统，其管理对象是二次电池（充电电池或蓄电池），其主要目的是电池的利用率，防止电池出现过度充电和过度放电，可应用于电动汽车、电瓶车、机器人、无人机等图片来源：腾讯网https://new.qq.com《标准普尔警告，电动汽车电池生产面临供应链和地缘政治风险》2、四大功能①感知和测量：检测电池的电压、电流、温度
  • 机器学习-聚类算法 不良人龍木木 机器学习机器学习算法聚类
    机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
  • 未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
  • 吴恩达深度学习笔记(30)-正则化的解释 极客Array
    正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
  • 个人学习笔记7-6：动手学深度学习pytorch版-李沐 浪子L 深度学习深度学习笔记计算机视觉python人工智能神经网络pytorch
    #人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
  • python中zeros用法_Python中的numpy.zeros()用法 江平舟 python中zeros用法
    numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
  • 【NumPy】深入解析numpy.zeros()函数 二七830 numpy
    欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
  • 【中国国际航空-注册_登录安全分析报告】 风控牛 验证码接口安全评测系列安全行为验证极验网易易盾智能手机
    前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
  • 机器学习 流形数据降维：UMAP 降维算法 小嗷犬 Python机器学习#数据分析及可视化机器学习算法人工智能
    ✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
  • 七.正则化 愿风去了
    吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
  • 机器学习-------数据标准化 罔闻_spider 数据分析算法机器学习人工智能
    什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
  • golang学习笔记--MPG模型 xxzed golang#学习笔记学习笔记golang
    MPG模式：M（Machine）：操作系统的主线程P（Processor）：协程执行需要的资源（上下文context），可以看作一个局部的调度器，使go代码在一个线程上跑，他是实现从N：1到N：M映射的关键G（Goroutine）：协程，有自己的栈。包含指令指针（instructionpointer）和其它信息（正在等待的channel等等），用于调度。一个P下面可以有多个G1、当前程序有三个M,
  • 碎片化学习笔记分享 剑客写作
    现在生活节奏很快，学习力成为了我们拥有的最大财富。碎片化学习是最好的。首先，不要太过自信，学会虚心学习，是我们面对现实的好方法，才能够常保新鲜。平时我们要拥有什么工具呢？1.思维导图2.写在印象笔记里3.听书，消燥耳机4.教学输出5.录音笔里面最好的方式就是教学输出法，记忆里最好。当输出时我们集中精力记忆里最好。有人认为缩短睡眠时间来学习，其实最好的方式是保持最好的睡眠，记忆力会更好。剥夺睡眠，会
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • 两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑python开发语言
      Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。  Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。  Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
  • 《随园诗话》学习笔记三百零六 飞鸿雪舞
    卷五凡诗之传者，都在灵性五、五斗米与诗【原文】丁丑，余觅一抄书人，或荐黄生，名之纪，号星岩者，人甚朴野。偶过其案头，得句云；“破庵僧卖临街瓦，独井人争向晚泉。”余大奇之，即饷米五斗。自此欣然大用力于诗。五言句云：“云开日脚直，雨落水纹圆。竹锐穿泥壁，蝇酣落酒尊。钓久知鱼性，樵多识树名。笔残芦并用，墨尽指同磨。＂七言云：＂小窗近水寒偏觉，古木遮天曙不知。旧生萍处泥犹绿，新落花时水亦香。旧甓恐闲都贮水
  • D15 论语学习笔记 许小兔Angelina
    悟：上级对下级的宽容：凡事成定局，就不你说了；已接近完结的事，也没必要匡正和挽回了；既然是过去的事，也没必要追究得失和责任了。对待孩子教育也是，不用“问责制”，这样容易让孩子因为害怕担责而说谎。应当循循善诱，避免再犯错才是最重要的。3.16：【原文】子曰：“射不主皮，为力不同科，古之道也。”【译文】孔子说：“射箭比赛不以射透为主，而主要看是否射得准确，因为人的力量不同，自古如此。”3.17：【原文
  • JAVA中的Enum 周凡杨 javaenum枚举
    Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中，有些变量的取值被限定在一个有限的范围内。     例如，一个星期内只有七天 我们通常这样实现上面的定义： public String monday; public String tuesday; public String wensday; public String thursday
  • 赶集网mysql开发36条军规 Bill_chen mysql业务架构设计mysql调优mysql性能优化
    (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层； (2)控制单表数据量    int型不超过1000w，含char则不超过500w；    合理分表；    限制单库表数量在300以内； (3)控制列数量    字段少而精，字段数建议在20以内
  • Shell test命令 daizj shell字符串test数字文件比较
    Shell test命令 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 实例演示： num1=100 num2=100if test $[num1]
  • XFire框架实现WebService(二) 周凡杨 javawebservice
       有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。 Webservice的服务端(WEB工程)： 两个java bean类： Course.java    package cn.com.bean; public class Course {     private
  • 重绘之画图板 朱辉辉33 画图板
           上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。        画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
  • Java的IO流 西蜀石兰 java
    刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。 每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。 IO流作用是什么？ 答：实现对文件的读写，这里的文件是广义的； Java如何实现程序到文件
  • No matching PlatformTransactionManager bean found for qualifier 'add' - neither 林鹤霄
    java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!   网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
  • Row size too large (> 8126). Changing some columns to TEXT or BLOB aigo column
    原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large   异常信息： Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
  • JS 格式化时间 alxw4616 JavaScript
    /** * 格式化时间 2013/6/13 by 半仙 [email protected] * 需要 pad 函数 * 接收可用的时间值. * 返回替换时间占位符后的字符串 * * 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数 * 如 YYYY 4占4位 YY 占2位<p></p> * MM DD hh mm
  • 队列中数据的移除问题 百合不是茶 队列移除
         队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除,  代码如下;      // package com.Thread0715.com; import java.util.ArrayList; public class Threa
  • Runnable接口使用实例 bijian1013 javathreadRunnablejava多线程
    Runnable接口 a.       该接口只有一个方法：public void run(); b.       实现该接口的类必须覆盖该run方法 c.       实现了Runnable接口的类并不具有任何天
  • oracle里的extend详解 bijian1013 oracle数据库extend
    扩展已知的数组空间，例： DECLARE TYPE CourseList IS TABLE OF VARCHAR2(10); courses CourseList; BEGIN -- 初始化数组元素，大小为3 courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 '); --
  • 【httpclient】httpclient发送表单POST请求 bit1129 httpclient
    浏览器Form Post请求 浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求 1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据 2. Form
  • 【Hive十三】Hive读写Avro格式的数据 bit1129 hive
     1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORE
  • nginx+lua+redis自动识别封解禁频繁访问IP ronin47
    在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段 内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。 一、安装环境： CentOS x64 release 6.4(Fin
  • java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历 bylijinnan java
    import java.util.LinkedList; import java.util.List; import java.util.Stack; public class BinTreeTraverse { //private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 }; private int[] array={ 10,6,
  • Spring源码学习-XML 配置方式的IoC容器启动过程分析 bylijinnan javaspringIOC
    以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍： ApplicationContext context = new FileSystemXmlApplicationContext ("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
  • [科研与项目]民营企业请慎重参与军事科技工程 comsci 企业
         军事科研工程和项目 并非要用最先进，最时髦的技术，而是要做到“万无一失”    而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
  • spring 定时器-两种方式 cuityang springquartz定时器
    方式一： 间隔一定时间 运行 <bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" /> <bean id="updateSessionIdSchedule
  • 简述一下关于BroadView站点的相关设计 damoqiongqiu view
    终于弄上线了，累趴，戳这里http://www.broadview.com.cn   简述一下相关的技术点   前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。   后端：U
  • 运维 PHP问题汇总 dcj3sjt126com windows2003
    1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页 解决方法： 后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。 后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。   2、解决PHP168超级管理员上传图片提示你的空间不足 网站是用PHP168做的，反映使用管理员在后台无法
  • mac 下 安装php扩展 - mcrypt dcj3sjt126com PHP
    MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下： 下载并解压libmcrypt-2.5.8.tar.gz。 在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
  • MongoDB更新文档 [四] eksliang mongodbMongodb更新文档
    MongoDB更新文档 转载请出自出处：http://eksliang.iteye.com/blog/2174104 MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。 语法结构如下： db.collection.update( criteria, objNew, upsert, multi) 参数含义 参数   
  • Linux下的解压，移除，复制，查看tomcat命令 y806839048 tomcat
    重复myeclipse生成webservice有问题删除以前的，干净 1、先切换到：cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。 有问题不明的先注掉   cp /opt/tomcat-6.0.44/webapps/g
  • Spring之使用事务缘由(3-XML实现) ihuning spring
      用事务通知声明式地管理事务   事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
  • GCD使用经验与技巧浅谈 啸笑天 GC
    前言 GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。 dispatch_once_t必须是全局或static变量 这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1
  • linux（Ubuntu）下常用命令备忘录1 macroli linux工作ubuntu
    在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息：  ls / 显示/.下的所有文件和目录  ls -l 给出文件或者文件夹的详细信息 ls -a 显示所有文件，包括隐藏文
  • nodejs同步操作mysql qiaolevip 学习永无止境每天进步一点点mysqlnodejs
    // db-util.js var mysql = require('mysql'); var pool = mysql.createPool({ connectionLimit : 10, host: 'localhost', user: 'root', password: '', database: 'test', port: 3306 });
  • 一起学Hive系列文章 superlxw1234 hiveHive入门
      [一起学Hive]系列文章 目录贴，入门Hive，持续更新中。   [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive
  • Spring开发利器：Spring Tool Suite 3.7.0 发布 wiselyman spring
    Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。   在3.7.0版本主要做了如下的更新：   将eclipse版本更新至Eclipse Mars 4.5 GA Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他