Umikaze_

吴恩达机器学习入门笔记

一、绪论

1、监督学习：根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。

监督学习包括回归和分类

理解：监督学习中训练数据既有特征又有标签，通过学习，让机器在面对只有特征没有标签的数据时，可以判断出标签。

举例：①【回归】房子大小（特征），预测房价（标签）

②【分类】肿瘤大小（特征），预测肿瘤是否良性（标签）

2、无监督学习：我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。

理解：只有特征，没有标签，根据特征值用聚类算法将数据划分为不同的簇

二、单变量线性回归

1、常用符号定义：

m：训练样本数

：第 i 个训练集实例，x是特征(输入变量)，y是标签(输出变量)

h：h代表学习算法的假设方案

θ：模型参数

2、代价函数

令 $h_{\theta}(x)=\theta_{0} + \theta_{1}x$

希望建模误差的平方和能够最小

于是代价函数

$J(\theta_{0},\theta_{1})=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$

3、梯度下降算法

想让J最小，类似于下山

单元梯度下降算法描述：

给 θ0、θ1一个初始值，比如 θ0=θ1=0

然后不断循环让

$\theta_{0}=\theta_{0}-\alpha \frac{\partial J(\theta_{0},\theta_{1})}{\partial \theta_{0}}=\theta_{0}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{ (i)})-y^{(i)})$

$\theta_{1}=\theta_{1}-\alpha \frac{\partial J(\theta_{0},\theta_{1})}{\partial \theta_{1}}=\theta_{1}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{ (i)})-y^{(i)})x^{(i)}$

直到偏导均为 0

其中 α 是学习率

地图下降运行的图像类似这样

当然学高数知道我们这样求的一定是极小值点，不一定是最小值

在这个例子中，实际的最小值是下图那样的，而上图只是一个极小值

很显然的是，这个是与起始点有关的

但是无所谓，单变量线性回归的代价函数图像一定是凸函数，像下面这样，所以求出来的一定是最小值，不用担心

关于学习率α

以抛物线为例

α太小，那肯定慢

α太大，就越过最低点了，来回窜，当然也慢，甚至可能无法收敛到最低点

关于 α 的大小，一般选取 0.001，再根据具体情况进行调整即可

三、线性代数回顾

1、矩阵A、列向量 $\alpha$ 、行向量 $\alpha^T$

2、矩阵加法：对应相加就完事了

3、标量乘：矩阵每个数都和那个标量乘一下就完事了

4、矩阵乘法：

E用来表示主对角线都为1的矩阵

5、矩阵的逆：满足A是个方阵，且 $AA^{-1}=A^{-1}A=E$ ，则A有逆矩阵 $A^{-1}$

6、矩阵的转置：矩阵A，，满足，则是A的转置

五、多变量线性回归

1、常用符号定义：

n：特征数n

m：训练样本数m

$x^{(i)}_{j}$ ：第 i 个样本的第 j 个特征

$x^{(i)}=[x^{(i)}_{1},x^{(i)}_{2},...,x^{(i)}_{n}]^T_{n\times1}$ ：第 i 个样本的特征

$y^{(i)}$ ：第 i 个标签

$\theta=[\theta_{0},\theta_{1},...,\theta_{n}]^T_{(n+1)\times1}$ ：模型参数

学习算法假设方案： $h_{\theta}(x)=\theta_{0}+\theta_{1}x_{1}+...+\theta_{n}x_{n}=\sum_{j=0}^{n}(\theta_{j}x_{j})=\theta^{T}x$

其中， $x=[x_{0},x_{1},x_{2},...,x_{n}]^T_{(n+1)\times1}$ ，其中 $x_{0}=1$

2、代价函数

$J(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$

3、多元梯度下降

和单元一个道理

多元梯度下降算法描述：

给 θ 一个初始值，比如 $\theta=[0,0,...,0]^T$

然后不断循环让

$\theta_{j}=\theta_{j}-\alpha \frac{\partial J(\theta)}{\partial \theta_{j}}=\theta_{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{ (i)})-y^{(i)})x_{j}^{(i)}\,\,\,\,,(j=0,1,...,n)$

直到偏导均为 0

其中 α 是学习率

4、特征缩放

基于代价函数的登高线图来分析

圆一些收敛得会更快

椭圆一些就很慢

所以可以把每个特征值缩放到比如 -1 到 +1 之间，并保持原有样本特性

特征缩放方法举例：

①令 $x_{j}=\frac{x_{j}}{s_{j}}\,\,,\,s_{j}=max(x_{j})-min(x_{j})$ ，sj 也就是极差，除以极差按比例缩放

②均值归一化，令 $x_{j}=\frac{x_{j}-\mu _{j}}{s_{j}}$ ，μj是xj的样本均值，sj是xj的极差或标准差

5、学习率α

太小：慢

太大：也会慢，而且会出现不收敛的情况

选择学习率的方法

①自动收敛测试：指定ε，比如0.001，代价函数变化幅度小于ε说明收敛

②直接观察图像(推荐)

6、特征和多项式

有的时候可能用线性回归方程拟合的不好

可能用非线性的曲线，用多项式回归去拟合更好一些

比如想用单元多项式回归 $h_{\theta}(x)=\theta_{0}+\theta_{1}x+\theta_{2}x^2+\theta_{3}x^3$ 去拟合

解决的时候，我们可以将其转化为多元线性回归去处理，把x^2视作一个特征，把x^3视作一个特征

让 $h_{\theta}(x)=\theta_{0}+\theta_{1}x+\theta_{2}x^2+\theta_{3}x^3$ 变为 $h_{\theta}(x)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+\theta_{3}x_{3}$

7、正规方程

希望 $J(\theta)$ 最小，换言之就是每个偏导都等于0，这也是我们梯度下降所做的

梯度下降是通过迭代，不断地改变θ的值，来找到我们想要的θ

而我们也可以直接解偏导=0的方程组

$\frac{\partial J(\theta)}{\partial \theta_{j}}=0\,\,,j=0,1,...,n$

求解比较复杂，所以直接看结果就好

正规方程求模型参数的解：

$\theta=(X^TX)^{-1}X^Ty$

其中，

$X=\begin{bmatrix} (x^{(1)})^T\\ (x^{(2)})^T\\ .\\ .\\ .\\ (x^{(m)})^T \end{bmatrix} =\begin{bmatrix} x_{0}&x^{(1)}_{1} &x^{(1)}_{2} & . &. &. &x^{(1)}_{n} \\ x_{0}&x^{(2)}_{1} &x^{(2)}_{2} & . &. &. &x^{(2)}_{n} \\.& .& .& . & .& .& .\\ .&. & . & .& . & . &. \\ .&. &. & .& . & . & .\\ x_{0}&x^{(m)}_{1} &x^{(m)}_{2} & . &. &. &x^{(m)}_{n} \end{bmatrix}_{m\times (n+1)}$

$y=[y^{(1)},y^{(2)},...y^{(m)}]^T_{m\times1}$

8、正规方程在矩阵不可逆下的解决方法

$X^{T}X$ 不可逆的可能原因：

①有冗余特征：比如有房屋面积()这个特征，又有房屋面积()这个特征

②特征数太多：比如 m<=n 的情况

解决方法：

Octave中，inv(X)表示X的逆矩阵，pinv(X)表示X为伪逆矩阵，在X逆矩阵不存在时，pinv(X)求出的伪逆矩阵用于计算中，可以得到正确的结果

七、逻辑回归

如图，第一次课的肿瘤问题，它是一个二分类问题

我们用线性回归去拟合的话明显不好

最右边那个超级大的肿瘤显然就是恶性的，按斜着那个回归直线看就是良性了

明显用一道竖线直接分两半还要更好

1、假设陈述

可以观察到直接用线性回归问题就出在，它的输出结果可以大于1，可以无限无限地大，从y=1开始的对应的横坐标x，往右边的全都是预测错误

所以问题的解决方法就是给输出结果限制在 [0,1]

我们原来线性回归的假设函数是 $h_{\theta}(x)=\theta^{T}x$

我们再套一个函数限制下输出结果范围就好，结论是如下这样：

$h_{\theta}(x)=g(\theta^{T}x)$

$g(z)=\frac{1}{1+e^{-z}}$

$h_{\theta}(x)\geq 0.5$ 时输出

$h_{\theta}(x) < 0.5$ 时输出

g(z)称作sigmoid函数

假设的输出 $h_{\theta}(x)$ 实际上就是 的概率

图像示例

2、决策界限

比方说 $h_{\theta}(x)=g(-3+x_{1}+x_{2})$

根据 g 的函数图线我们知道

$x_{1}+x_{2}\geq3$ 时，

$x_{1}+x_{2}<3$ 时，

于是决策界限就是 $x_{1}+x_{2}=3$ 这条直线

对于复杂的 h 也会有各种复杂的决策界限

3、代价函数

为了保证 $J(\theta)$ 是一个凸函数

和线性回归相比，改写作了如下形式

$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}(Cost(h_{\theta}(x^{(i)}),y^{(i)}))$

其中， $Cost(h_{\theta}(x),y)=\left\{\begin{matrix} -log(h_{\theta}(x))\,\,\,\,,\,if(y=1)\\ -log(1-h_{\theta}(x))\,\,\,\,,\,if(y=0) \end{matrix}\right.$

简写为，

$J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}y^{(i)}log\,h_{\theta}(x^{(i)})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))$

Cost函数的图像

4、梯度下降算法

和线性回归的结果完全一致

repeat

$\theta_{j}=\theta_{j}-\alpha \frac{\partial J(\theta)}{\partial \theta_{j}}=\theta_{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{ (i)})-y^{(i)})x_{j}^{(i)}\,\,\,\,,(j=0,1,...,n)$

5、多分类问题

比方说三个类别，怎么办呢

实际上用二分类就能做了

转换成是和不是的问题，是A还是不是A，这样就是二分类了

三个类做三次二分类就可以了，如图所示

八、正则化

1、欠拟合过拟合问题

特征量介次太低，容易欠拟合

特征量介次过高，或者单纯特征数量很多，容易过拟合

解决过拟合的方法：

①减少特征数量

a.手动选择保留哪些特征

b.模型选择算法

②正则化：保留所有特征，但减少量级或模型参数 $\theta_{j}$ 的大小

2、正则化减小 $\theta_{j}$

如图所示，代价函数中加上了 $1000\theta_{3}^{2}$ 和 $1000\theta_{4}^{2}$ 的项

叫作正则化项，是一个惩罚项， $\lambda=1000$ 叫作正则化参数

我们希望代价函数最小，于是这样 $\theta_{3}$ 和 $\theta_{4}$ 就得小，对曲线影响变小，就不会过拟合了

正常来说，我们会选择对 $\theta_{1}$ 到 $\theta_{n}$ 进行正则化，肯定不会选择 $\theta_{0}$ ，全都约等于 0 就没意义了

然后 $\lambda$ 太大的话其实也没意义了，假设方法就变成了 $h_{\theta}(x)=\theta_{0}$ 了

当然正则化项也并不是说非得从 $\theta_{1}$ 开始，一般是 1 到 n 就是了

3、梯度下降算法

前面学过线性回归和逻辑回归偏导求出来是一样的，这里还是一样的

正则化后的梯度下降算法：

repeat

$\theta_{0}=\theta_{0}-\alpha \frac{\partial J(\theta_{0},\theta_{1})}{\partial \theta_{0}}=\theta_{0}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{ (i)})-y^{(i)})x_{0}^{(i)}$

$\theta_{j}=\theta_{j}-\alpha \frac{\partial J(\theta)}{\partial \theta_{j}}=\theta_{j}-\alpha[\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{ (i)})-y^{(i)})x_{j}^{(i)}+\frac{\lambda}{m}\theta_{j}]\\ \indent\,\,\,\,\,=\theta_{j}(1-\alpha\frac{\lambda}{m})-\alpha[\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{ (i)})-y^{(i)})x_{j}^{(i)}\,\,\,\,,(j=1,...,n)$

把惩罚项提出来，然后提出 $\theta_{j}$ 得到下面的式子

$1-\alpha\frac{\lambda}{m}$ 略小于 1

可以看到，减法前半部分相当于对 $\theta_{j}$ 进行缩放

减法后半部分减去的就是我们原来梯度下降减去的式子

4、线性回归的正则化

代价函数：

$J(\theta)=\frac{1}{2m}[\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}\theta_{j}^{2}]$

正规方程解模型参数 θ：

$\theta=(X^TX+\lambda\begin{bmatrix} 0& & & & & & \\ & 1& & & & & \\ & & 1& & & & \\ & & & .& & & \\ & & & & .& & \\ & & & & & .& \\ & & & & & & 1 \end{bmatrix}_{(n+1)\times (n+1)})^{-1}X^Ty$

在 $\lambda > 0$ 时

$X^TX+\lambda\begin{bmatrix} 0& & & & & & \\ & 1& & & & & \\ & & 1& & & & \\ & & & .& & & \\ & & & & .& & \\ & & & & & .& \\ & & & & & & 1 \end{bmatrix}_{(n+1)\times (n+1)}$ 一定可逆

当然正常来讲 $\lambda$ 肯定是大于 0 的，因为要让 $\theta$ 变小嘛

所以说正则化也可以用来解决不可逆的问题

5、逻辑回归的正则化

代价函数：

$J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}y^{(i)}log\,h_{\theta}(x^{(i)})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))+\frac{\lambda}{2m}\sum_{j=1}^{n}\theta_{j}^{2}$

九、神经网络学习

1、非线性假设

之前我们的非线性特征都是类似 $x_{1}^{2}$ 这样

当然也有 $x_{1}x_{2}$ 这种形式

如果是后者，特征就很多了，光是二次项个数就 $O(n^{2})$ 了

所以显然不能用回归算法解决

2、神经网络基本概念

神经网络的发明基于生物上的神经元和神经网络的启发

逻辑单元：

$x_{1},x_{2},x_{3}$ 都叫作输入单元

$h_{\theta}(x)$ 称作输出结果

有必要的时候加入 $x_{0}$ ，称作偏置单元或偏置神经元

这是一个带有 sigmoid 或者 logistic激活函数的人工神经元

也就是指带有 $g(z)=\frac{1}{1+e^{-z}}$

$\theta$ 依然可以叫作模型参数，也可以叫作模型的权重

神经网络其实就是一组神经元连接在一起的集合，如图所示

其中的第一层称作输入层，第三层称作输出层，第二层称作隐藏层

当然可能不止三层，中间的那些层都称作隐藏层，中间的单元称作隐藏单元

$a_{i}^{(j)}$ 称作第 j 层第 i 个单元的激活项

$\Theta^{(j)}$ 称作第 j 层向第 j+1 层映射的权重，换句话说就是第 j 层的单元作自变量的方程所用到的参数

举个例子，比如 $\Theta_{30}^{(1)}$ 就是第 1 层的求第2层第三个中间单元 $a_{3}^{(2)}$ 的 $x_{0}$ 的参数

观察 $\Theta_{10}^{(2)}a_{0}^{(2)}$ 可以看到列下标和层上标的对应

然后如果 j 层有 $s_{j}$ 个单元，j+1层 $s_{j+1}$ 个

那么 $\Theta$ 的维度就是 $s_{j+1}\times (s_{j}+1)$ ，当然这是因为有偏置单元，不然应该写作 $s_{j+1}\times s_{j}$

一般来讲总是会有偏置单元的，但是图里省略了，因为没画出来所以个数也就没算进单元个数里

$\Theta$ 的一行就是一个方程的参数，也就是对应求解下一层的一个单元

$\Theta$ 的一行就是在给一个方程配参数，所以这一行的参数个数，也就是列数，就是自变量个数，即本层的单元个数

于是 $\Theta$ 的维度就是 $s_{j+1}\times (s_{j}+1)$

如图所示，我们将这样的方程简记作了 $z^{(2)}_{1}$ ，代表求第 2 层第 1 个激活项的方程

求第 2 层的激活项的方程组 $\Theta^{(1)}x$ 简单记作了 $z^{(2)}$

更一般的写法，

$z^{(j)}=\Theta^{(j-1)}a^{(j-1)}$

$a^{(j)}=g(z^{(j)})$

3、神经网络的使用实例

当然神经元就是逻辑回归就是了

不妨考虑如何用逻辑回归实现异或运算

很麻烦，不好实现

如果将异或展开成与和或的运算，用几个神经元去实现那就简单了

这样一个例子就表明了神经网络的价值，用一个逻辑回归表示起来很复杂甚至表示不了

用多个逻辑回归神经元结合起来组成神经网络就可以很好地解决

再比如多分类问题，比如10个手写数字，用二分类你得写10次逻辑回归，而神经网络就一次性解决了

十、神经网络参数的反向传播算法

1、代价函数

一共 L 层，第 L 层输出层有 $s_{L}$ 个激活项，特别地，我们将其记作 K

对于分类问题

二分类，K=1 即可

多分类，K>=3，K 等于分类数

如下图是一个例子，对于输出向量，第几个输出标签是1，那他就是第几个类别

神经网络的代价函数（带正则化）：

$h_{\Theta}(x)\in R^{K}$ $(h_{\Theta}(x))_{k} = k^{th}\,output$

$J(\Theta)=-\frac{1}{m}\sum_{i=1}^{m}\sum_{k=1}^{K}y_{k}^{(i)}log(h_{\Theta}(x^{(i)}))_{k}+(1-y^{(i)}_{k})log(1-(h_{\Theta}(x^{(i)}))_{k})+\frac{\lambda}{2m}\sum_{l=1}^{L}\sum_{i=1}^{s_{k}}\sum_{j=1}^{s_{l+1}}(\Theta_{ji}^{(l)})^{2}$

2、反向传播算法

按之前讲过的，正向传播逐层求激活项如下

用 $\delta_{j}^{(l)}$ 表示第 l 层第 j 个结点的误差

反向传播求误差如下

反向传播算法：

3、梯度检测

梯度下降过程中，看上去代价在不断减小，但最终得到的可能不是最优解

然后我们就需要用梯度检测的方法

选取离当前的 $\Theta$ 很近的两个点，求一下斜率是否约等于偏导值

一般取 $\epsilon=10^{-4}$ 取 $\Theta-\epsilon$ 和 $\Theta+\epsilon$ 对应的两点

看是否 $\partial\frac{J(\Theta)}{\Theta}\approx \frac{J(\Theta+\epsilon)-J(\Theta-\epsilon)}{2\epsilon}$

展开来看就是这样

4、随机初始化

对于神经网络，θ全都初始化成 0 是不行的

一般我们将其初始化为 $(-\epsilon,\epsilon)$ 之间的随机值，再使用反向传播算法等训练模型

十一、应用机器学习的建议

1、评估假设

如果只是评估一个假设是否过拟合

我们用

70%的数据作训练集

30%的数据作测试集

看在测试集上跑的误差大小

注意保证训练集合测试集均包含各种类型的数据，先对数据“洗牌”，再分成两个集合

计算误差的方式：

1.对线性回归，用测试集数据计算出的代价函数 $J(\theta)$ 作误差

$J(\theta)=\frac{1}{2m_{test}}\sum_{i=1}^{m_{test}}(h_{\theta}(x_{test}^{(i)})-y_{test}^{(i)})^2$

2.对逻辑回归，两种方式

①用测试集计算代价函数 $J(\theta)$ 作误差

$J(\theta)=-\frac{1}{m_{test}}\sum_{i=1}^{m_{test}}y_{test}^{(i)}log\,h_{\theta}(x_{test}^{(i)})+(1-y_{test}^{(i)})log(1-h_{\theta}(x_{test}^{(i)}))$

②使用误分类比率 Testerror 作误差

$err(h_{\theta}(x),y)=\left\{\begin{matrix} 1\,\,\,\,\,,if\,(h(x)\geq 0.5\,\,and\,\,y=0)\,\,or\,\,\,if\,(h(x)<0.5\,\,and\,\,y=1)\\ 0\,\,\,\,\,,else \end{matrix}\right.$

$Testerror=-\frac{1}{m_{test}}\sum_{i=1}^{m_{test}}err(h_{\theta}(x_{test}^{(i)}),y_{test}^{(i)})$

2、模型的选择和交叉验证集

前面讲了评估一个假设是否过拟合

我们用测试集测试看误差大小就好

但是如果是你要选择一个假设模型

只用这样一个测试集看误差肯定是不好的

换言之你只是针对于测试集上跑怎么样而去选择的

你在别的样本上跑未必好，泛化能力未必强

于是我们用到了交叉验证集（cross validation 简写作 cv）

60%的数据作训练集，20%的数据作交叉验证集，20%的数据作测试集

用训练集训练出 n 个模型

用交叉验证集求交叉验证误差，优先选择交叉验证误差最小的那个模型

然后再用测试集求推广误差，进行最终确认选还是不选，推广误差作为模型好好评判的最终标准

个人的理解就是二次验证，或者二次测试，测一次不一定具有普遍性，那就测两次

3、诊断偏差(bias)和方差(viriance)

假设中多项式的最高次数记作 d

欠拟合是偏差大

过拟合是方差大（方差越小越稳定，方差越大波动越大）

我们常常把训练集和交叉验证集的误差与多项式最高次数的关系放在一张图中去考察

如图，

训练集误差和交叉验证集误差近似时：偏差大、欠拟合

交叉验证集误差远大于训练集误差时：方差大、过拟合

4、正则化和偏差、方差

同样，对于一个确定了多项式的模型，λ 的大小也会引起过拟合欠拟合

λ太大，θ基本就全是0了，一条横线，误差极大

λ太小，就没起到对高次方项的惩罚作用，方差极大，于是就过拟合了

也是像选多项式一样，我们选 λ 也用交叉验证的方式做就好

一般来讲 λ 通常取 0-10 之间的呈现 2 倍关系的值

如：0，0.01，0.02，0.04，0.08，0.15，0.32，0.64，1.28，2.56，5.12，10 （共 12 个）

5、学习曲线

误差error关于训练集大小m的曲线

随m增大，训练集偏差逐渐增大

随m增大，交叉验证集方差逐渐减小，因为交叉验证集体现的是泛化能力

当m无穷大时，训练集偏差和交叉验证集方差将趋近相等，毕竟无穷大这时候训练集和交叉验证集特性就趋近一样了，说成就像同一个集合也无妨

我们的训练集大小一般是相对来讲比较大的状态

如上图所示，学习曲线中，右侧红色箭头的位置大概就是平常的m对应的位置，这里的误差就是我们求出的交叉验证方差和训练集误差

学习曲线长成这样就可以确认误差和方差是比较合适的

下图是高误差的情形，可以看到方差误差很快就趋近相等了

下面是高方差的情形，可以看到得m非常非常大，二者才会趋近到一起

十二、机器学习系统设计

1、误差分析

推荐方法：

拿到一个问题，先通过一个简单的算法来快速地实现

画出相应的学习曲线来找出算法是否存在高偏差或高方差的问题

最后进行误差分析，观察交叉验证集的情况

2、不对称性分类的误差评估

不对称性分类（偏斜类）：

比如之前的癌症预测问题，假设我们的假设模型在测试集上的错误类是1%

但实际上可能，患癌症的人只有0.5%，而这样直接输出0，错误率才只有0.5%

看错误率的话似乎直接输出 y=0 反而比我们训练的模型还要好

但是直接输出 y=0 真的比我们训练的模型好吗

再换句话说比如我们更换了模型，准确率从99%提升到了99.5%，我们是真的预测了更好的模型，还是说单纯的把代码替换成了y=0呢

这就是不对称性分类问题

对于这个问题，我们要引入其他量来评估模型

基于实际类和分析类，我们可以用查准率precision（P）和召回率recall（R）来评估算法

True Positive（TP）：预测1，真实1，真阳性

True Negative（TN）：预测0，真实0，真阴性

False Positive（FP）：预测1，真实0，假阳性

False Negative（FN）：预测0，真实1，假阴性

查准率precision（P）：我们预测是1的样本中，实际是1的比率是多少

召回率recall（R）：实际是1的样本中，我们预测是1的比率是多少

于是公式是

$P=\frac{TP}{TP+FP}$

$R=\frac{TP}{TP+FN}$

很明显，查准率和召回率都是越高越好

而我们前面说的 y=0，显然它 TP=FP=0，他的 R=0，显然不好

3、查准率和召回率的权衡

希望查准率高，召回率小，就相当于希望FP小，FN大，也就是希望足够确信才将病人确诊

希望召回率高，查准率小，就相当于希望FP大，FN小，也就是希望就算没病也要尽可能确诊，不漏一人尽早治疗

对于

$h_{\theta}(x)\geq0.5$

$h_{\theta}(x)<0.5$

阈值 threshold = 0.5

现在，如果我们

希望查准率高，召回率小，换言之就是希望预测的 1 准确，那调高 threshold，比如 0.7

希望召回率高，查准率小，换言之就是不希望漏掉实际的 1，那就调低 threshold，比如 0.3

我们希望两个都要尽可能高呢，怎么样算是两个都高呢

有一个 F值公式，F值公式越高越好

$F_{1}=\frac{2PR}{P+R}$

十三、支持向量机SVM

支持向量机别名：大间距分类器

1、优化目标

如图是逻辑回归两部分 log 的图线

很明显我们换成紫笔画的那两条直线的话，计算就会简化

2、假设函数与代价函数

假设函数：(不像逻辑回归输出概率，只有0,1)

$h_{\theta}(x)=\left\{\begin{matrix} 1\,\,\,,\,\theta^{T}x\geq 0\\ 0\,\,\,,\,\theta^{T}x< 0 \end{matrix}\right.$

代价函数：（带正则化）

$J(\theta)=C\sum_{i=1}^{m}y^{(i)}cost_{1}(\theta^{T}x^{(i)})+(1-y^{(i)})cost_{0}(\theta^{T}x^{(i)})+\frac{1}{2}\sum_{j=1}^{n}\theta_{j}^{2}$

参数 C 功能上类似 $\frac{1}{\lambda}$

3、直观上对大间距的理解：

cost函数长这样

希望求出一个 $\theta$ 使代价函数尽可能小，很明显cost要取0嘛，所以就很简单了

$min\,\,\frac{1}{2}\sum_{j=1}^{n}\theta_{j}^{2}$

时， $\theta^{T}x\geq 1$

时， $\theta^{T}x\leq -1$

上述的式子称作决策边界

对大间隔的直观理解：到两个类别间距都尽可能大，如图，就是那条黑线

3、核函数

高斯核函数： $f_{i}=sim(x,l^{(i)})=exp(-\frac{|x-l^{(i)}|^{2}}{2\sigma^{2}})=exp(-\frac{\sum_{j=1}^{n}(x_{j}-l_{j}^{(i)})^{2}}{2\sigma^{2}})$

代价函数： $J(\theta)=\sum_{i=1}^{m}\theta^{T}f^{(i)}$

sim函数相当于相似度函数，也就是向量空间中，x和 $l^{(i)}$ 的相似度，越相近，减完越接近 0

关于 $\sigma$ 的影响，如下图

当 $\sigma$ 较小时，图像会比较尖锐，结果低偏差，高方差

当 $\sigma$ 较大时，图像会比较平滑一些，结果高偏差，低方差。

线性核函数： $sim(x,l^{(i)})=x^{T}l^{(i)}$

4、使用SVM

高斯核函数和线性核函数是最常见的核函数。

其他的核函数还有：多项式核函数、字符串核函数、卡方核函数、直方图交集核函数。

在进行高斯核函数之前，记得要进行特征缩放。

所有的核函数都要满足默塞尔定理，才能被SVM的优化包正确使用。

如何选择逻辑回归还是SVM：特征数 n，训练样本数 m

(1)如果相较于m而言，n要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。

(2)如果n较小，而且m大小中等，例如n在 1-1000 之间，而m在 10-10000 之间，使用高斯核函数的支持向量机。

(3)如果n较小，而m较大，例如n在 1-1000 之间，而m大于 50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。

十四、无监督学习

簇(聚类)、聚类算法

K-meansK均值算法是最普及的聚类算法

1、算法运行图示：

先选两个聚类中心，每个点看离哪个中心更近，就染成哪个颜色

然后算出同一个颜色点的均值，将聚类中心移动过去

然后按现在聚类中心的位置重新染色

重复运行以上过程，最终聚类中心的位置将不再改变，点的颜色也不再改变，便分好了两个簇

2、算法描述：

随机初始化 K 个聚类中心 $\mu_{1},\mu_{2},...,\mu_{K}$

repeat{

for i = 1 to m

$c^{(i)}=$ 距离 $x^{(i)}$ 最近的聚类中心的编号（1 to K）

for k = 1 to K

$\mu_{k} =$ 属于聚类 k 的点的平均值

}

3、代价函数：

$J(c^{(1)},...,c^{(m)},\mu_{1},...,\mu_{K})=\frac{1}{m}\sum_{i=1}^{m}|x^{(i)}-\mu_{c^{(i)}}|^{2}$

4、初始化聚类中心

完全随机初始化是一种方法

吴老师推荐选择 K < m，随机选择 K 个样本点，作为聚类中心

可以看到其实还是会有这样的情况

也就是K-means算法落在了局部最优，和之前讲过的回归算法梯度下降代价函数求出了局部最小值是一个道理

解决方案就是我们要从随机初始化到运行算法，完整地多做几次K-means，比如100次

然后挑出代价函数 J 最小的那个，在这些模型结果中一定就是最好的

5、选取聚类数量

如图，是选择四个类，还是两个类，亦或是其他聚类数量，这种易于用眼睛看的光用眼睛看就已经很不好说怎么选了

所以我们需要一个自动化算法来选择聚类数K

肘部法则

代价函数 J 关于聚类数 K 的图线看起来就像一个肘部

左边是比较理想的情况，很明显选 K=3 比较好

实际上很多时候图线更像右边那样，还是不是很好确定K选多少

肘部法则是值得尝试的，但是不能期望肘部法则解决任何问题

很多时候 K 的选择其实是要看下游目的的

比如说下面的T恤

选3类还是选5类，比方说我的下游目的，T恤只做三种中间尺码的更好卖，那就选3

比方说我就是希望更加细化地拟合尺码，来迎合各种人群，那就选5

十五、降维

1、降维目标：

目标1：数据压缩

去掉不必要的特征，降低时间复杂度和空间复杂度

一个是要去掉明显冗余的属性，比如课程一开始就讲过的，房屋m^2作单位的面积，以feet^2作单位的面积，这两个就是冗余的

然后是具有线性相关性的变量也是多余的，这是很显然的

比方说特征是二维的，拟合成一条直线比较好，那么其实另一维特征是没用的

再比方说特征是三维的，拟合成一个平面比较好

目标2：可视化

有很多的特征，你都搞不清它的意义，和标签有着什么样的联系

那就每次选出两个特征，训练出一个模型，看一看图像，来感受这两个特征的影响

2、主成分分析算法PCA

如图所示样本点到直线上的投影距离（又叫作投影误差）很小，以投影点代替原样本点，就可以实现降维，这样的误差其实很小

对于 n 维空间，我们要找 k 维向量来描绘一个空间，将原来 n 维空间的样本点投影到新的 k 维空间

比如右图，3维空间，我们用 2 维向量描绘了一个平面，将原来 3 位空间的样本点投影到了这个 2 维平面上

找到这样一个 k 维空间，就是主成分分析算法PCA要做的事情

PCA算法描述：

协方差 $\Sigma=\frac{1}{m}\sum_{i=1}^{n}(x^{(i)})(x^{(i)})^{T}$

Octave命令：计算 U

取矩阵 U 的前 k 列得到 $U_{reduce}$ 矩阵

计算 $z=U_{reduce}^{T}x$ 从而将 x 降维成 z

3、主成分数量的选择

选择满足误差<0.01条件的最小的 k

$\frac{\frac{1}{m}\sum_{i=1}^{m}|x^{(i)}-x^{(i)}_{approx}|^{2}}{\frac{1}{m}\sum_{i=1}^{m}|x^{(i)}|^{2}}<0.01$

对于Octave，只需要判断

$\frac{\sum_{i=1}^{k}S_{ii}}{\sum_{i=1}^{n}S_{ii}}\geq0.99$

于是我们的PCA算法就要描述成

从 k=1 开始，计算矩阵 U,S，验证是否符合误差条件，k++，直到不符条件为止

4、压缩重现

压缩重现即压缩的样本，如何得到原来维度的样本的近似

也就是求上面主成分选择算法中的 $x_{approx}$

公式是

$x_{approx}^{(i)}=U_{reduce}z^{(i)}$

5、应用PCA的建议

我们可以用PCA降维加速学习算法的速度，也可以减少内存的需求。

但是我们不应该利用PCA来避免过拟合，虽然这样做可能有时候会有点改进，但是我们还是会保留99%的方差

所以我们应该用更加实用的正则化来避免过拟合

还有就是

在设计一个机器学习系统时，我们有时列举的项目计划一开始就包括了运用PCA来降维

这是不可取的

我们应该首先考虑的是，不使用PCA的情况下，整个系统会得到什么结果

而不是一开始就花费大量时间去运用pca降训练集降维

你可能感兴趣的:(吴恩达机器学习入门笔记)

七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
04.css入门笔记-浮动以及清除浮动的方法 Mr_LiuP css基础 css 前端
文章目录前言一、pc端传统布局方式有哪些？二、浮动1.浮动的定义2.浮动的特性（重难点）3.为什么要清除浮动3.清除浮动的本质4.清除浮动的方式1.额外标签法（隔墙法），是W3C推荐的做法2.父元素添加overflow属性，属性值有auto\hidden\scroll3.父元素添加:after伪元素4.父元素添加双伪元素总结前言今天分享的是css的浮动，以及清除浮动的四种方法！在分享之前，也会简单
JavaScript快速入门笔记之二（变量、常量、数据类型） eshineLau 前端开发 javascript 笔记前端
JavaScript快速入门笔记之二（变量、常量、数据类型）1、变量何时使用变量：程序中的一切数据都要保存在变量中，反复使用如何使用变量：2种情况：赋值和取值赋值：2步：1.1创建变量：——声明——创建一个新的空变量语法：var变量名;强调：仅声明，未赋值的变量，默认值是undefined命名：1.不能以数字开头2.不能用保留字。3.一般采用驼峰命名1.2赋值：将数据保存到变量中语法：变量名=数据
ES6基础知识点咖啡，巫师与猫前端开发基础知识学习笔记 es6 javascript 前端
ES6入门笔记ES6中的变量和常量ES6新增了两个关键词用来声明变量和常量声明变量使用let关键词声明常量使用const关键词let:let:用于声明变量，代替var关键词特点︰有块级作用域;不存在变量提升﹔暂时性死区块级作用域在es6中才有，一对大括号就是一个块级作用域在大括号中使用let声明的变量出了大括号就无效了在循环、分支结构中使用let声明的变量也就会无效变量提升：console.log
吴恩达机器学习全课程笔记第一篇亿维数组 Machine Learning 机器学习笔记人工智能
目录前言P1-P8监督学习无监督学习P9-P14线性回归模型成本（代价）函数P15-P20梯度下降P21-P24多类特征向量化多元线性回归的梯度下降P25-P30特征缩放检查梯度下降是否收敛学习率的选择特征工程多项式回归前言从今天开始，争取能够在开学之前（2.25）把b站上的【吴恩达机器学习】教程过一遍，并把笔记记录于此，本笔记将会把此课程每一p的重点内容及其截屏记录于此，以供大家参考和本人日后复
吴恩达机器学习全课程笔记第二篇亿维数组 Machine Learning 机器学习笔记人工智能学习
目录前言P31-P33logistics（逻辑）回归决策边界P34-P36逻辑回归的代价函数梯度下降的实现P37-P41过拟合问题正则化代价函数正则化线性回归正则化logistics回归前言这是吴恩达机器学习笔记的第二篇，第一篇笔记请见：吴恩达机器学习全课程笔记第一篇完整的课程链接如下：吴恩达机器学习教程（bilibili）推荐网站：scikit-learn中文社区吴恩达机器学习学习资料（gith
摄影入门笔记_认识色彩 SpaceCat
相机的滤镜采用的是拜耳滤镜。百度百科拜耳滤镜一般指拜耳阵列拜耳阵列是实现CCD或CMOS传感器拍摄彩色图像的主要技术之一。它是一个4×4阵列，由8个绿色、4个蓝色和4个红色像素组成，在将灰度图形转换为彩色图片时会以2×2矩阵进行9次运算，最后生成一幅彩色图形。该阵列于1976年注册专利。拜耳阵列的问题之一是，在拍摄具有重复细节（如纺织品）的画面时，容易产生彩色干扰信息。该问题是由于其规则的分布方式
吴恩达机器学习—大规模机器学习魏清宇
学习大数据集数据量多，模型效果肯定会比较好，但是大数据也有它自己的问题，计算复杂如果存在100000000个特征，计算量是相当大的，在进行梯度下降的时候，还要反复求损失函数的偏导数，这样一来计算量更大。那么有没有简单的方法来应对大量的数据呢？我们可以采取随机抽样，比如，抽取1000个样本进行模型的构建。那么如何决定抽取多少样本呢？可以通过学习曲线获得，随着数据量的增加，无论是偏差和误差，都会趋向于
Kafka 入门笔记 Daniel_187 其他 kafka 笔记分布式大数据
课程地址概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MQ）发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接受感兴趣的消息消息队列消息队列应用场景：缓存/消峰、解耦、异步通信消峰：秒杀系统：10亿人发请求（数据量约为1T）全部存入消息队列，服务端只取前100条数据处理，避免了服务端压力过大解耦：异步通信：发布订阅模式：Kafka基
2021-12-10 秋_bdbe
新手小白学Java|零基础入门笔记｜原来学Java可以这么简单爱做程序的秋谨新手小白学Java|零基础入门笔记｜原来学Java可以这么简单刚开始学习java的时候，可能是一头雾水，不知道从何学起。还有很多Java小白，在刚自学Java的时候玩命的学习，玩命的记住Java原理，天天早上五点起床背Java的一些英文词汇，然后遇见一些未知的困难，让自己打到癫狂状态，逐渐迷失自我放弃Java。为了帮大家解
jsp入门笔记 61etj
JSP动态页面技术脚本和注释jsp脚本jsp注释html注释:java注释://单行注释/*多行注释*/Jsp原理jsp第一次被访问的时候会被web容器翻译成servlet,在执行。Jsp翻译后会变成文件名_jsp.java此格式，保存在Tomcat根目录下的work文件夹内部其中Java代码会原封不动放置到翻译后的java文件中的service方法中,因此该java代码中不允许定义方法会翻译为o
吴恩达机器学习—正则化魏清宇
过拟合问题欠拟合与过拟合当变量过少时，可能存在欠拟合；当变量过多时，会存在过拟合。过拟合可能对现有数据拟合效果较好，损失函数值几乎为零，但是不能进行泛化时，即不适于非训练集的其他数据。如何解决过拟合问题特征变量过多造成过拟合绘制假设模型图像，但当特征变量变多时，绘制很困难。当变量过多而训练数据较少时，容易出现过拟合。过拟合的解决办法解决过拟合问题，通常有两种方法：一种是减少特征的数量，可以通过人工
LabVIEW的编程-程序框图入门笔记 Mr Robot 嵌入式算法笔记物联网人工智能嵌入式实时数据库
CSDN话题挑战赛第2期参赛话题：学习笔记学习之路，长路漫漫，写学习笔记的过程就是把知识讲给自己听的过程。这个过程中，我们去记录思考的过程，便于日后复习，梳理自己的思路。学习之乐，独乐乐，不如众乐乐，把知识讲给更多的人听，何乐而不为呢?在前面板的菜单栏上选择Window→ShowBlockDiagram或者利用快捷方式Ctrl+E就可打开程序框图窗口。LabVIEW程序框图如图3-7所示，每一个程
吴恩达机器学习—推荐系统魏清宇
问题规划引例—电影推荐假设已有的数据如上所示，洋红色线内的数据表示缺失数据，那么我们如何根据已有的评分数据来预测这些缺失的数据呢？基于特征的推荐算法基于内容的推荐系统已知数据如上，有四个人对于不同电影的评分，我们还有分别表示电影包含浪漫成分和动作片成分的多少。那么每一个电影都可以用一个向量来表示，如第一个电影可以表示为,其中第一个元素为常数。那么对于每一个用户j，我们可以用一个学习算法学习参数，然
【python入门笔记】python中单引号、双引号、三引号的用法 weixin_41042487 python 引号 python
首先所有的引号要成对出现，就像穿鞋要成双一、单引号和双引号1.单引号和双引号单独出现时，二者输出结果没有区别>>>str1="thegoodwife">>>str2='thegoodwife'>>>print(str1)thegoodwife>>>print(str2)thegoodwife2.当单引号和双引号同时出现时，最外层引号包含的内容则为字符串#输出字符串中的单引号>>>str3="hei
【吴恩达机器学习】第八周—聚类降维Kmeans算法 Sunflow007
31.jpg1.聚类(Clustering)1.1介绍之前的课程介绍的都是监督学习、而聚类属于非监督学习，在一个典型的监督学习中，我们有一个有标签的训练集，我们的目标是找到能够区分正样本和负样本的决策边界，在这里的监督学习中，我们有一系列标签，我们需要据此拟合一个假设函数。与此不同的是，在非监督学习中，我们的数据没有附带任何标签，我们拿到的数据就是这样的：1.png在这里我们有一系列点，却没有标签
吴恩达机器学习笔记（2） python小白22
一.逻辑回归1.什么是逻辑回归？逻辑回归是一种预测变量为离散值0或1情况下的分类问题，在逻辑回归中，假设函数。2.模型描述在假设函数中，，为实数，为Sigmoid函数，也叫Logistic函数。模型解释：，即就是对一个输入，的概率估计。损失函数的理解：所谓最大似然估计，就是我们想知道哪套参数组合对应的曲线最可能拟合我们观测到的数据，也就是该套参数拟合出观测数据的概率最大，而损失函数的要求是预测结果
深度学习入门笔记（九）自编码器 zhanghui_cuc 深度学习笔记深度学习笔记人工智能
自编码器是一个无监督的应用，它使用反向传播来更新参数，它最终的目标是让输出等于输入。数学上的表达为，f(x)=x，f为自编码器，x为输入数据。自编码器会先将输入数据压缩到一个较低维度的特征，然后利用这个较低维度的特征重现输入的数据，重现后的数据就是自编码器的输出。所以，从本质上来说，自编码器就是一个压缩算法。自编码器由3个部分组成：编码器（Encoder）：用于数据压缩。压缩特征向量（Compre
深度学习入门笔记（八）可以不断思考的模型：RNN与LSTM zhanghui_cuc 深度学习笔记深度学习 rnn 笔记
8.1循环神经网络RNN之前学到的CNN和全连接，模型的输入数据之间是没有关联的，比如图像分类，每次输入的图片与图片之间就没有任何关系，上一张图片的内容不会影响到下一张图片的结果。但在自然语言处理领域，这就成了一个短板。RNN因此出现，它是一类用于处理序列数据的神经网络。其基本单元结构如下自底向上的三个蓝色的节点分别是输入层、隐藏层和输出层。U和V分别是连接两个层的权重矩阵。如果不考虑右边的棕色环
Python入门笔记五（列表） Python百事通
列表是Python以及其他语言中最常用到的数据结构之一，列表是可以存放任何数据，包括整型，浮点型，字符串，布尔型等等，Python中使用中括号[]来表示列表。一、列表的创建列表是由一组任意类型的值组合而成的序列，组成列表的值称为元素，每个元素之间用逗号隔开，具体示例如下：1.普通形式l=[1,2,3,4,5]---整型列表l=["a","b","c"]---字符串列表l=[True,False,1
lua入门笔记2 深入函数深入函数迭代器与泛型for 编译、协同程序(coroutine)执行与错误 Charon_ted
这一篇章的内容深入函数迭代器与泛型for编译、执行与错误协同程序(coroutine)1.深入函数基础知识Lua中，函数是第一类值,和所有其他值一样都是匿名的，即他们都没有名称。当讨论一个函数名时（例如print）实际上是讨论持有某个函数的变量第一类值：表示Lua中函数与其他传统类型的值（数字、字符串）具有相同的权利。函数可以存储到变量中（无论是全局变量还是局部变量）或table中，可以作为实参传
Markdown入门笔记星魂1
hellomarkdown是一个重量级的标记语言我们一般用来写文档，这样来帮助我们更好的展示效果我是一级标题我是二级标题一级标题二级标题三级标题四级标题五级标题六级标题斜体文字斜体文字使用两个**星号两个下划线表示粗体粗体文字粗体文字使用三个***星号两个下划线表示粗斜体文字粗斜体文字粗斜体文字分割线：删除线用左右~~来表示删除线下划线无序列表可以使用-+*三种方法前端开发的技能htmlcssjs
R语言入门笔记2.3 Mrji1995 笔记
for循环for循环用于多次执行相似的代码。其基本语法如下：for(variableinsequence){#在每次迭代中执行的代码}其中：variable是一个变量，用于在每次迭代中存储序列中的当前元素。sequence是一个向量，可以是数字序列、字符序列或其他可迭代对象。在每次迭代中，variable会依次取sequence中的每个元素的值，然后执行for循环中的代码块。例1：>n=c(1,2
R语言入门笔记2.2 Mrji1995 r语言笔记开发语言
ifelse语句结构：ifelse(条件,表达式1,表达式2)#满足条件，则进入表达式1，否则为表达式2例1：>a=1>ifelse(a<0,"a小于0",ifelse(a==0,0,"a大于0"))[1]"a大于0"a=1-这行代码给变量a赋值为1。ifelse(a<0,"a小于0",ifelse(a==0,0,"a大于0"))-这是一个嵌套的ifelse语句。它的结构是ifelse(condi
【Andrew Ng机器学习】单变量线性回归-模型描述 jenye_
课程：吴恩达机器学习一个监督学习的例子——房价预测使用的是一组俄勒冈州波特兰市的城市住房价格的数据。根据不同的尺寸的房间对应的不同售价，组成的数据集来画图。你有一个朋友想要卖房子，假设房子的大小是1250平方英尺，那么这套房可以卖多少钱？此时就可以进行模型拟合。根据这个模型，那么你可以告诉他这套房或许可以卖到220k。监督学习：每一个例子都有“正确的答案”，也就是说我们知道了数据集中卖出的房子的实
深度学习入门笔记（五）前馈网络与反向传播 zhanghui_cuc 深度学习笔记深度学习笔记人工智能
接着上一节，本节讲解模型自我学习的数学计算过程究竟是怎么样的。5.1前馈网络一个最简单的前馈神经网络如图所示，对于每一个隐藏层，输入对应前一层每一个节点权重乘以节点输出值，输出则是经过激活函数（例如sigmoid函数）计算后的值。在这样的网络中，输入的数据x经过网络的各个节点之后，即可计算出最终的模型结果。这样就完成了一个最基本的前馈网络从输入到输出的计算过程。5.2反向传播在实际工作中这部分的内
ML：2-2-3 多分类问题multicalss skylar0 分类机器学习人工智能
文章目录1.多分类问题的定义2.softmax3.神经网络的softmax输出【吴恩达机器学习65-67】1.多分类问题的定义classification问题可能的output大于2种。multiclass的预测图像可能是右侧这样的。2.softmaxsoftmaxregression算法是logisticregression的泛化（通用化）。【binaryclassification---->m
深度学习入门笔记（1）——什么是深度学习？ ZRX_GIS 深度学习深度学习数据挖掘机器学习神经网络 pytorch
深度学习入门笔记（1）——什么是深度学习？在很多人眼里，深度学习（DeepLearning）是一个十分高大上的研究手段，它可以模拟人的判断，让数据处理和结果输出具有“人性”，在没接触过的人看来，深度学习简直是“玄学”范畴，网络一通，谁都不爱。但是，在所有人追捧深度学习的同时，对学习这一手段却是望而却步，更有甚者在网上买完“韭菜课”后，原理部分还没看完就不在继续学习。其实，说句实话，深度学习只是被过
深度学习入门笔记（6）—— Logistic Regression cnhwl 深度学习入门笔记深度学习机器学习逻辑回归人工智能 python
对比第三节中的Adaline和LogisticRegression，可以发现它们只有两点不同：1、激活函数，Adaline中的激活函数是恒等函数（线性），而LogisticRegression中的激活函数是Sigmoid函数（非线性）；2、损失函数，Adaline中的损失函数是均方误差，而LogisticRegression中的损失函数则是交叉熵。Sigmoid函数如图所示，其值域为0到1，输入为
深度学习入门笔记（三）常用AI术语 zhanghui_cuc 深度学习笔记人工智能深度学习笔记
本节我们介绍一些深度学习领域常用的术语。训练确定模型中的参数的过程，我们就称为“训练”。Epoch遍历一遍训练数据就叫作“一个Epoch”。训练模型的时候，我们要告诉模型预计训练多少个Epoch，但这个值并不是固定的，因为并没有一个准确的Epoch数能一定能得到一个比较好的模型。我们有一个标准：模型训练的Epoch数必须要让模型达到一个收敛的状态。并且为了模型有更多的选择，我们可以让模型收敛后，再
枚举的构造函数中抛出异常会怎样 bylijinnan java enum 单例
首先从使用enum实现单例说起。为什么要用enum来实现单例？这篇文章（ http://javarevisited.blogspot.sg/2012/07/why-enum-singleton-are-better-in-java.html）阐述了三个理由： 1.enum单例简单、容易，只需几行代码： public enum Singleton { INSTANCE;
CMake 教程 aigo C++
转自：http://xiang.lf.blog.163.com/blog/static/127733322201481114456136/ CMake是一个跨平台的程序构建工具，比如起自己编写Makefile方便很多。介绍：http://baike.baidu.com/view/1126160.htm 本文件不介绍CMake的基本语法，下面是篇不错的入门教程： http:
cvc-complex-type.2.3: Element 'beans' cannot have character Cb123456 spring Webgis
cvc-complex-type.2.3: Element 'beans' cannot have character Line 33 in XML document from ServletContext resource [/WEB-INF/backend-servlet.xml] is i
jquery实例:随页面滚动条滚动而自动加载内容 120153216 jquery
<script language="javascript"> $(function (){ var i = 4;$(window).bind("scroll", function (event){ //滚动条到网页头部的高度，兼容ie,ff,chrome var top = document.documentElement.s
将数据库中的数据转换成dbs文件何必如此 sql dbs
旗正规则引擎通过数据库配置器（DataBuilder）来管理数据库，无论是Oracle，还是其他主流的数据都支持，操作方式是一样的。旗正规则引擎的数据库配置器是用于编辑数据库结构信息以及管理数据库表数据，并且可以执行SQL 语句，主要功能如下。 1)数据库生成表结构信息：主要生成数据库配置文件(.conf文
在IBATIS中配置SQL语句的IN方式 357029540 ibatis
在使用IBATIS进行SQL语句配置查询时，我们一定会遇到通过IN查询的地方，在使用IN查询时我们可以有两种方式进行配置参数：String和List。具体使用方式如下： 1.String:定义一个String的参数userIds，把这个参数传入IBATIS的sql配置文件，sql语句就可以这样写： <select id="getForms" param
Spring3 MVC 笔记（一） 7454103 spring mvc bean REST JSF
自从 MVC 这个概念提出来之后 struts1.X struts2.X jsf 。。。。。这个view 层的技术一个接一个！都用过！不敢说哪个绝对的强悍！要看业务，和整体的设计！最近公司要求开发个新系统！
Timer与Spring Quartz 定时执行程序 darkranger spring bean 工作 quartz
有时候需要定时触发某一项任务。其实在jdk1.3，java sdk就通过java.util.Timer提供相应的功能。一个简单的例子说明如何使用，很简单： 1、第一步，我们需要建立一项任务，我们的任务需要继承java.util.TimerTask package com.test; import java.text.SimpleDateFormat; import java.util.Date;
大端小端转换，le32_to_cpu 和cpu_to_le32 aijuans C语言相关
大端小端转换，le32_to_cpu 和cpu_to_le32 字节序 http://oss.org.cn/kernel-book/ldd3/ch11s04.html 小心不要假设字节序. PC 存储多字节值是低字节为先(小端为先, 因此是小端), 一些高级的平台以另一种方式(大端)
Nginx负载均衡配置实例详解 avords
[导读] 负载均衡是我们大流量网站要做的一个东西，下面我来给大家介绍在Nginx服务器上进行负载均衡配置方法，希望对有需要的同学有所帮助哦。负载均衡先来简单了解一下什么是负载均衡，单从字面上的意思来理解就可以解负载均衡是我们大流量网站要做的一个东西，下面我来给大家介绍在Nginx服务器上进行负载均衡配置方法，希望对有需要的同学有所帮助哦。负载均衡先来简单了解一下什么是负载均衡
乱说的 houxinyou 框架敏捷开发软件测试
从很久以前，大家就研究框架，开发方法，软件工程，好多！反正我是搞不明白！这两天看好多人研究敏捷模型，瀑布模型！也没太搞明白. 不过感觉和程序开发语言差不多，瀑布就是顺序，敏捷就是循环. 瀑布就是需求、分析、设计、编码、测试一步一步走下来。而敏捷就是按摸块或者说迭代做个循环，第个循环中也一样是需求、分析、设计、编码、测试一步一步走下来。也可以把软件开发理
欣赏的价值——一个小故事 bijian1013 有效辅导欣赏欣赏的价值
　　第一次参加家长会，幼儿园的老师说："您的儿子有多动症，在板凳上连三分钟都坐不了，你最好带他去医院看一看。"　　回家的路上，儿子问她老师都说了些什么，她鼻子一酸，差点流下泪来。因为全班30位小朋友，惟有他表现最差；惟有对他，老师表现出不屑，然而她还在告诉她的儿子："老师表扬你了，说宝宝原来在板凳上坐不了一分钟，现在能坐三分钟。其他妈妈都非常羡慕妈妈，因为全班只有宝宝
包冲突问题的解决方法 bingyingao eclipse maven exclusions 包冲突
包冲突是开发过程中很常见的问题：其表现有： 1.明明在eclipse中能够索引到某个类，运行时却报出找不到类。 2.明明在eclipse中能够索引到某个类的方法，运行时却报出找不到方法。 3.类及方法都有，以正确编译成了.class文件，在本机跑的好好的，发到测试或者正式环境就抛如下异常： java.lang.NoClassDefFoundError: Could not in
【Spark七十五】Spark Streaming整合Flume-NG三之接入log4j bit1129 Stream
先来一段废话：实际工作中，业务系统的日志基本上是使用Log4j写入到日志文件中的，问题的关键之处在于业务日志的格式混乱，这给对日志文件中的日志进行统计分析带来了极大的困难，或者说，基本上无法进行分析，每个人写日志的习惯不同，导致日志行的格式五花八门，最后只能通过grep来查找特定的关键词缩小范围，但是在集群环境下，每个机器去grep一遍，分析一遍，这个效率如何可想之二，大好光阴都浪费在这上面了
sudoku solver in Haskell bookjovi sudoku haskell
这几天没太多的事做，想着用函数式语言来写点实用的程序，像fib和prime之类的就不想提了（就一行代码的事），写什么程序呢？在网上闲逛时发现sudoku游戏，sudoku十几年前就知道了，学生生涯时也想过用C/Java来实现个智能求解，但到最后往往没写成，主要是用C/Java写的话会很麻烦。现在写程序，本人总是有一种思维惯性，总是想把程序写的更紧凑，更精致，代码行数最少，所以现
java apache ftpClient bro_feng java
最近使用apache的ftpclient插件实现ftp下载，遇见几个问题，做如下总结。 1. 上传阻塞，一连串的上传，其中一个就阻塞了，或是用storeFile上传时返回false。查了点资料，说是FTP有主动模式和被动模式。将传出模式修改为被动模式ftp.enterLocalPassiveMode();然后就好了。看了网上相关介绍，对主动模式和被动模式区别还是比较的模糊，不太了解被动模
读《研磨设计模式》-代码笔记-工厂方法模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 工厂方法模式：使一个类的实例化延迟到子类 * 某次，我在工作不知不觉中就用到了工厂方法模式（称为模板方法模式更恰当。2012-10-29）： * 有很多不同的产品，它
面试记录语 chenyu19891124 招聘
或许真的在一个平台上成长成什么样，都必须靠自己去努力。有了好的平台让自己展示，就该好好努力。今天是自己单独一次去面试别人，感觉有点小紧张，说话有点打结。在面试完后写面试情况表，下笔真的好难，尤其是要对面试人的情况说明真的好难。今天面试的是自己同事的同事，现在的这个同事要离职了，介绍了我现在这位同事以前的同事来面试。今天这位求职者面试的是配置管理，期初看了简历觉得应该很适合做配置管理，但是今天面
Fire Workflow 1.0正式版终于发布了 comsci 工作 workflow Google
Fire Workflow 是国内另外一款开源工作流，作者是著名的非也同志，哈哈.... 官方网站是 http://www.fireflow.org 经过大家努力,Fire Workflow 1.0正式版终于发布了正式版主要变化: 1、增加IWorkItem.jumpToEx(...)方法，取消了当前环节和目标环节必须在同一条执行线的限制，使得自由流更加自由 2、增加IT
Python向脚本传参 daizj python 脚本传参
如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？需要模块：sys 参数个数：len(sys.argv) 脚本名： sys.argv[0] 参数1： sys.argv[1] 参数2： sys.argv[
管理用户分组的命令gpasswd dongwei_6688 passwd
NAME： gpasswd - administer the /etc/group file SYNOPSIS： gpasswd group gpasswd -a user group gpasswd -d user group gpasswd -R group gpasswd -r group gpasswd [-A user,...] [-M user,...] g
郝斌老师数据结构课程笔记 dcj3sjt126com 数据结构与算法
<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
yii2 cgridview加上选择框进行操作 dcj3sjt126com GridView
页面代码 <?=Html::beginForm(['controller/bulk'],'post');?> <?=Html::dropDownList('action','',[''=>'Mark selected as: ','c'=>'Confirmed','nc'=>'No Confirmed'],['class'=>'dropdown',])
linux mysql fypop linux
enquiry mysql version in centos linux yum list installed | grep mysql yum -y remove mysql-libs.x86_64 enquiry mysql version in yum repositoryyum list | grep mysql oryum -y list mysql* install mysq
Scramble String hcx2013 String
Given a string s1, we may represent it as a binary tree by partitioning it to two non-empty substrings recursively. Below is one possible representation of s1 = "great":
跟我学Shiro目录贴 jinnianshilongnian 跟我学shiro
历经三个月左右时间，《跟我学Shiro》系列教程已经完结，暂时没有需要补充的内容，因此生成PDF版供大家下载。最近项目比较紧，没有时间解答一些疑问，暂时无法回复一些问题，很抱歉，不过可以加群（334194438/348194195）一起讨论问题。 ----广告-----------------------------------------------------
nginx日志切割并使用flume-ng收集日志 liyonghui160com
nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。第二步向nginx主
Oracle死锁解决方法 pda158 oracle
　select p.spid,c.object_name,b.session_id,b.oracle_username,b.os_user_name from v$process p,v$session a, v$locked_object b,all_objects c where p.addr=a.paddr and a.process=b.process and c.object_id=b.
java之List排序 shiguanghui list排序
在Java Collection Framework中定义的List实现有Vector，ArrayList和LinkedList。这些集合提供了对对象组的索引访问。他们提供了元素的添加与删除支持。然而，它们并没有内置的元素排序支持。　　你能够使用java.util.Collections类中的sort()方法对List元素进行排序。你既可以给方法传递
servlet单例多线程 utopialxw 单例多线程 servlet
转自http://www.cnblogs.com/yjhrem/articles/3160864.html 和 http://blog.chinaunix.net/uid-7374279-id-3687149.html Servlet 单例多线程 Servlet如何处理多个请求访问？Servlet容器默认是采用单实例多线程的方式处理多个请求的：1.当web服务器启动的