Heisenberg-

结合openCV学习DIP之机器学习CNN

综述

结合openCV学习DIP之传统图像特征与匹配

图像特征

图像的浅层特征主要是颜色、纹理和形状

图像特征是指: 可以表达图像中对象的主要信息, 并且以此为依据可以从其他未知图像中检测出相似或相同的该对象A.

在特征提取上,传统的图像处理都是自行设计提取固定特征的算子,在深度学习上主要是利用CNN网络来广泛的提取图像的特征.

笔记以吴恩达课程为基础, 全面介绍机器学习相关术语, 再以李航《统计学习方法》和周志华《机器学习》以及《学习openCV3》为基础,记录学习内容, 将不定期更新.

机器学习-吴恩达课程笔记

本章以吴恩达机器学习课程为基础, 记录期间的学习笔记,该课程和本笔记仅以入门为目标, 即不涉及理论具体推导.

第一课-基本术语和LogisticRegression

目的: 将一个图片输入到一个 (暂称为)机构中, 自动对其进行分类

分类的结果有二类分类和多类分类, 根据分类结果不同,可以将分类器分为:

二类分类: 感知机,支持向量机SVM, Adaboost提升方法,Logistic回归模型

多类分类: k近邻树(k近邻法),朴素贝叶斯法,决策树,Logistic回归模型,最大熵模型

如何遍历一个包含了N个图片的集合? 一般是for循环,但是这种费时.

回归:简单理解为两组数据关系的统计分析方法

对于一张图片一般是3个通道,假设图片size是64x64, 那么将这张图片记为x, x通过维度变换为nx1的列向量,如下图所示:

假设训练集train set记为X有m个样本,每个样本是 $(x^{(1)},y^{(1)}).....(x^{(i)},y^{(i)})...(x^{(m)},y^{(m)})$ ,其中 $y^{^{(i)}}$ 表示第i个样本的标签, 标签的信息即分类信息, 比如猫or狗

上述 $x^{(i)}$ 是一个n维列向量 $\begin{pmatrix}x^{i}_{1} \\ x^{i}_{2} \\ x^{i}_{3} \\ ... \\x^{i}_{n} \end{pmatrix}$ ,显然, 训练集X是一个n行m列的矩阵,同理标签Y如下

LogisticRegression 逻辑回归模型

$\hat{y}$ 为预测值, 为标签真实值, X为输入的图片集合记号, 对其有表达式:

$\hat{y} = w^T\cdot x + b$ 得到一个线性的模型, 但是输出的范围变成了∞, 想要函数值限定在[0,1]

$\hat{y} = \sigma(w^T+b)$ 其中 $\sigma (t) = \frac{1}{1+e^t}$ , 该表达式将其值域锁定在了[0,1]上

Loss function损失函数和Cost function成本函数

loss function是对于单个样本而言, 目的是求真实值和预测值之间的差距, 自然是越小越好,其数学表达式为:

$L(\hat{y},y) = -[y\cdot log \hat{y}+(1-y)\cdot log(1-\hat{y})]$

由于y是标签值,自然是不变的, 而 $\hat{y}$ 是预测值, 其值和w和b有密切关系,将 $\hat{y} = \sigma (w^T + b)$

带入L()中 ${\color{Red} L(\hat{y},y) = L(w,b) = -[y\cdot log(\sigma (w^T +b))+(1-y)\cdot log(1-\sigma (w^T +b))]}$

cost function是对于群体样本而言, 其数学表达式为:

$J(w,b) = [\frac{1}{m} \cdot \sum_{i-n}^{m}L(\hat{y}^{(i)}, y^{(i)}) ]$

上述问题转换成: 如何确定 w和b的值, 使得L和J 存在最小值, 即使得分类的错误率最低?

答案: GradientDescent 梯度下降法

梯度下降法或最速下降法steepest descent 是求解无约束最优化问题的一种常用方法

graditent descent是一种迭代算法, 选取适当的初值 $x^{(0)}$ ,不断迭代更新x的值,将目标函数值最小化,直到收敛.

负梯度方向是使函数值下降最快的方向, 应当以负梯度方向更新x值

书中或许不太容易理解, 作图理解如下: 注意parameter学习率 $\alpha$

对于上图抛出的问题,

该曲线的递减部分, 其斜率为负, 梯度负方向,负负得正,w+正数,因此w向右移动, 递增部分, 斜率为正, 梯度负方向,w+负数,因此w向左移动

w在初始化时, 不能=0,应尽量random 而b在初始化时,可以=0, 原因在于: w初始化=0, 每个单元都在做为0的same things, 无意义

在上述的问题中, 如何通过计算得到的损失函数的值, 自动更新输入的w和b的值呢? 从而自动调整模型的参数,使得预测能力的错误率降低?

为了回答这个问题, 引入正向传播和反向传播的概念, 在下图的反向传播中, $\frac{\partial J }{\partial b}$ 就是将来参数b 在梯度下降时需要的梯度值,其方向取- ,这里 $\frac{\partial J }{\partial b} = \frac{\partial J }{\partial v} \cdot \frac{\partial v }{\partial u} \cdot \frac{\partial u }{\partial b}$ 就是反向传播中如何求取 $\frac{\partial J }{\partial b}$ (简单的高数知识)

例子1: 单个样本

假设有样本 $x= \begin{bmatrix}x_1 \\ x_2 \end{bmatrix}$ , 因为 $\hat{y} = \sigma(w\cdot x+b)$ , 那么 $w = \begin{bmatrix} w_1 & w_2 \end{bmatrix}$

显然x是列向量, w应该为行向量, b则为1x1的单数值

根据logistic 回归模型,有

$z=w^T\cdot x +b$

$\hat{y} = a = \sigma(z)$

$L(\hat{y},y) = L(a,y)=L(\sigma(z),y) = -[y\cdot loga+(1-y)\cdot log(1-a)]$

对w1和w2和b进行gradient descent, 引入学习率 $\alpha$

例子2: 多个样本

成本函数 $J(w,b) = [\frac{1}{m} \cdot \sum_{i-n}^{m}L(\hat{y}^{(i)}, y^{(i)}) ]$

假设有样本 $x= \begin{bmatrix}x_1 \\ x_2 \end{bmatrix}$ , 因为 $\hat{y} = \sigma(w\cdot x+b)$ , 那么 $w = \begin{bmatrix} w_1 & w_2 \end{bmatrix}$ ,

直接将其看成矩阵,然后求即可

Nerual Network

2 layers nerual network

为了区分, 现将[i]表示网络第i层, (i)表示第i个样本(方便理解,可以把每个样本理解成一张图片)

下图中 $a^{[1]}$ 表示第1层的激活函数activation function, 该函数的表达式暂且不表.应当注意 $a^{[1]} = \begin{bmatrix}a^{[1]}_1 \\ a^{[1]}_2 \\ a^{[1]}_3 \\ a^{[1]}_4 \end{bmatrix}$ 即下图中的第一层

应该根据输入的X维度和输出的分类结果Y的维度, 从第一层开始逐步推出每一层的维度

激活函数 ActivationFunction

上述的网络引入了新的概念: 激活函数

激活函数的作用是什么? 表达式一般是什么样的?

上述的 $\sigma (t) = \frac{1}{1+e^t}$ 就是一种激活函数, 该函数的值域在[0,1]

另一种激活函数 $\tanh(t)=\frac{e^t - e^{-t}}{e^t + e^{-t}}$ ,该函数值域在[-1,1]

$\sigma (t) = \frac{1}{1+e^t}$ 和 $\tanh(t)=\frac{e^t - e^{-t}}{e^t + e^{-t}}$ 的缺点是: 两者在趋于∞时, 梯度变化很不明显

当分类时, 作为输出结果,显然值域[0,1]的 $\sigma (t) = \frac{1}{1+e^t}$ 更适合做输出层的激活函数

修正线性单元Rectified Linear Unit, 即ReLU函数

由于上述两者的缺点在趋于∞时梯度变化不明显,且值域应尽量在[0,1],基于此引入ReLU函数

其中 $z = z(t) = \sigma(t) = \frac{1}{1+e^t}$

综上所述:

在binary classification 二值分类中, output layer的activation function应为 $\sigma (t) = \frac{1}{1+e^t}$ , hide layers的activation function应为ReLU

liner activation function

$\sigma(t) = \frac{1}{1+e^t}$ , $\tanh(t)=\frac{e^t - e^{-t}}{e^t + e^{-t}}$ 和ReLu 都是non liner activation function

至此, 对于一个简单网络来说, 有parameters: w,b, dw,db 有hyper paramters: $\alpha$ 学习率

hyper-parameters超参数: 用于控制,调整paramters的参数,如 $\alpha$ 可以在gradient descent时控制参数更新的步长

第二课-网络参数详解

BIas&Variance

参数

一个网络,需要考虑的参数有:

layers, hidden units, learnings rates: $\alpha$ , activation function等

本节课主要讲的是neural network中常见的hyper-paramters和基本的parameters以及相应的调试方法和算法优化

训练集,验证集,测试集

一般来说,当数据量较小时:

training set 和test set分别在数据量的70%和30% ,存在验证集时,training set/develpment set/test set分别占60%/20%/20%,

当数据量较大时:

trianing set/development set/test set分别占99%/0.5%/0.5%或98%/1%/1%

数据分布 trian/test distribution

一般而言,要确保: dev set/test set come from same distribution

bias, variance 偏差和方差

正确理解bias 和variance的概念

bias决定了能中几环,值越大越偏

variance决定了发挥的稳定程度, 就是离散程度, 值越大越离散

拟合: 把平面上一系列的点, 通过一条光滑的曲线连接起来,该曲线常可以用函数来表示.

如果函数是线性的,则线性拟合,线性回归, 反之非线性拟合,非线性回归

将拟合与bias, variance结合来看:

Regularization

L2 Regularization L2范数正则化

以Logistic regression的J(w,b)为例, 对表达式引入正则化项

$J(w,b) = \frac{1}{m} \cdot \sum_{i=1}^{m} L(\hat{y}^{(i)}, y^{i}) + {\color{Blue} \frac{\lambda}{2m}\cdot \left \| w \right \|^{2}_{2}}$

其中, $\left \| w \right \|^{2}_{2} = \sum_{n_x}^{j=1} w^{2}_{j} = w^Tw$ 为向量w的L2范数的平方,

关于范数:

L0范数 $\left \| x \right \|_0 = \sum_{k}^{i=1}\left |x_i \right |^{0}$ , 0表示0次幂

L1范数 $\left \| x \right \|_1 = \sum_{k}^{i=1}\left |x_i \right |^{1}$ , 1表示1次幂

L2范数 $\left \| x \right \|_2 = \sum_{k}^{i=1}\left |x_i \right |^{2}$ ,2表示2次幂

那么:

J(w,b)+系数*w的L0范数=L0范数正则化,

J(w,b)+系数*w的L1范数=L1范数正则化, $J(w,b) = \frac{1}{m} \cdot \sum_{i=1}^{m} L(\hat{y}^{(i)}, y^{i}) + {\color{Blue} \frac{\lambda}{m}\cdot \left \| w \right \|_{1}}$

J(w,b)+系数*w的L2范数=L2范数正则化,

上述 $\lambda$ 为regularization parameter正则化参数, 也是hyper-parameter

以neural network为例, 引入regularization parameter

假设有m个样本,NN layers = l

$J(w^{[1]},b^{[1]}....w^{[l]},b^{[l]}) = \frac{1}{m} \cdot \sum_{i=1}^{m}L(\hat{y^{i}},y^{i})+\frac{\lambda}{2m}\sum_{l=1}^{l}\left \| w^{[l]} \right \|^{2}_F$ 其中F表示Frobenius范数, $\lambda$ 为regularization parameter

Frobenius范数: $\left \| w^{[l]} \right \|^{2}_{F} = \sum_{i=1}^{n^{[l-1]}} \sum_{i=1}^{n^{[l]}}(w^{[l]}_{ij})^{2}$

引入正则化项直接导致矩阵乘了了一个 $1-\frac{\alpha\lambda }{m}$ 的权重, 该值<1, 当 $\lambda$ 足够大时, $\lambda\rightarrow \infty, w^{[l]} \approx 0$ 也就是说

第l层的权值w=0, 那么该层的输入x就不纳入计算,消除了对应x的作用, 优化了网络结构,降低high variance.

为什么正则化就可以降低high variance呢?

因为variance之所以很高是因为model比较复杂导致overfitting, 降低variance的方法就是添加regularization项.

也可以想想variance过高, 离散程度很大, 导致一些不需要考虑进来的样本, 也考虑进来了

降低高bias时, 可能会导致高variance, 反之亦然

但引入正则化项的弊端在于: 可能产生high bias

Dropout随机失活-另一个正则化技术

DropoutRegularization

每一层的每个神经单元都会以P的概率决定是否参与计算,一般P=0.2, 0.5,0.8

每一层的P的值是不同的

一般而言, 正则化项只存在于training期间, test时并不适用

dropout常用在computer vision中

Dropout的缺点: J(w,b)不再明确,一般现将P=1,将J调参到J单调递减,然后再打开P=(0.2, 0.5,0.8)

Vanishing/exploding gradient 梯度消失/爆炸

解决办法: 一些paper指出,调整激活函数对应的w值

g(z), w=1/n

ReLU, $w = \sqrt{\frac{1}{n^{[l-1]}}}$

tanh, $w = \sqrt{\frac{1}{n^{[l-1]}}}$

GradientDescent的优化算法

BatchGradientDescent, 之前提到的就是

1⃣️Mini-Batch GradientDescent

把train set按照size分成若干批次,size也是一个hyperparameter

当train set个数小于等于2000时, 适用batch gradient descent

当trainset个数大于2000时, 令mini batch per-size包含的数据:

64,128,256,512,具体选哪个应该和GPU或者CPU的memory大小匹配

2⃣️Momentum GradientDescent

引入概念指数加权平均数

$V_{t} = \beta V_{t-1} + (1-\beta)\theta _{t}$

θ_t：为第 t 天的实际观察值，
V_t: 是要代替 θ_t 的估计值，也就是第 t 天的指数加权平均值，
β：为 V_{t-1} 的权重，是可调节的超参。( 0 < β < 1 ), 该超参数的意义在于, 对于任意的 $\beta$ 有: $\beta^{\frac{1}{1-\beta}} \approx \frac{1}{e}$ 也就是说:

指数加权平均数就是最近 $N=\frac{1}{1-\beta}$ 的样本的平均值

β 越小，噪音越多，虽然能够很快的适应温度的变化，但是更容易出现奇异值。

β 越大，得到的曲线越平坦，因为多平均了几天的温度，这个曲线的波动更小。
但有个缺点是，因为只有 0.02 的权重给了当天的值，而之前的数值权重占了 0.98 ，
曲线进一步右移，在温度变化时就会适应地更缓慢一些，会出现一定延迟。

通过上面的内容可知，β 也是一个很重要的超参数，不同的值有不同的效果，需要调节来达到最佳效果，一般 0.9 的效果就很好。

指数加权平均，作为原数据的估计值，可以抚平短期波动，起到了平滑的作用，

Momentum 梯度下降法，就是计算了梯度的指数加权平均数，并以此来更新权重，它的运行速度几乎总是快于标准的梯度下降算法。

也就是说, 在使用上述的mini-batch做gradient descent,得到dw 和db ,再计算dw和db的指数加权平均数, 用此值更新w和b

$V_{dw} = \beta _{1}V_{dw} + (1-\beta_{1})dw$

$V_{db} = \beta_{1}V_{db}+(1-\beta_{1})db$

$w= w- \alpha V_{dw}$

$b = b-\alpha V_{dw}$

至此, 引入了两个hyper-parameters: mini-batch 的size 和momentumGD的 $\beta$ =0.9

Bias correction偏差修正

在估测初期,一般需要进行偏差修正,如 $V_{t} = \frac{V_{t}}{1-\beta^{t}}$

3⃣️RMSProp

root mean square propagation 均方根传播算法

在第t次迭代中, 通过mini-batch得到dw和db ,计算Sdw和Sdb更新w和b

$S_{dw} = \beta_{2}S_{dw}+(1-\beta_{2})(dw)^{2}$

$S_{db} = \beta_{2}S_{db}+(1-\beta_{2})(db)^{2}$

$w = w-\alpha\cdot \frac{dw}{\sqrt{S_{dw}}+\varepsilon }$

$b = b-\alpha\cdot \frac{db}{\sqrt{S_{db}}+\varepsilon }$

其中 $\beta_{2}, \varepsilon$ 都是hyper-parameter, $\varepsilon$ 是为了防止 $\sqrt{S_{dw}}\rightarrow 0$ 和 $\sqrt{S_{db}}\rightarrow 0$ , 因此其值一般为 $\varepsilon = 10^{-8}$

RMS prop是从学习率的角度解决振荡和加快学习速度的，实际上是对AdaGrad和AdaDelta的改进(基本思路是对于每个参数W或b，自动的适配其对应的学习率，而不是使用全局统一的学习率)。

RMS prop的思路是，如果某个参数方向的摆动幅度大(噪音或振荡大)，那么就说明这一参数的方差大，那么如果动态的将该参数方向的学习率降低，就能够减小梯度下降步长，从而减小摆动幅度，反之增加步长，使其能够更快的到达最优点。因此在RMS Prop中，用梯度除以该参数的指数加权平均方差来实现这一功能。

momentum和RMSProp都是从gradient descent的摆动消除出发,加速算法

4⃣️Adam optimization algorithm

Adam=momentum+RMSProp

①令 $V_{dw}=0, S_{dw}=0,V_{db}=0, S_{db}=0$

②利用mini-batchGD进行迭代, 假设当前为第t次, 得到

③使用momentum和RMSProp, 一般 $\beta{1}=0.9, \beta_{2}=0.999$

$V_{dw} = \beta_{1}V_{dw}+(1-\beta_{1})dw$

$V_{db} = \beta_{1}V_{db}+(1-\beta_{1})db$

$S_{dw} = \beta_{2}S_{dw}+(1-\beta_{2})(dw)^{2}$

$S_{db} = \beta_{2}S_{db}+(1-\beta_{2})(db)^{2}$

④bias-correction, t为当前迭代次数

$V^{corrected}_{dw} = \frac{V_{dw}}{(1-\beta^{t}_{1})}$

$V^{corrected}_{db} = \frac{V_{db}}{(1-\beta^{t}_{1})}$

$S^{corrected}_{dw} = \frac{S_{dw}}{1-\beta^{t}_{2}}$

$S^{corrected}_{db} = \frac{S_{db}}{1-\beta^{t}_{2}}$

⑤更新参数w和b,其中 $\varepsilon = 10^{-8}$ , $\alpha$ 学习率取值待定

$w = w-\alpha\frac{V^{corrected}_{dw}}{\sqrt{S^{corrected}_{dw}}+\varepsilon }$

$b = b-\alpha\frac{V^{corrected}_{db}}{\sqrt{S^{corrected}_{db}}+\varepsilon }$

5⃣️Learning rate decay学习率衰减

学习率 $\alpha$ 在初期往往较大, 学习率越大, 在上下前后方向的步长就很大, 震荡太强

为了调整学习率,引入decay rate即衰减率参数

有三种方法可以使得学习率衰减,

① $\alpha = \frac{1}{1+decayRate*epochNum}*\alpha_{0}$

② $\alpha = \frac{k}{epochNum}*\alpha_{0}$

③ $\alpha = \frac{k}{\sqrt{t}}*\alpha_{0}$ , t为迭代次数

调试时,参数的优先性

$z^{i}_{norm} = \frac{z^{i}-\mu}{\sqrt{\sigma^{2}+\varepsilon }}$

Robust

使得网络更具鲁棒性

1⃣️Batch Normalizing Batch归一化

这里涉及到的是高数概率论的知识,就是将分布调整为正态分布, 首先要计算方差和期望

举例1:

假设在第l层有 $z^{1},z^{2}.....z^{m}$ , ,参数b可以不要, 以mini-batch为单位处理, 每个mini-batch的方差和期望统一

期望 $\mu = \frac{1}{m}\sum_{i=1}^{m}z^{i}$

方差 $\sigma ^{2} = \frac{1}{m}\sum_{i=1}{m}(z_{i}-\mu)^{2}$

归一化为标准正态分布: $z^{i}_{norm} = \frac{z^{i}-\mu}{\sqrt{\sigma^{2}+\varepsilon }}$ , 其中 $\varepsilon =10^{-8}$ 是防止分母为0

更新: $\hat z^{i} = \gamma z^{i}_{norm}+\beta$ 这里的 $\gamma$ , $\beta$ 是新的hyper- parameter, 其值的更新类似w和b,也是利用反向传播进行更新

上述只是对neural network的一层进行了网络的第l层归一化, 其实BN可以对网络的input layer和hidden layer进行归一化

举例2

对整个网络使用BN

假设使用的是mini-batch gradient descent

为什么BN可以加速网络训练??

BN做的就是无论数据怎么变化, 都可以保证均值(期望)和方差不变

数据可以是来自input layer的X,也可以是hidden layer[l-1]传给[l]层的输入

防止了[l-1]层的参数更新导致[l]层的数据分布变化

相当于减弱了各层之间的联系,每层都处于独立学习状态

BN是以mini-batch为单位逐一处理,那么如何以样本为单位逐一处理呢?

多类分类

到目前为止的logistic regression因输出层函数的问题,一直是二类分类0or1

引入softmax regression

通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。

softmax函数引入了指数函数

指数函数曲线呈现递增趋势，最重要的是斜率逐渐增大，也就是说在x轴上一个很小的变化，可以导致y轴上很大的变化。这种函数曲线能够将输出的数值拉开距离。

指数函数的曲线斜率逐渐增大虽然能够将输出值拉开距离，但是也带来了缺点，值非常大的话，计算得到的数值也会变的非常大，数值可能会溢出。

当使用Softmax函数作为输出节点的激活函数的时候，一般使用交叉熵作为损失函数。

由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。

softmax函数

[l]表示layer, C表示输出类别总个数,c表示第c个类别, i表示第i个样本

$\huge z^{[l]} = w^{[l]}\cdot a^{[l-1]}+b^{[l]}$

$\huge \hat y = a^{[l]}_{(i)} = \frac{e^{z^{[l]}_{(i)}}}{\sum_{C}^{c=1}e^{z^{[l]}_{(c)}}}$

交叉熵

第三课-机器学习策略

第四课-CNN

不管输入图像的深度为多少，经过一个卷积核（filter） ,这个卷积核(filter)的channel数等于输入的channel, 大小Size为设计好固定的, 或者为一个网络参数,通过反向传播更新的值.

无论怎样, 最后都通过下面的公式变成一个深度为1矩阵。

第L层的filter的个数, 就是L+1层的channel数

CNN入门

CNN一般包括三类网络层,

Convolution CONV卷积层, Pooling Pool池化层, Fully connection FC全链接层

1⃣️卷积层

灰度图片的边缘检测

灰度图像只有一个色道,即有一个6*6*1的灰度图像,kernel核, filter过滤器 *表示卷积运算符

然后蓝色框框右移得到4*4的第一行第二列的元素

6*6是一个灰色的样本图片, 3*3的filter过滤器, 4*4可以看成生成的另一个图片

这些在之前的文章都有提到,那现在的问题是:

如何将卷积做成CNN的基本模块并建立CNN呢?

接下来你要学会区分正边,负边, 就是由亮到暗还是由暗到亮, 也就是边缘的过渡, 和其他边缘的过渡, 以及这些算法的使用
上边的那个filter过滤器, 是1\0\-1这些组合, 计算机视觉学术中也讨论到底怎么组合最好, filter的维数一般是奇数,这样有个中心点
- sobel filter
- scharr filter(也是垂直边缘检测, 实际上翻转90度就是水平检测了)
- 对于filter的size, 现在我们并不喜欢用固定的数, 而是让它成为hyperparameters
  - (可以用反向传播来找出这些w_i)
  - 这种filter对数据的捕捉能力很强!
  - 任何角度的边缘都可以检测,利用这些参数, 利用数据的反馈来调整他们, 很棒
Padding卷积的基本操作
- 给出一个图片是n*n像素的, 再给出一个filter是f*f的, 你会得到一个 $\huge (n-f+1)*(n-f+1)$ 的输出
  - 缺点:
    - 每次卷积你的图片都小了,
    - 原图角落的像素值利用率很低, 中间部分的利用率过高, 相当于丢掉了原图边框角落的图像
  - 解决:
    - 可以在原图的外边填充一圈全是0的像素点, p就是填充数量, 填充一圈是p=1
  - 根据填充多少分成了Valid和Same convolutions两类卷积
    - Valid convolution 不填充 no padding
    - Same convolution 填充padding 导致输入输出都一样的卷积
卷积步长是CNN的基本操作 strided convolutions
- 输出维度计算
  - 有边界填充时,输入n*n filter是f*f, padding是p, 步长stride是s, 输入和filter通道数一致, 则输出宽高是 $\huge (\frac{(n-f+2p)}{s}+1) *( \frac{(n-f+2p)}{s}+1)$ , 其输出的channel=本次filter个数
  - 无边界填充p=0,公式一致
- 如果输出((n+2p-f)/s+1) * ((n+2p-f)/s+1) 不是一个整数, 我们一般向下取整, 其实就是只要蓝色框有一部分不在原图中,就不计算了

上述做的操作, 技术上有时候被称为互相关, 而不是卷积, 卷积是在filter参与运算前, 把filter的元素上下镜像, 左右镜像, 再参加运算, 在深度学习的惯例中, 依然把互相关当成卷积

多通道图片边缘检测

牢记上述的维度计算
- 之前已经会做二维卷积了, 那三维卷积怎么搞?
- 之前是灰度图像,现在是彩色图像就是n*n*3

如果你想同时检测多个角度的边缘该怎么办?也可以是个多维的, 其中的2就是2个不同的filter, 一般属于的图片都是n*n*n_channels(通道数)

单层卷积神经网络

上图用两个卷积核(filter),每个filter检测目的不同, 但和输入保持相同channels, 由于有两个卷积核,所以输出的channels是2(图中右下角), 没有进行边界填充p=0,步长s=1, 其维度变换按照公式 $\huge (\frac{(n-f+2p)}{s}+1) *( \frac{(n-f+2p)}{s}+1)$

黄色和深黄色检测图片,得到两张4x4特征图(图中浅蓝和紫色矩阵), 将特征图视为激活函数的输入, 这里用的是ReLU, 分别得到一张计算过的4x4的矩阵, 将两个矩阵放到一起,如右下角

CNN的一个特征:

如果每个filter的元素都是一个参数, 那么还有bias_1和bias_2等等bias, 看起来参数会很多, 但也只有这些参数了, 因为原图如果是很大, 也不会影响参数的数量, 只取决于filter, 这就是避免过拟合

以L层为例,进行维度求取总结

2⃣️POOL pooling池化层

pooling翻译成池化不太容易理解, 还有个意思是“合并”, 可以将pooling层理解成合并同类元素层

pooling池化层--静态属性, 不需要设置变量参数

作用:缩减模型大小, 提高计算速度,同时提高所提取特征的鲁棒性

pooling层根据算法不同,可以分为最大池化层, 平均池化层

max pooling 最大池化

最大值为什么呢? 就是要在任何一个象限内提取到某个特征值, 然后保留在max pooling的输出中,其实就是把卷积时的元素相乘求和变成了求最大值

Average pooling 平均池化

一样, 就是把元素相乘相加改成求平均值了

FC全链接层

全连接层就是将最后一层卷积得到的特征图（矩阵）展开成一维向量，并为分类器提供输入。

全连接层在整个网络卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话（特征提取+选择的过程），全连接层则起到将学到的特征表示映射到样本的标记空间的作用。换句话说，就是把特征整合到一起（高度提纯特征），方便交给最后的分类器或者回归。

缺点:

CNN（带有FC层）的输入图片尺寸必须是固定的, 其原因：全连接层要求固定的输入维度

(在图像预处理时需要统一resize图片的大小)

简单的CNN例子:

典型的CNN

几个典型的CNN (classic networks)

LeNet-5(上个世纪的)
AlexNet
VGG
ResNet(残差网络)(它到了152层, 并且在如何有效训练方面,总结出了很多窍门)
Inception

LeNet-5(主要针对的gray灰度图片)

AlexNet

这个论文让计算机视觉开始重视深度学习

VGG(VGG-16)

专注做卷积层, 简化了CNN

16是指包含了16个卷积层和全连接层, 大约有1亿多个参数,, 但是很规整, CONV层后紧跟着POOL层, 用来压缩图片, 减小图片H和W数值

论文揭示了:随着网络的加深, 图像的H和W都在以一定的规律不断缩小, 每次池化后刚好缩小一半, 而channnels不断增加, 也刚好是翻倍增加, 也就是说图片的缩小和信道的增加是有规律的

Residual Networks (ResNets) 残差网络

非常深的CNN是很难训练的, 存在着梯度消失和梯度爆炸的问题
学习一下skip connections(跳远连接), 它可以从某一网络层获取激活, 然后迅速的反馈到另一层, 甚至是最深的那一层, 我可以利用skip connection 构建能够训练CNN的ResNets, 有时可以超过100层
Residual block 残差块

为什么ResNets这么厉害呢???

在training set上训练好ResNet是第一步

一个网络越深, 它在训练集上训练网络的效率会有所减弱, 有了残差块就不一样了

跳远连接证明了a[l]=a[l+2], 显然后来增加的这两层没什么卵用,不会影响什么, 显然这个残差块加进去不会影响网络的传输结果

如果残差块传递过去的维度不同, 就加个参数,维持维度平衡

GOOGLE 的 Inception网络/层

先介绍1*1的卷积

这样保持了各个参数不变的情况下加入了ReLU非线性函数

这个卷积的重要性在于, 你可以根据自己想的,随便改变输出的channel数量, 并保持H和W不变

Inception网络/层

filter的参数f到底是多少, 要不要加入pool层?? 这些问题, inception给你决定, 虽然玩过架构变得复杂了, 但是表现不错

不同的filter堆叠起来, 自动选择需要哪些不同的filter

完整的inception module (注意inception就是盗梦空间的英文名)

inception做的就是将这些模块连接起来

很难通过论文来复制别人的成果, 因为涉及到了很多参数要调整,很多学者都习惯把自己成果开源放在github上, 如果你有个想法, 你可以先去开源网站看看, 能不能用别人的成果来实现, 要比你从头开始要快得多

如果你正在开发一个计算机视觉的应用
1. 选一个你喜欢的架构
2. 找一个开源的实现从GitHub上下载下来, 以此为基础开始构建
  1. 这样好就好在别人经过完美的训练了已经, 你可以迁移学习放在自己的项目上试试
迁移学习 (计算机视觉很常用)
- 不要从头开始训练权重参数之类的了, 你直接下载别人训练好的参数就行了,进展会很快, 当做预训练,然后迁移到你的任务上就行, 计算机视觉社区很喜欢把一些数据集放到网上, 比如ImageNet 和MS COCO 或者Pascal类型的数据集, 这些都有很多训练员拿来当做数据集训练过他们的算法了, 你只要把你们的公共数据集的知识迁移到自己的问题上 , 就节省了很多时间
- 看看怎么做, transfer learning迁移学习
  - 你识别一些猫, 可是你的训练集很小, 没几张图片,建议先去网上把开源的实现的项目下载下来, 不仅下载代码, 也把权重下载下来, 有很多训练好的网络, 你都可以下载,
    - 比如你可以去掉softmax输出层, 构建自己的softmax输出层, 因为别人的可能输出1000选几个, 你需要输出3个
      - 意思就是你把除了softmax输出层外的layers都看成冻结的,只训练这一层的参数, 这样你就充分使用了吧别人在前几层训练好的权重
      - 很多框架都支持你来选定专门训练哪一层的参数

数据增强是增强你计算机视觉系统表现的一个方法
- 计算机视觉: 输入一个图片, 解析像素, 然后弄清楚图片中有什么, 似乎你需要一个复杂方程, 数据越多越有帮助哦
  - 当下计算机视觉的主要问题还是无法获得充足的数据, 对于一般的机器学习应用是可以的, 但是对于计算机视觉来说是不够的
  - 因此当训练计算机模型的时候, 数据增强会有所帮助
- 常见的数据增强方法:
  - 一张图片垂直镜像对称
  - 对一张图片随机剪裁
  - 当然旋转\扭曲变换都是可以的,但是太复杂了运用很少
  - 色彩转换, 比如滤镜, 通常是RGB三色道进行修改参数值, 这样会使得你的系统对颜色的变换更具有robust鲁棒性
    - 对RGB有不同的采样方式
      - 其中一种影响色彩扭曲的算法是PCA, 即主成分分析, 有时候被称为PCA 色彩增强, 意思就是如果含红蓝比较多绿色比较少, 那么久不断增加红蓝,不怎么加绿色

当看到机器学习的应用时, 学习算法一般有两种知识来源
- 知识来源是一个被标记的数据, (x,y)
- 第二个是手工工程,精心设计的系统
  - 正是由于数据的缺乏, 计算机视觉很大程度上以来手工工程, 所以一些网络架构很复杂,很多参数
大多数的计算机视觉研究者会深入研究benchmarks基准, 这样发论文比较快, 你不会真的不说一个应用程序或者生产一个系统, 你可以让人们做的事在你的基准上

第四课-CNN与目标检测

目标检测是计算机视觉领域的一个新兴的应用方向
先了解一下方向定位
- 图片分类已经懂了, 就是算法遍历图片,判断对象是不是汽车
- 定位分类:不仅要对它进行分类, 还要定位出她的位置, 用边框或者红色框圈出来, 定位就是判断汽车在图片中的具体位置
  - 今天讲的分类定位问题, 就是一个图片中有大部分你要定位的东西, 只有一个object需要你识别和定位

而对象检测问题中, 图片可以包含多个对象,单张图片可以有不同的分类对象

图片分类帮助学习定位分类, 定位分类可以帮助对象检测

分类和定位

输入一个图片给CNN, 得到一个特征向量,然后交给softmax层最终得到你的预测值, 可能有车,行人, 树等等

当然这个图片也可以是已经处理过的特征图

想圈出来预测的东西, 就让你的CNN输出一组边界框的参数, 比如左上角右上角这种参数,

约定一下符号

training set不仅包含神经网络要预测的对象分类标签, 还包含边界框的四个数字(注意我们学的是监督学习),分别是x,y height,width

如何为监督学习任务定义目标标签y

y包含的Pc表示是不是样本, bx by bh bw是感兴趣框的位置参数, c1,c2,c3是3种类别

神经网络的损失函数L(y^, y)

构建一个检测块:(特征点检测)

把神经网络的输出的实数集看成一个回归任务(毕竟输出的也是个向量)

神经网络可以通过输出图片上特征点的(x,y)坐标来实现对目标特征的识别定位, 看几个例子:

如果你正在做一个人脸识别的应用, 你希望算法给出眼角的具体位置

你可以让CNN多输出一组特征点数值, 作为眼角坐标值

假设脸上有100个特征点, 生成包含这些特征点的标签训练集, 然后让CNN输出脸部关键特征点的位置

准备一个卷积神经网络和一些特征集, 将人脸图片输入CNN, 输出或许是1或者0, 然后再继续输出x1,y1; x2,y2 .......等等很多, 就可以框出你想要的,如果输出到x64, y64,就有 64*2+1=129个特征单元(列向量Y)

你的特征集就是包含图片和相对标签的数据集, 这些特征点都是人类辛苦标记的

注意你的输出标签要和别人标记好的保持一致, 不然就标记眼睛却说是嘴巴了

目标检测

上述是定位和特征点检测, 开始构建一个对象检测算法:

通过卷积网络convnet来进行对象检测,采用基于滑动窗口的目标检测算法

例子: 假如你想要构建一个汽车检测算法

1⃣️先创建一个标签训练集 X和Y, 表示适当剪切的汽车图片样本,(图片是个正样本, 因为他是个汽车)

2⃣️构建算法

输入图片X, convnet输出y, 0\1表示有无汽车, 训练完training set就能实现滑动窗口目标检测

sliding windows detection滑动窗口目标检测步骤:

给出特定图片:

选定一个特定大小的窗口, 当然你可以输入更大的方块比如

将这个小方块窗口输入卷积网络, 卷积网络开始预测, 就是判断红色方框内有没有汽车

小方块内有就输出1没有就0

继续移动小方块, 向右滑动,然后把方块内部的图片输入给卷积网络, 注意只是方块内部

反复很多次, 滑动过每一个角落, 就是固定步幅然后遍历图像每个区域, 就像filter一样, 每次把和小方块重叠的部分发送给convnet, 对每个位置进行01分类

sliding windows detection缺点:

计算成本, 剪切了太多的小方块, CNN要一个个的处理, 如果扩大方块, 就会影响你的应用性能,反之会增大计算量
除非使用很小的方块和很小的步长否则很难检测好

convnet的sliding windows detection的实现

讨论一下如何在卷积层上应用这个算法, 尽管他的efficiency很低

首先要会如何把CNN的全连接层转成卷积层

给一个结构如下, y改成列向量,因为要输出坐标等信息

全连接层前用400个filter来操作

CNN实现SWD

一样的CNN的output layer就是softmax单元的输出, 只是改成了1*1*4的形式

蓝色的就是之前说的小红色方框,黄色的是待检测图片

不是让小方块把图片分成4块(这个例子是4)后, 分别逐一求, 而是一起算出来之后, 再分别输出, 而且公共部分有很多相似的区域

缺点:边界框可能不准确

Bounding Box预测

YOLO算法

就是本来是对一个图片整体来进行图像分类和对象定位的, 这次把一个图片分割成9\18\等很多个格子, 对每个各自进行之前的操作如下图:

图中的y没有写全,只写了4个颜色, 实际是9个列向量, 例如: 第一个是y1, y1是一个8个元素的列向量,

交并比

如何判断对象检测算法运作良好呢?

交并比函数用来专门做这个评价的 intersection over union IoU函数

IoU函数就是计算两个边界框交集和并集之比

一般约定∩/∪大于等于0.5就是正确的

非极大值抑制

你的算法可能对同一个对象进行多次检测, 所以算法不是对某个对象检测一次,而是检测多次, 而非最大值抑制这个方法可以确保只检测一次for each example

非最大值就是你只输出概率最大的分类结果, 抑制那些不是最大概率的结果

Anchor Boxes

目前你只能让一个红方框内检测一个object, 如何同时检测出多个objects呢?

Anchor boxes

人工的给出两个box_1和box_2, 这两个box是不同的形状

把预测结果和这两个anchor box关联起来,一般你会定义出很多个box

把预测结果向量y, 重新定义,不再是每个格子之前那样定的

而是重复定义两次,(当然box此处是两个)

因为人更像box1所以y中的前8个你可以认为是和人相关的元素

去检测到的对象(红色), 和box1和box2的形状对比一下(紫色),iou高的就是了,显然这个对象是分配了两个box中了

YOLO对象检测算法

构造你的training set

假设你要训练一个算法检测行人\汽车\摩托,这里有3个标签

第一个格子是输出0和0表示什么都没有, 倒数第二个格子输出0 1表示是个车

每一个格子都会去产生两个anchor box

利用非最大值抑制,抛弃iou低的, 类别不同要单独运行非最大值抑制

RPN网络

Region Proposal Network

候选区域算法

运行卷积算法对图片每个格子同时输出时, 如果有的格子是没有任何对象的区域, 再去计算他就是浪费时间,如何避免??

R-CNN算法

带区域的卷积网络 region proposal

这个算法会选出一些区域(没有任何分类对象的区域)

图像分割法(选出候选区域)

得到右边的图片后, 对不同的色块圈起来, 跑不跑卷积算法, 看看是不是你要的

R-CNN还是很慢,R-CNN基本思想仍然是使用某种算法求出候选区域,对每个候选区域跑一跑分类器, 每个区域输出一个标签,表示有没有车\人\树等, 并输出一个方框

Fast R-CNN

Faster R-CNN

openCV中的目标检测

cascade classifier级连分类器

级联分类器

训练速度很慢,检测速度很快,可以作为一个实时检测框架,训练时往往采用5000个正样本300万个负样本人脸数据

扩展思路,只要我们通过haar和LBP特征对要检测的目标进行特征描述,我们都可以利用级联分类器进行训练,然后检测,只要你有足够的数据集,你几乎可以利用haar和LBP特征,来构造检测任何物体的级联分类器

利用的算法是AdaBoost算法,可以看蓝皮书,简单说就是几个弱分类器通过线性组合成一个强分类器,级联分类器就是把多个强分类器组合,统一命名为级联分类器,一般而言,opencv支持5-20个强分类器的级联

cv::CascadeClassifier类

openCV同样使用了抽象类对象,具体算法用方法或派生来实现的思路, 对于这个类CascadeClassifier可以存储,加载,训练级联分类器,并且提供了接口供测试调用

级联分类器在测试的时候是需要load.()一个xml文件, 这个文件存储了级联分类器的训练信息,每个级联分类器都在训练后保存一个xml文件,下次再使用时直接load该文件即可

//CascadeClassifier
 
 	CascadeClassifier (const String &filename);
 	//Loads a classifier from a file. More...
 
 	~CascadeClassifier ();
 
void 	detectMultiScale (InputArray image, //输入图像
                    std::vector< Rect > &objects, //结果boxes
                    double scaleFactor=1.1, 
//scaleFactor 决定每个尺度之间的条件有多大将其设置为一个较大的只意味着算法可能错过某些尺寸人脸的检测为代价换取更快的计算时间。 
                    int minNeighbors=3, 
// 这个参数是对阻止错误检测的控制，实际图像中人脸的定位倾向于在同一目标获得多个命中框
//将其设置为3意味着至少存在3个重叠的框,才会认为人脸存在。
                    int flags=0, //忽略,opencv1.x版本才考虑
                    Size minSize=Size(), 
//minSize和maxSize都是人脸区域的面积值,实际使用时可以过滤噪声人脸如取Size(30,30)
                    Size maxSize=Size());
 	
 
void 	detectMultiScale (InputArray image, 
                    std::vector< Rect > &objects, 
                    std::vector< int > &numDetections, 
                    double scaleFactor=1.1, 
                    int minNeighbors=3, 
                    int flags=0, Size minSize=Size(), 
                    Size maxSize=Size());
 
void 	detectMultiScale (InputArray image, 
                    std::vector< Rect > &objects, 
                    std::vector< int > &rejectLevels, 
                    std::vector< double > &levelWeights,
                    double scaleFactor=1.1, 
                    int minNeighbors=3, 
                    int flags=0, Size minSize=Size(), 
                    Size maxSize=Size(), bool outputRejectLevels=false);
 
bool 	empty () const;
 
int 	getFeatureType () const;
 
Ptr< BaseCascadeClassifier::MaskGenerator > 	getMaskGenerator ();
void * 	getOldCascade ();
 
Size 	getOriginalWindowSize () const;
 
bool 	isOldFormatCascade () const;
 
bool 	load (const String &filename);//加载训练好的cascade分类器xml文件
 
bool 	read (const FileNode &node);
 
void 	setMaskGenerator (const Ptr< BaseCascadeClassifier::MaskGenerator > &maskGenerator);

如何训练一个CascadeClassifier呢?

步骤:

确定数据集格式;

收集样本数据;

训练cascadeclassifer

第一步opencv_createsamples.exe获得需要的vec文件,

第二步通过openv_traincascade.exe 获得xml文件,即cascadeclassifer的训练信息文件

1⃣️数据集相关

数据集的文件存储层级,Myfaces为相对根目录

Myfaces/
    Positive/
        img/
            face_1jpg
            face_2.jpg
            face_3.jpg       
            ...
        positive.dat
    Negative/
        img/
            negativeImgBL_1.jpg
            negativeImgTL_1.jpg
            ...
        negative.txt

数据集格式:

把数据集进行一个整合,正样本要是固定尺寸的人脸,负样本只要没有人脸就行了,正负样本数量1:3,最好是1万个正样本,越多越好

在training set中:

对于正样本

需要两种文件, 第一种是.jpg/.png等图片文件, 另一种是.dat文件,该文件存储关于训练图片中人脸的信息,如下:

(为了方便,可以直接摄像头获取人脸然后resize只保留人脸部分,这样bndbox的左上角全部写成0,0 bndbox的宽高就是该图片的宽高, 当然也可以使用常规数据集,这里使用前者)

//info.dat
img/01/s1.png 1 0 0 176 176
img/01/s10.png 1 0 0 105 105
// img文件夹/01类文件夹(这里是第一个人的人脸数据)/图片
// 数字1 是表示该图有1个人脸, 0 0表示对应的bndbox左上角的坐标, 176 176 是图像宽高

对于负样本

也需要两种,一种是jpg/png另一种是txt文件.内容如下

//bg.txt
C:/Users/sherlock/Documents/Myfaces/Negative/img/negativeImgBL_2.jpg
C:/Users/sherlock/Documents/Myfaces/Negative/img/negativeImgBR_2.jpg
// 直接是在负样本文件夹中/图片 
// 尺寸随便选择

获取数据集

人脸数据集网上有很多,这里我只写出我自己人脸的获取和描述文件生成,构建我自己人脸的数据集 opencv提供了一些已经训练好的cascade classifier的xml文件,在“opencv3.4.10/build/etc/haarcascades/”文件夹中(安装了contrib的需要去install/etc/haarcascades/查看)

使用这个xml直接创建cv::CascadeClassifier对象

收集时用到的代码(没有封装)

#include "QtWidgetsApplication1.h"
#include 

//C++头文件
#include 
#include 
#include 
#include 
#include 
/*人脸数据采集部分*/
using namespace cv;
using namespace std;
//加载haar库的人脸特征数据
string haar_face_datapath = "C:/opencv/newBuild/install/etc/haarcascades/haarcascade_frontalface_alt_tree.xml";
int main(int argc, char** argv) {
	VideoCapture capture(0); // open camera
	if (!capture.isOpened()) {
		printf("could not open camera.../n");
		return -1;
	}
	Size S = Size((int)capture.get(CAP_PROP_FRAME_WIDTH), (int)capture.get(CAP_PROP_FRAME_HEIGHT));
	//获取数据宽度高度
	int fps = capture.get(CAP_PROP_FPS);
	//获取图片的帧数
	CascadeClassifier faceDetector;//级联分类器
	faceDetector.load(haar_face_datapath);//把人脸特征加入到分类器中

	Mat frame;
	namedWindow("camera-demo", WINDOW_FULLSCREEN);
	vector faces;  //创建一个人脸目标序列
	int count = 0;
	fstream filePos("C:/Users/sherlock/Documents/Myfaces/Positive/positive.txt",ios::trunc|ios::_Noreplace|ios::in|ios::out);//创建文件对象, 打开时清空,不存在时创建
	fstream fileNeg("C:/Users/sherlock/Documents/Myfaces/Negative/negative.txt", ios::trunc | ios::_Noreplace | ios::in | ios::out);//创建文件对象, 打开时清空,不存在时创建

	//需要提前清空Myfaces文件夹
	if (filePos.is_open())
	{
		while (capture.read(frame)) {
			flip(frame, frame, 1); //防止左右颠倒
			faceDetector.detectMultiScale(frame, faces, 1.1, 1, 0, Size(100, 120), Size(400, 450));//对每一帧检测到的人脸框存到vector中
			for (int i = 0; i < faces.size(); i++) {
				//生成正样本
				Mat dst;
				resize(frame(faces[i]), dst, Size(500, 500));//把每个图片都设置成同样的尺寸
				rectangle(frame, faces[i], Scalar(0, 0, 255), 2, 8, 0);//绘制矩形框

				//保存正样本				每次人脸样本图片宽高并不相同
				imwrite(format("C:/Users/sherlock/Documents/Myfaces/Positive/img/face_%d.jpg", count), dst);
				filePos << format("img/face_%d.jpg 1 0 0 %d %d\n", count, faces[i].width, faces[i].height);

				//生成负样本, 个数和正样本1:4,为了方便,取该帧和正样本宽高相同的四个角
				Mat dstNegTL = frame(Rect(0, 0, faces[i].width, faces[i].height));
				//Mat dstNegTR = frame(Rect(0, 0, faces[i].width, faces[i].height));
				//Mat dstNegBL = frame(Rect(0, 0, faces[i].width, faces[i].height));
				//Mat dstNegBR = frame(Rect(0, 0, faces[i].width, faces[i].height));

				imwrite(format("C:/Users/sherlock/Documents/Myfaces/Negative/img/negativeImgTL_%d.jpg", count), dstNegTL);
				//imwrite(format("C:/Users/sherlock/Documents/Myfaces/Negative/img/negativeImgTR_%d.jpg", count), dstNegTR);
				//imwrite(format("C:/Users/sherlock/Documents/Myfaces/Negative/img/negativeImgBL_%d.jpg", count), dstNegBL);
				//imwrite(format("C:/Users/sherlock/Documents/Myfaces/Negative/img/negativeImgBR_%d.jpg", count), dstNegBR);

				fileNeg << format("img/negativeImgTL_%d.jpg\n",count);
				//fileNeg << format("img/negativeImgTR_%d.jpg\n", count);
				//fileNeg << format("img/negativeImgBL_%d.jpg\n", count);
				//fileNeg << format("img/negativeImgBR_%d.jpg\n", count);


				count++;
			}
			imshow("camera-demo", frame);
			char c = waitKey(10);
			if (c == 27) {
				break;
			}
		}
	}
	else
	{
		cout << "no file open" << endl;
	}

	filePos.close();
	fileNeg.close();
	capture.release();

	waitKey(0);
	return 0;
}

2⃣️训练关于人脸(我)的cascade classifier

这里用到openCV提供的两个文件

opencv3.4.10\build\x64\vc14\bin\opencv_createsamples.exe

opencv3.4.10\build\x64\vc14\bin\openv_traincascade.exe

opencv_createsamples.exe

.vec文件是正样本文件,需要opencv_createsamples.exe生成

结果:

openv_traincascade.exe

结果:

【N HR FA】

9 0.996429 0.667

N表示当前强分类器的弱分类器（即决策树）的训练得到的数量，HR表示当前强分类器的识别率，FA表示当前强分类器的错误率。我们从倒数第2行开始，此时训练得到了10棵决策树，识别率为99.6429%，错误率为66.7%，识别率满足了要求，即大于最小识别率99%，但是错误率不满足要求，即它最大错误率为50%，所以还需要继续训练，当又得到一颗决策树时，（此时有10棵决策时），识别率和错误率都满足了要求。（99.5714% > 99%，43.5% < 50%）

表示此时该级的强分类器已经得到，因为识别率和错误率都满足了要求，所以此级分类器的训练结束。

【Training until now has taken 2 days 17 hours 55 minutes 49 seconds】

表示到目前为止，训练级联分类器共用时2天17时55分49秒

问题：traincascade's error (Required leaf false alarm rate achieved. Branch training terminated.)

解析：虚警率已经达标不再继续训练，这里不能说是一个错误，只能说制作出来的xml文件可能较差

解决办法：先测试一下生成的cascade.xml，如果效果没有达到你的预期，有以下几个解决方案：
1：maxfalsealarm值应该设定到0.4 - 0.5之间
2：正负样本数太少，增大样本数

你可能感兴趣的:(DIP,机器学习,OpenCV3学习笔记)

C++学习笔记（lambda函数） __TAT__ C&C++c++学习笔记
C++learningnote1、lambda函数的语法2、lambda函数的几种用法1、lambda函数的语法lambda函数的一般语法如下：[capture_clause](parameters)->return_type{function_body}capture_clause：需要捕获的变量，但要求该变量必须在这个作用域中。通常的捕获方式有以下几种：[]：不捕获任何变量[&]：按引用捕获变
ES-LTR粗排模块 poins jenkins 运维
ES-LTR粗排模块官方资源：https://github.com/HeiBoWang/elasticsearch-learning-to-rankElasticsearch学习排名插件使用机器学习提高搜索相关性排名。它为维基媒体基金会和Snagajob等地方的搜索提供了动力！这个插件有什么功能此插件：允许您在Elasticsearch中存储特征（Elasticsearch查询模板）记录特征得分（
2018-11-18成长小组学习笔记实验中学45
因为嗓子“罢工”，我面对众人只能借“微笑”代言。在开始授课前，绣霞老师先反馈上次作业的情况，提到“接纳”需是真正发自内心的完全接纳，而不是口头上的接纳，内心却是排斥的。提到一个“问题”孩子恰恰对家爱的更加“深沉”，夫妻间的问题不能影响到孩子，对孩子更好的爱不是你为他做的更多，而是给他自由、健康成长的空间。图片发自App一、孩子：家庭的一面镜子夫妻成了彼此的“投射”，婚姻便“吵的不可开交”，婚姻便成
python清华大学出版社答案_Python机器学习及实践 weixin_39805119 python清华大学出版社答案
第1章机器学习的基础知识1.1何谓机器学习1.1.1传感器和海量数据1.1.2机器学习的重要性1.1.3机器学习的表现1.1.4机器学习的主要任务1.1.5选择合适的算法1.1.6机器学习程序的步骤1.2综合分类1.3推荐系统和深度学习1.3.1推荐系统1.3.2深度学习1.4何为Python1.4.1使用Python软件的由来1.4.2为什么使用Python1.4.3Python设计定位1.4.
数据管理知识体系指南（第二版）-第五章——数据建模和设计-学习笔记键盘上的五花肉数据治理数据库数据仓库数据治理
目录5.1引言5.1.1业务驱动因素5.1.2目标和原则5.1.3基本概念5.2活动5.2.1规划数据建模5.2.2建立数据模型5.2.3审核数据模型5.2.4维护数据模型5.3工具5.3.1数据建模工具5.3.2数据血缘工具5.3.3数据分析工具5.3.4元数据资料库5.3.5数据模型模式5.3.6行业数据模型5.4方法5.4.1命名约定的最佳实践5.4.2数据库设计中的最佳实践5.5数据建模和
Java学习笔记01 .wsy. 日常 java 学习笔记
1.1Java简介Java的前身是Oak，詹姆斯·高斯林是java之父。1.2Java体系Java是一种与平台无关的语言，其源代码可以被编译成一种结构中立的中间文件（.class，字节码文件）于Java虚拟机上运行。1.2.3专有名词JDK提供编译、运行Java程序所需要的种种工具及资源。JRE是运行Java所依赖的环境的集合。JVM是一个虚构出来的计算机，通过在实际的计算机上仿真模拟各种计算机功
UNDERSTANDING HTML WITH LARGE LANGUAGE MODELS liferecords LLM 语言模型人工智能自然语言处理
UNDERSTANDINGHTMLWITHLARGELANGUAGEMODELS相关链接：arXiv关键字：大型语言模型、HTML理解、Web自动化、自然语言处理、机器学习摘要大型语言模型（LLMs）在各种自然语言任务上表现出色。然而，它们在HTML理解方面的能力——即解析网页的原始HTML，对于自动化基于Web的任务、爬取和浏览器辅助检索等应用——尚未被充分探索。我们为HTML理解模型（经过微调
【Git安装及使用学习笔记】可可西里啊零零散散的学习笔记 git 学习笔记 c++qt5
Git学习笔记Git安装Git创建本地版本库以及提交文件使用Git提交代码到码云使用Git从码云拉取代码参考博客Git安装这里参考Git详细安装教程（详解Git安装过程的每一个步骤）Git创建本地版本库以及提交文件1.查看git版本信息：git--version2.设置对应用户名与邮箱地址gitconfig--globaluser.name"your_usernamegitconfig--glob
C#学习笔记 2301_79022588 学习笔记
一、事件派发器在C#中，事件派发器通常是指事件委托和事件处理程序的组合，用于实现一种观察者设计模式。它允许对象在状态发生变化时通知其他对象，从而实现对象之间的解耦。事件派发器的基本组成部分：事件委托（EventDelegate）：事件委托是一种特殊的委托，用于封装可以被调用的方法。它定义了事件的签名，即指定了事件处理程序方法的参数和返回类型。通常，事件委托声明在事件派发器类的外部，并且使用dele
OpenCV（一个C++人工智能领域重要开源基础库）简介愚梦者 OpenCV 人工智能人工智能 opencv c++图像处理计算机视觉开源
返回：OpenCV系列文章目录（持续更新中......）上一篇：OpenCV4.9.0配置选项参考下一篇：OpenCV4.9.0开源计算机视觉库安装概述引言：OpenCV（全称OpenSourceComputerVisionLibrary）是一个基于开放源代码发行的跨平台计算机视觉库，可以用来进行图像处理、计算机视觉和机器学习等领域的开发。该库由英特尔公司于1999年开始开发，最初是为了加速处理器
零基础机器学习(5)之线性回归模型的性能评估一只特立独行猪机器学习机器学习线性回归人工智能
文章目录线性回归模型的性能评估1.举例1-单一特征2.举例2-多特征线性回归模型的性能评估评估线性回归模型时，首先要建立评估的测试数据集（测试集不能与训练集相同），然后选择合适的评估方法，实现对线性回归模型的评估。回归任务中最常用的评估方法有均方误差、均方根误差和预测准确率（确定系数）。1.举例1-单一特征分别对两个模型进行评估，输入的测试集如表所示。面积/（m2）售价/（万元）面积/（m2）售价
Java学习笔记04：Java_数组 JasonYangQ Java java
文章目录1.数组1.1数组介绍1.2数组的定义格式1.2.1第一种格式1.2.2第二种格式1.3数组的动态初始化1.3.1什么是动态初始化1.3.2动态初始化格式1.3.3动态初始化格式详解1.4数组元素访问1.4.1什么是索引1.4.2访问数组元素格式1.4.3示例代码1.5内存分配1.5.1内存概述1.5.2java中的内存分配1.9数组的静态初始化1.9.1什么是静态初始化1.9.2静态初始
【编译原理】一篇就够了——学习笔记与课程实验超详细整理一棵___大树编译原理学习笔记学习算法
⭐⭐⭐⭐⭐⭐Github主页https://github.com/A-BigTree更多学习笔记链接https://github.com/A-BigTree/college_assignment编译原理实验https://github.com/A-BigTree/college_assignment/compiler_Experiment如果可以，麻烦各位看官顺手点个star~如果文章对你有所帮助
Java学习笔记：atomic的实现原理？曲钟人散
在多线程的场景中，我们需要保证数据安全，就会考虑同步的方案，通常会使用synchronized或者lock来处理，使用了synchronized意味着内核态的一次切换。这是一个很重的操作。有没有一种方式，可以比较便利的实现一些简单的数据同步，比如计数器等等。concurrent包下的atomic提供我们这么一种轻量级的数据同步的选择。classMyThreadimplementsRunnable{
Python学习笔记07 正文01 python 学习笔记
第十三章，面向对象初识对象生活中数据的组织学校开学，要求学生填写自己的基础信息，一人发一张白纸，让学生自己填我叫林军杰，今年31岁.来自山东省，我是男的，中国人内容混乱改为登记表，打印出来让学生自行填写：姓名林军杰姓别男国籍中国籍贯山东省年龄31整洁明了程序中数据的组织在程序中简单使用变量来记录学生信息student_1={"姓名"："周杰轮"，"性别"："男"，"国籍"："中国"，"籍贯"："台
Python学习笔记03 正文01 python 学习笔记
第五章、Python函数函数介绍函数函数：是组织好的，可重复使用的，用来实现特定功能的代码段name="itheima"length=len(name)print(length)输出结果：7为什么随时都可以使用len()统计长度？因为，len()是Python内置的函数：是提前写好的可以重复使用实现统计长度这一特定功能的代码段我们使用过的：input()、print()、str()、int()等都
揭秘物联网网关，如何工作？功能及选择网关的主要考虑因素东胜物联硬件知识东胜产品物联网嵌入式硬件智能硬件智能网关
【前言】本篇为物联网硬件系列学习笔记，分享学习，欢迎评论区交流~在物联网时代，物联网网关至关重要。它充当传统通信网络和传感网络之间的桥梁。物联网网关作为M2M网关，可以实现各类感知网络之间、感知网络与通信网络之间的协议转换。同时，它能够实现广域和局域连接。此外，物联网网关还要求具备设备管理功能，以便操作人员能够管理底层传感节点，了解各节点的相关信息，实现实时显示、异常报警和远程控制。物联网网关如何
2022-05-14 败者食尘_40a0
本文结构速览：一、SQL题二、机器学习&概率论三、开放性问题01SQL题面试真题：现有一张用户签到表（user_sign_d）,标记用户每日是否签到，表结构如下sign_date:日期user_id:用户IDif_sign:当日是否签到,1表示签到，0表示未签到问题①：请计算截止到当前每个用户已经连续签到的天数（输出表仅包含当天签到的所有用户，计算其连续签到的天数）输出表结构如下：user_id:
Android 实现照片抠出人像。 No Promises﹉ android
谢谢阅览、关注！！一、各平台的实现方式：1.Android实现方式：使用图像处理库（如OpenCV）：集成OpenCV库，利用其图像处理功能进行边缘检测和图像分割；使用机器学习模型（如TensorFlowLite）：集成TensorFlowLite和预训练的人像分割模型；使用第三方API服务：利用如百度AI、腾讯AI等提供的在线API进行图像处理。步骤：集成必要的库或API、加载和处理图像、应用抠
c++学习笔记（8）有趣的树人 c++学习笔记
1.C++中的strlen函数用于计算字符串的长度，直到遇到空字符（'0'）为止，但不包括这个空字符本身。strlen是C语言标准库中的一个函数，它的作用是确定一个以空字符结尾的字符数组（即C风格字符串）的长度。这个函数在头文件中定义，通常在需要知道字符串长度时使用，例如在复制或比较字符串时。关键点：函数原型：size_tstrlen(constchar*str)，其中size_t是一个无符号整数
学习笔记：TBL团队合作学习法琦0227
最近几讲陈蕾老师一直围绕着小组活动展开，先是澄清了小组活动的三种形式：对话，讨论与合作；接着给出了合作学的三种方法：TPS，四聚头法，拼图法；然后带领我们认识实施合作学习的五要素。有浅入深，让我们对小组活动的认知螺旋上升。今天这一讲TBL团队学习法。结合前面的学习，TBL与一般小组合作学习的不同之处在于：第一：TBL有固定且目的性的异质分组。一般小组合作我们常采用同桌两两一组，前后桌四人一组等比较
Python学习笔记 —— 文件处理模块 miles-zh python python
Excel文件openpyxl读/写Excel文件，https://pypi.org/project/openpyxlxlwt创建Excel文件，设置单元格样式，https://pypi.org/project/xlwtxlrd读取Excel文件，https://pypi.org/project/xlrdxlutils修改Excel文件，https://pypi.org/project/xluti
Java学习笔记之Java基础语法01-变量与常量神马都会亿点点的毛毛张编程笔记编程实战 java 学习笔记
文章目录0.前言1.注释1.1注释格式1.2使用的技巧2.关键字2.1概念2.2class关键字2.3保留字3.字面量3.1字面量种类3.2常用转义字符4.变量4.1变量定义4.2数据类型1.分类2.基本数据类型(四类八种)3.变量初始化细节4.3计算机中的数据存储4.4练习练习1练习2练习34.5标识符1.硬性要求：2.命名原则A.小驼峰命名法B.大驼峰命名法C.阿里巴巴命名规范细节：0.前言本
web学习笔记（四十二） shan33__ 笔记前端学习笔记 javascript 开发语言
目录1.ECMAScript新特性-async和await1.1async函数1.2await函数1.3补充：2.ES6模块化2.1模块化的优点2.2ES6模块化语法2.3ES6模块暴露2.4ES6模块导入1.ECMAScript新特性-async和await1.1async函数async函数可以单数使用，但一般我们会将async函数和await函数结合使用，可以让异步代码像同步代码一样运行，也可
Python机器学习笔记：CART算法实战战争热诚
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote前言在python机器学习笔记：深入学习决策树算法原理一文中我们提到了决策树里的ID3算法，C4.5算法，并且大概的了
beego框架基础知识学习笔记一弓虽 beego框架学习 beego 学习
网站beegogithub地址：https://github.com/beego/beegobeego中文学习文档：http://beego.gocn.vip/beego/zh/developing/什么是beegobeego是一个快速开发go应用的HTTP框架他可以用来快速开发API、Web及后端服务等各种应用bee工具什么是beebee工具是一个为了协助快速开发beego项目而创建的项目，通过
RabbitMQ学习笔记：节点名称详解、rabbitmq-server、及rabbitmq-env.conf Bejpse java java 后端
rabbitmq-serverrabbitmq-server启动一个RabbitMQ节点1.rabbitmq-server在前端启动一个RabbitMQ节点，示例如下：[root@rabbit3rabbitmq]#rabbitmq-server####RabbitMQ3.8.1##############Copyright(c)2007-2019PivotalSoftware,Inc.######
机器学习是什么三花学编程机器学习
机器学习是什么？机器学习，这一词汇在当今的科技领域中可谓炙手可热，其影响深远，不仅改变了科学研究的方式，也推动了社会的快速发展。那么，机器学习到底是什么呢？机器学习，顾名思义，是机器（通常指计算机）进行学习的过程。这个过程模仿了人类的学习方式，通过经验积累，不断优化自身性能，最终能够在没有人类直接干预的情况下，进行决策或预测。简单来说，机器学习就是让计算机具备从数据中学习并自动改进的能力。机器学习
设计模式学习笔记 - 设计原则与思想总结：2.运用学过的设计原则和思想完善之前性能计数器项目陈建111 设计模式-实战设计原则思想实战
概述在《设计原则-10.实战：针对非业务的通用框架开发，如何做需求分析和设计及如何实现一个支持各种统计规则的性能计数器》中，我们讲解了如何对一个性能计数器框架进行分析、设计与实现，并且实践了一些设计原则和设计思想。当时提到，小步快跑、逐步迭代式一种非常实用的开发模式。所以，针对这个框架的开发，我们分多个版本来逐步完善。《设计原则-10.实战：针对非业务的通用框架开发，如何做需求分析和设计及如何实现
设计模式学习笔记 - 规范与重构 - 7.实践：通过一段ID生成器代码，学习如何发现代码质量问题陈建111 设计模式-实战代码质量重构
前言前面讲了重构相关的知识点。用一句话总结：重构就是发现代码质量问题，并且对其进行优化的过程。今天借助一个ID生成器代码，给你展示以下重构的大致过程。背景介绍在软件开发中，ID常用来表示一些业务信息的唯一标识，比如订单的单号、数据库中的唯一主键。假设你正参与一个后端业务系统的开发，为了方便在请求出错时排查问题，在写代码的时候会在关键路径上打印日志。某个请求出错后，希望能搜索出这个请求对应的所有日志
java数字签名三种方式知了ing java jdk
以下3钟数字签名都是基于jdk7的 1，RSA String password="test"; // 1.初始化密钥 KeyPairGenerator keyPairGenerator = KeyPairGenerator.getInstance("RSA"); keyPairGenerator.initialize(51
Hibernate学习笔记 caoyong Hibernate
1>、Hibernate是数据访问层框架，是一个ORM(Object Relation Mapping)框架，作者为:Gavin King 2>、搭建Hibernate的开发环境 a>、添加jar包: aa>、hibernatte开发包中/lib/required/所
设计模式之装饰器模式Decorator（结构型）漂泊一剑客 Decorator
1. 概述若你从事过面向对象开发，实现给一个类或对象增加行为，使用继承机制，这是所有面向对象语言的一个基本特性。如果已经存在的一个类缺少某些方法，或者须要给方法添加更多的功能（魅力），你也许会仅仅继承这个类来产生一个新类—这建立在额外的代码上。
读取磁盘文件txt，并输入String 一炮送你回车库 String
public static void main(String[] args) throws IOException { String fileContent = readFileContent("d:/aaa.txt"); System.out.println(fileContent);
js三级联动下拉框 3213213333332132 三级联动
//三级联动省/直辖市<select id="province"></select> 市/省直辖<select id="city"></select> 县/区 <select id="area"></select>
erlang之parse_transform编译选项的应用 616050468 parse_transform 游戏服务器属性同步 abstract_code
最近使用erlang重构了游戏服务器的所有代码，之前看过C++/lua写的服务器引擎代码，引擎实现了玩家属性自动同步给前端和增量更新玩家数据到数据库的功能，这也是现在很多游戏服务器的优化方向，在引擎层面去解决数据同步和数据持久化，数据发生变化了业务层不需要关心怎么去同步给前端。由于游戏过程中玩家每个业务中玩家数据更改的量其实是很少
JAVA JSON的解析 darkranger java
// { // “Total”：“条数”， // Code: 1, // // “PaymentItems”:[ // { // “PaymentItemID”:”支款单ID”, // “PaymentCode”:”支款单编号”, // “PaymentTime”:”支款日期”, // ”ContractNo”:”合同号”， //
POJ-1273-Drainage Ditches aijuans ACM_POJ
POJ-1273-Drainage Ditches http://poj.org/problem?id=1273 基本的最大流，按LRJ的白书写的 #include<iostream> #include<cstring> #include<queue> using namespace std; #define INF 0x7fffffff int ma
工作流Activiti5表的命名及含义 atongyeye 工作流 Activiti
activiti5 - http://activiti.org/designer/update在线插件安装 activiti5一共23张表 Activiti的表都以ACT_开头。第二部分是表示表的用途的两个字母标识。用途也和服务的API对应。 ACT_RE_*: 'RE'表示repository。这个前缀的表包含了流程定义和流程静态资源（图片，规则，等等）。 A
android的广播机制和广播的简单使用百合不是茶 android 广播机制广播的注册
Android广播机制简介在Android中，有一些操作完成以后，会发送广播，比如说发出一条短信，或打出一个电话，如果某个程序接收了这个广播，就会做相应的处理。这个广播跟我们传统意义中的电台广播有些相似之处。之所以叫做广播，就是因为它只负责“说”而不管你“听不听”，也就是不管你接收方如何处理。另外，广播可以被不只一个应用程序所接收，当然也可能不被任何应
Spring事务传播行为详解 bijian1013 java spring 事务传播行为
在service类前加上@Transactional，声明这个service所有方法需要事务管理。每一个业务方法开始时都会打开一个事务。 Spring默认情况下会对运行期例外(RunTimeException)进行事务回滚。这
eidtplus operate 征客丶 eidtplus
开启列模式: Alt+C 鼠标选择 OR Alt+鼠标左键拖动列模式替换或复制内容(多行): 右键-->格式-->填充所选内容-->选择相应操作 OR Ctrl+Shift+V(复制多行数据,必须行数一致) -------------------------------------------------------
【Kafka一】Kafka入门 bit1129 kafka
这篇文章来自Spark集成Kafka(http://bit1129.iteye.com/blog/2174765)，这里把它单独取出来，作为Kafka的入门吧下载Kafka http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 2.10表示Scala的版本，而0.8.1.1表示Kafka
Spring 事务实现机制 BlueSkator spring 代理事务
Spring是以代理的方式实现对事务的管理。我们在Action中所使用的Service对象，其实是代理对象的实例，并不是我们所写的Service对象实例。既然是两个不同的对象，那为什么我们在Action中可以象使用Service对象一样的使用代理对象呢？为了说明问题，假设有个Service类叫AService，它的Spring事务代理类为AProxyService，AService实现了一个接口
bootstrap源码学习与示例：bootstrap-dropdown（转帖） BreakingBad bootstrap dropdown
bootstrap-dropdown组件是个烂东西，我读后的整体感觉。一个下拉开菜单的设计： <ul class="nav pull-right"> <li id="fat-menu" class="dropdown">
读《研磨设计模式》-代码笔记-中介者模式-Mediator bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /* * 中介者模式（Mediator）：用一个中介对象来封装一系列的对象交互。 * 中介者使各对象不需要显式地相互引用，从而使其耦合松散，而且可以独立地改变它们之间的交互。 * * 在我看来，Mediator模式是把多个对象（
常用代码记录 chenjunt3 UI Excel J#
1、单据设置某行或某字段不能修改 //i是行号,"cash"是字段名称 getBillCardPanelWrapper().getBillCardPanel().getBillModel().setCellEditable(i, "cash", false); //取得单据表体所有项用以上语句做循环就能设置整行了 getBillC
搜索引擎与工作流引擎 comsci 算法工作搜索引擎网络应用
最近在公司做和搜索有关的工作，(只是简单的应用开源工具集成到自己的产品中)工作流系统的进一步设计暂时放在一边了，偶然看到谷歌的研究员吴军写的数学之美系列中的搜索引擎与图论这篇文章中的介绍，我发现这样一个关系(仅仅是猜想) -----搜索引擎和流程引擎的基础--都是图论，至少像在我在JWFD中引擎算法中用到的是自定义的广度优先
oracle Health Monitor daizj oracle Health Monitor
About Health Monitor Beginning with Release 11g, Oracle Database includes a framework called Health Monitor for running diagnostic checks on the database. About Health Monitor Checks Health M
JSON字符串转换为对象 dieslrae java json
作为前言,首先是要吐槽一下公司的脑残编译部署方式,web和core分开部署本来没什么问题,但是这丫居然不把json的包作为基础包而作为web的包,导致了core端不能使用,而且我们的core是可以当web来用的(不要在意这些细节),所以在core中处理json串就是个问题.没办法,跟编译那帮人也扯不清楚,只有自己写json的解析了.
C语言学习八结构体，综合应用，学生管理系统 dcj3sjt126com C语言
实现功能的代码： # include <stdio.h> # include <malloc.h> struct Student { int age; float score; char name[100]; }; int main(void) { int len; struct Student * pArr; int i,
vagrant学习笔记 dcj3sjt126com vagrant
想了解多主机是如何定义和使用的, 所以又学习了一遍vagrant 1. vagrant virtualbox 下载安装 https://www.vagrantup.com/downloads.html https://www.virtualbox.org/wiki/Downloads 查看安装在命令行输入vagrant 2.
14.性能优化-优化-软件配置优化 frank1234 软件配置性能优化
1.Tomcat线程池修改tomcat的server.xml文件： <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" maxThreads="1200" m
一个不错的shell 脚本教程入门级 HarborChung linux shell
一个不错的shell 脚本教程入门级建立一个脚本　　Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne shell中运行）。　　如同其他语言一样
Spring4新特性——核心容器的其他改进 jinnianshilongnian spring 动态代理 spring4 依赖注入
Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API Spring4新
Linux设置tomcat开机启动 liuxingguome tomcat linux 开机自启动
执行命令sudo gedit /etc/init.d/tomcat6 然后把以下英文部分复制过去。（注意第一句#!/bin/sh如果不写，就不是一个shell文件。然后将对应的jdk和tomcat换成你自己的目录就行了。 #!/bin/bash # # /etc/rc.d/init.d/tomcat # init script for tomcat precesses
第13章 Ajax进阶（下） onestopweb Ajax
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
Troubleshooting Crystal Reports off BW blueoxygen BO
http://wiki.sdn.sap.com/wiki/display/BOBJ/Troubleshooting+Crystal+Reports+off+BW#TroubleshootingCrystalReportsoffBW-TracingBOE Quite useful, especially this part: SAP BW connectivity For t
Java开发熟手该当心的11个错误 tomcat_oracle java jvm 多线程单元测试
#1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目可以在属性文件中配置，那么使它成为
正则表达式大全 yang852220741 html 编程正则表达式
今天向大家分享正则表达式大全，它可以大提高你的工作效率正则表达式也可以被当作是一门语言，当你学习一门新的编程语言的时候，他们是一个小的子语言。初看时觉得它没有任何的意义，但是很多时候，你不得不阅读一些教程，或文章来理解这些简单的描述模式。一、校验数字的表达式数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,}$ m-n位的数字：^\d{m,n}$