虽然这个比较放最前面,其实老师是在讲解logistics回归的三个步骤的过程中每一个步骤都比较一下的。
老师的套路就是概述中提到的,机器学习很简单就是三个步骤,现在学习logistics regression,也是按三个步骤来进行。
顺便熟悉Latex公式输入,可以这个网站进行速查
在线Latex公式
其中w是n维向量,它的每个维度dimension用下标i进行标记
选择不同的w和b就得到不同的function,所有的w和b不同的组合,就形成了function set,每个function其实就是特定的w和b,给定x,属于c1类的概率,用图像的方式来表示function set,其中xi是输入,wi是权重weight,常数b是bias,输出值是概率probability。
L ( w , b ) L(w,b) L(w,b)的含义是给定w和b,得到 x 1 , x 2 , x 3 . . . . . . x N x^1,x^2,x^3......x^N x1,x2,x3......xN的概率,而 w ∗ 和 b ∗ w^*和b^* w∗和b∗是使得这个概率最大的两个参数。
w ∗ , b ∗ = a r g m a x w , b L ( w , b ) w^*,b^*=arg\underset{w,b}{max}L(w,b) w∗,b∗=argw,bmaxL(w,b)等价于求最小 w ∗ , b ∗ = a r g m i n w , b [ − l n L ( w , b ) ] w^*,b^*=arg\underset{w,b}{min}[-lnL(w,b)] w∗,b∗=argw,bmin[−lnL(w,b)]
下面那里是 − l n L ( w , b ) -lnL(w,b) −lnL(w,b)的展开,这个展开的每一项为什么可以变成箭头右边的东西?因为:
PS:老师ppt里面有点错,手动改了一下。
上图中当输入的xi属于C1时 y ∧ \overset{\wedge}{y} y∧为1,反之为 0 = 1 − y ∧ 0=1-\overset{\wedge}{y} 0=1−y∧(因为是二分类问题)。所以把上图带入箭头后面的公式就会发现,这样的写法是等价的:
把上面的内容整理一下,得到:
蓝色字是很大一个坑,第一次接触会有点听不懂,先记下来,大概意思是说这个式子代表两个伯努利分布的交叉熵。
交叉熵的公式是:
H ( p , q ) = − ∑ x p ( x ) l n ( q ( x ) ) H(p,q)=-\underset{x}{\sum}p(x)ln(q(x)) H(p,q)=−x∑p(x)ln(q(x))
交叉熵的含义老师给出解释是:两个分布接近的程度。如果两个分布一模一样,则 H ( p , q ) = 0 H(p,q)=0 H(p,q)=0,也就是说我们把function的输出 f ( x n ) f(x^n) f(xn)以及target即 y n ∧ \overset{\wedge}{y^n} yn∧看成两个伯努利分布,我们希望这两个分布越接近越好,越接近则他们二者的交叉熵也就越小,目标就是要最小化cross entropy。
挖坑:为什么逻辑斯蒂回归不用线性回归中的方差作为损失函数的形式?
总体思想:梯度下降
已有公式:
求导数:
由于 l n f w , b ( x n ) lnf_{w,b}(x^n) lnfw,b(xn)从已有公式中可以看出它是一个复合函数,所以它对 w i w_i wi求偏导可以使用链式法则:
这里基本都可以秒懂,可能有些同学对于 ∂ σ ( z ) ∂ z {\frac {\partial \sigma(z)}{\partial z}} ∂z∂σ(z)的计算不清楚,这里有两个方法,一个就直接当公式记下来,另外一个就是理解一下,老师给出 σ ( z ) \sigma (z) σ(z)和 ∂ σ ( z ) ∂ z {\frac {\partial \sigma(z)}{\partial z}} ∂z∂σ(z)的图形,可以看到 σ ( z ) \sigma (z) σ(z)的头尾两端变化比较小(斜率小),中间变化比较大(斜率大)上面的式子消掉 σ ( z ) \sigma (z) σ(z)
,
然后带回去:
同理,用链式法则算右边那项:
带入后:
整理:
把蓝色部分 x i n x^n_i xin提出来,绿色部分展开,然后消掉得到结果。
然后老师对这个结果做了一个解释。
整个梯度更新涉及三个因素:
假设我们现在用square error来计算损失函数会发生什么?
其实红线部分上一节有计算,担心看不懂,所以标一下,上下红线是对应的。
如果第n笔数据的标签是class1,也就是它的 y n ∧ = 1 \overset{\wedge}{y^n}=1 yn∧=1,则它对应两种函数的输出计算出来的偏导都为0,上面那个合理,下面那个不合理。
同理:
做图来看:
红色是square error。可以从图中看出,中心点为最低点,最低点Loss为0,这个没错,但是离中心点很远的地方,它的Loss也为0,意味着它的参数update速度很慢,实际程序运行就好像卡住一样,反观交叉熵,离中心点越远,他的偏导值越大,更新参数步伐也就越大。
当然square error可以把learning rate设置大一点,以解决梯度参数update过慢的问题,但是这样也会有问题,如果初始点就在中心点附近,这个时候过大的learning rate可能over shooting。
总之使用square error来做二分类在编程上或者说理论上没有问题,但是没有交叉熵来的顺。
两类方法的比较,上节课讲的概率生成模型(generative model)以及本节课讲的逻辑斯蒂回归模型(discriminative model)都是使用同一个function set: P ( C 1 ∣ x ) = σ ( w ⋅ x + b ) P(C_1|x)=\sigma(w\cdot x+b) P(C1∣x)=σ(w⋅x+b)。这句话要复习一下
概率生成模型在把两个类别的协方差矩阵取同一个值的时候,就是得到 P ( C 1 ∣ x ) P(C_1|x) P(C1∣x)这个function set。
由于我们的假设不一样,所以在同一个function set中,我们求出来的w和b是不一样的。概率生成模型中的假设是数据来自高斯分布(当然也可以用伯努利分布之类的),而逻辑斯蒂回归没有假设
回到宝可梦一般系和水系预测问题
如果只考虑两个属性两个算法差不多,如果考虑7个属性,可以看到后者要强一丢丢,一些文献上也有这样的说法,为什么??举一个栗子:
假设数据如上图所示,每笔数据有两个feature,然后两个1的label为class 1,其他的为class 2,如果现在人为看到这么一个数据:
你会怎么分?当然是认为它属于class 1咯。但是我们如果用Naive Bayes的方法来看这个问题,先祭出朴素贝叶斯的公式:
P ( x ∣ C i ) = P ( x 1 ∣ C i ) P ( x 2 ∣ C i ) P(x|C_i)=P(x_1|C_i)P(x_2|C_i) P(x∣Ci)=P(x1∣Ci)P(x2∣Ci)
说人话 从某个class产生x的几率等于从某个class产生x1的几率乘以从某个class产生x2的几率。
然后分别计算下面几个概率:
上图中第二排后面两个C1应该是C2.,再计算:
为什么呢?因为朴素贝叶斯不考虑不同dimension之间的corelation,对于朴素贝叶斯而言,这两个dimension是independent产生的。没有在class2中观察到两个dimension都为1的数据没有出现在training data中是因为sample得还不够多。
回到之前的问题:Discriminative vs Generative二者的区别在于哪里?
Generative模型对数据作了一些假设(用老师的话来说就这个模型对数据做了脑补,强行给它加了一些设定),假设数据来自某个分布。脑补这个事情通常不好,因为数据没有明确告诉我们这个设定,但如果数据比较少,脑补会比较有用,就是你得到的情报很少,脑补可以让你得到更多的情报。
此处以3个分类为例假设有三个类,参数如下:
然后把 z 1 , z 2 , z 3 z_1,z_2,z_3 z1,z2,z3求e的指数运算,红色数字是举栗子算的结果,中间蓝色框是softmax函数,里面进行的操作可以看红色箭头,就是先对各个z求e的指数运算,然后累加,然后分别做为分子被 e z i e^{z_i} ezi除,得到输出 y i = P ( C i ∣ x ) y_i=P(C_i|x) yi=P(Ci∣x),y的含义是用来估计probability,也就是输入x,属于class1的几率为多少(这里是0.88),属于class2的几率是多少(这里是0.12),属于class3的几率是多少(这里是趋近于0)。
注意:y的集合本身就是一个probability distribution
**SOFTMAX函数的含义:**max是求最大值,softmax是对最大值做了强化,强化的意思是由于做了 e z i e^{z_i} ezi运算,放大每个 z i {z_i} zi的值使得每个 z i {z_i} zi值之间的差距拉大
挖坑:为什么这里分类函数是softmax呢?
把上面的内容总结得到:
前面说过y是一个probability distribution, y ^ \hat{y} y^做为target应该也是一个probability distribution,这个时候两个分布就可以计算它们的交叉熵,公式如上图中所示,ppt少了一个负号。
y ^ \hat{y} y^的取值怎么弄?如下图:
这里要说明一下,为什么不把类别的值设为:
c l a s s 1 = 1 , c l a s s 2 = 2 , c l a s s 3 = 3 class_1=1,class_2=2,class_3=3 class1=1,class2=2,class3=3
这样设置会隐性的给分类加入了额外的限制, c l a s s 1 class_1 class1和 c l a s s 2 class_2 class2比较近(1和2差1), c l a s s 1 class_1 class1和 c l a s s 3 class_3 class3比较远(1和3差2)。所示用上面向量的方式表示就没有问题了。
无论我们选择什么参数,分界线都不可能把蓝色和红色的点完全分开
做Feature Transformation
转换的原则可以自己定,这里的例子使用的原则是:
x 1 ′ : 转 换 点 到 [ 0 0 ] 的 距 离 x'_1:转换点到\begin{bmatrix} 0\\ 0 \end{bmatrix}的距离 x1′:转换点到[00]的距离
x 1 ′ : 转 换 点 到 [ 1 1 ] 的 距 离 x'_1:转换点到\begin{bmatrix} 1\\ 1 \end{bmatrix}的距离 x1′:转换点到[11]的距离
例如: [ 0 0 ] \begin{bmatrix} 0\\ 0\end{bmatrix} [00]到 [ 0 0 ] \begin{bmatrix} 0\\ 0\end{bmatrix} [00]的距离为0
[ 0 0 ] \begin{bmatrix} 0\\ 0\end{bmatrix} [00]到 [ 1 1 ] \begin{bmatrix} 1\\ 1\end{bmatrix} [11]的距离为 2 \sqrt{2} 2
转换结果就是 [ 0 2 ] \begin{bmatrix} 0\\ \sqrt{2}\end{bmatrix} [02]
下面几个箭头就是转换后的结果对应关系
问题:transformation这个事情不好做,如果要人自己来做,那就失去了机器学习的意义,那如何用机器来做个事情?
明显这里是引入DL的引入了
例子:
右上是蓝色那个sigmoid function通过调整w和b可以得到的输出,右下是绿色那个sigmoid function通过调整w和b可以得到的输出,这里的输出就是transformation的结果!
从右下角的图可以看到,通过transformation,把两个红色点变到了(0.73, 0.05)和(0.05, 0.73),把蓝色的点变到了(0.27, 0.27)。这样就把蓝色和红色点分开了。
这就是下一节的内容:深度学习!