李宏毅机器学习P24——semi-supervised learning半监督学习

李宏毅机器学习P24——semi-supervised learning半监督学习_第1张图片

  • 首先初始化参数θ
  • 然后计算无标签数据的后验概率
  • 然后更新模型的参数θ

这种方法相当直觉,没有很特别的理论解释

这个方法理论上会收敛,但是初始值会影响结果

李宏毅机器学习P24——semi-supervised learning半监督学习_第2张图片

  • 原始的标注数据加上后面的无标签数据
  • 一次一次进行循环(solved iteratively)

李宏毅机器学习P24——semi-supervised learning半监督学习_第3张图片

  • 训练有标签数据得出一个model,然后使用这个model来跑无标签的数据得到一批Pseudo-label,再将无标签数据的一部分移除,加到有标签数据集里面(ppt有勘误),怎么选择这部分数据没有固定要求(还可以给这部分数据赋予权值)
  • regression是不能用这种方法的,因为标签数据得出来的function来处理无标签数据得到的y本身就符合这个function,再进行迭代更新毫无意义。

李宏毅机器学习P24——semi-supervised learning半监督学习_第4张图片

  • 在neural network应用中,从labelled data中得到一组network parameter,将这组参数用于对无标签数据进行label,有hard label和soft label两种方式,这里需要采取非黑即白的方法,即采用hard label的方法是有效的,而soft label是不会work的(我理解为参数不会更新)

李宏毅机器学习P24——semi-supervised learning半监督学习_第5张图片

  • 一般希望unlabel data的output的分布distribution越集中越好
  • 可以用unlabelled data的output的熵entropy来衡量output的集中程度distribution
  • 然后重新定义损失函数为:labelled data的判断结果与实际结果的距离+unlabelled data的output的熵

李宏毅机器学习P24——semi-supervised learning半监督学习_第6张图片

  • 过渡性假设smoothness assumption
  • 更精确的假设不只是说x具有相似度,还具体的说是在一个high density region上的x具有相同的label
  • 比如虽然x1和x3更接近,但是x1和x2才是在同一个集中区域内,因此x1和x2有相同的label

李宏毅机器学习P24——semi-supervised learning半监督学习_第7张图片

  • 定义点之间的相似度可以使用KNN和e-Neighborhood来划分
  • 效果更好的方法有Gaussian Radial Basis Function,引入了一个指数

李宏毅机器学习P24——semi-supervised learning半监督学习_第8张图片

  • 定义label的smoothness,计算式中labelled data和unlabelled data都要参与计算
  • 公式前面的二分之一是为了后面方便计算,没有特别的意义
  • 公式还有下面的表达形式

李宏毅机器学习P24——semi-supervised learning半监督学习_第9张图片

  • 可以表示成矩阵相乘的形式,y是一个(R+U)维的矩阵,L是一个(R+U)×(R+U)维的矩阵
  • L=D-W,D的对角线的值是由W的每一行的加和得到的

李宏毅机器学习P24——semi-supervised learning半监督学习_第10张图片

  • S的值其实是取决于网络的参数的,因此可以参考正则化的表达式,将S考虑到损失函数中
  • S作为正则项,然后对L做梯度下降进行参数更新,这样既考虑了点分类的误差,又考虑了smoothness的因素
  • S作为正则项,然后对L做梯度下降进行参数更新,这样既考虑了点分类的误差,又考虑了smoothness的因素
  • smooth的操作可以加入到网络的任何一层中

你可能感兴趣的:(cv初探,机器学习,人工智能)