迁移学习基础知识整理

目录

      • 基本概念
      • 迁移学习的价值
      • 与传统机器学习的对比
      • 迁移学习分类
      • 迁移学习解决的方法
      • 应用

基本概念

  • 迁移学习研究如何把源域的知识迁移到目标域上。

    相似性是核心,度量准则是重要手段。

  • 领域(Domain, D D D):学习的主体,分为源域目标域

    • 源域(source domain):已有的知识

    • 目标域(target domain):要学习的新知识

  • 任务(Task):学习目标,标签标签对应的函数 组成

  • 邻域自适应(Domain Adaptation):利用有标记的数据 D s D_s Ds 去学习一个分类器 f : x T ↦ y t f:x_T\mapsto y_t f:xTyt 来预测目标域 D t D_t Dt 的标签 $y\in Y_t $

  • 负迁移:如果源域和目标域之间相似度不够,迁移结果并不会理想

  • 常用符号迁移学习基础知识整理_第1张图片

迁移学习的价值

  • 复用现有知识域数据,已有的大量工作不至于完全丢弃;
  • 不需要再去花费巨大代价去重新采集和标定庞大的新数据集,也有可能数据根本无法获取;
  • 对于快速出现的新领域,能够快速迁移和应用,体现时效性优势。

与传统机器学习的对比

  • 传统机器学习:
    • 在应对数据的分布、维度,以及模型的输出变化等任务时,模型不够灵活、结果不够好
    • 传统机器学习对不同的学习任务建立不同的模型
  • 迁移学习:放松了这些假设。
    • 在数据分布、特征维度以及模型输出变化条件下,有机地利用源域中的知识来对目标域更好地建模。
    • 在有标定数据缺乏的情况下,迁移学习可以很好地利用相关领域有标定的数据完成数据的标定。
    • 迁移学习利用源域中的数据将知识迁移到目标域,完成模型建立

迁移学习基础知识整理_第2张图片

迁移学习基础知识整理_第3张图片

迁移学习分类

分类准则:有无标签、学习方法、特征、离线 or 在线

  • 按目标域

    • 监督
    • 半监督
    • 无监督
  • 按照学习方式分类:

    • 基于样本(实例) 的迁移:直接对不同的样本赋予不同权重
    • 基于特征的迁移:通过将源域和目标域映射到相同的空间,或者将其中之一映射到另一个的空间中,并最小化源域和目标域的距离来完成知识迁移
    • 基于关系的迁移:通过在源域中学习概念之间的关系,然后将其类比到目标域中,完成知识的迁移。神经网络中用的多(比如 fine tune)。
    • 基于模型的迁移:将源域和目标域的模型与样本结合起来调整模型的参数

迁移学习基础知识整理_第4张图片

  • 按照特征分:
    • 同构:特征语义和维度相同是同构(图片到图片)
    • 异构:完全不同(图片到文本)

迁移学习解决的方法

  • 大数据与少标注:迁移数据标注

    利用迁移学习的思想,寻找一些与目标数据相近的有标注的数据,从而利用这 些数据来构建模型,增加我们目标数据的标注。

  • 大数据与弱计算:模型迁移

    将那些大公司在大数据上训练好的模型,迁移到我们的任务中。针对于我们的任务进行微调,从而我们也可以拥有在大数据上训练好的模型。

    将这些模型针对我们的任务进行自适应更新,从而取得更好的效果。

  • 普适化模型与个性化需求:自适应学习

    进行自适应的学习。考虑到不同用户之间的相似性和差异性,对普适化模型进行灵活的调整。

  • 特定应用的需求:

    相似领域知识迁移 为了满足特定领域应用的需求,我们可以利用上述介绍过的手段,从数据和模型方法上 进行迁移学习。

应用

计算机视觉、文本分类、行为识别、自然语言处理、室内定位、视频监控、舆情分析、人机交互等

  • 不同视角、背景、光照的图像识别

  • 不同语言之间的翻译

  • 不同领域和背景的文本翻译、舆情分析

  • 不同用户、设备、位置的行为识别

  • 不同用户、接口、情境的人机交互

  • 不同场景、设备、时间的室内定位

未完待续

你可能感兴趣的:(杂记,大数据,机器学习,人工智能,深度学习,python)