【2023春李宏毅机器学习】生成式学习的两种策略

文章目录

  • 1 各个击破
  • 2 一步到位
  • 3 两种策略的对比

生成式学习的两种策略:各个击破、一步到位
对于文本生成:把每一个生成的元素称为token,中文当中token指的是字,英文中的token指的是word piece。比如对于unbreakable,他的word piece指的是:un break able三个元素
对于图片生成:每一步会生成像素

1 各个击破

各个击破策略对应的模型是: Autoregressive (AR) model
对于文本生成来说,一个字一个字的生成,每一步都会计算一次概率密度分布
对于图像生成来说,一个像素一个像素的生成

2 一步到位

一步到位策略对应的模型是:Non-autoregressive (NAR) model
对于文本生成来说,一次性计算好所有token的概率密度分布。

3 两种策略的对比

速度:一次到位更快
品质:各个击破策略的生成品质更好
应用:各个击破常用于文字,一次到位常用于影像
两种策略也可以结合使用

【2023春李宏毅机器学习】生成式学习的两种策略_第1张图片

你可能感兴趣的:(深度学习&图像处理,机器学习)