机器学习---强化学习---目前的坑

当前（2019年）机器学习中有哪些研究方向特别的坑？

微尘强化学习MAB嗑盐ing；nlp/推荐系统预备卒

53 人赞同了该回答

深度强化学习~

1.深度强化学习可能是非常采样低效的（sample inefficient）：

强化学习也有其规划谬误，学习一个策略通常需要比想象更多的样本。

在 DeepMind 的跑酷论文（Emergence of Locomotion Behaviours in Rich Environments）的 demo 中，使用了 64 个 worker 在超过一百小时的时间里训练策略。这篇论文并没有阐明 worker 的含义，但是我认为它的意思是一个 worker 意味着 1 个 CPU。

2.如果你仅仅关心最终的性能，那么很多问题都能够通过其他方法更好地解决。

3.稍稍复杂的问题中奖励函数设计困难：

作为参考，以下列出了「乐高堆叠」那篇论文中的奖励函数之一。

我不清楚设计这么一个奖励函数花费了多少时间，但是由于这里存在这么多的项和不同的系数，我猜应该是花费了「大量的」时间。

在与其他强化学习研究者交谈的过程中，我听到了一些因为没有设计合适的奖励函数，而导致奇怪结果的轶事。

4.即使给定了较好的奖励函数，也很难跳出局部最优:

这很可能源于智能体在「探索—利用」权衡过程中犯过的错误。

5.深度强化学习的泛化能力还不足以处理很多样的任务集合:

即使当深度强化学习成功的时候，它也有可能仅仅是过拟合了环境中的某些奇怪的模式。

6.即使忽略了泛化问题，最终的结果也可能是不稳定的和难以复现的

①当你训练一个样本低效并且不稳定的算法时，它会严重降低生产性研究的速度。或许它只需要一百万步。但是如果你使用了 5 个随机数种子，那就是将调节的超参数变成了原来的 5 倍，为了有效地测试你的假设，你需要极其多的计算量。

②强化学习对初始化和训练过程的动态变化都很敏感，因为数据总是在线采集到的，你可以执行的唯一监督只有关于奖励的单个标量。在较好的训练样例上随机碰到的策略会比其他策略更快地引导学习。没有及时地遇到好的训练样本的策略会崩溃而学不到任何东西，因为它越来越坚信：它所尝试的任何偏离都会导致失败。

《变革尚未成功：深度强化学习研究的短期悲观与长期乐观》（近一万五千字）阅读笔记~