Ch4. Scale drives machine learning progress 规模驱动机器学习进展

很多关于深度学习(神经网络)的想法几十年前就有了,为什么最近才开始火起来?

两大驱动因素如下:

  • 数据可用性 如今人们在数字设备(笔记本电脑,移动设备等)上花费比以前多得多的时间。这些活动产生了大量的可以用于训练学习算法数据。

  • 计算能力 仅仅在几年前我们才开始有能力训练足够大的神经网络,以使用我们现在所拥有的巨大的数据量。

具体而言,对于传统的机器学习算法,比如逻辑回归,即使你拥有足够多的数据,它也会出现“高原效应”(plateaus)。也就是说即使你不断的给它喂数据,它的学习曲线只会不断变平坦,算法的性能不再提升。

Ch4. Scale drives machine learning progress 规模驱动机器学习进展_第1张图片

好像这些传统算法不知道如何去处理我们现在拥有的这么多数据。

而如果你在同样的监督学习任务上训练一个小型的神经网络(NN),你可能会得到更好的结果。

Ch4. Scale drives machine learning progress 规模驱动机器学习进展_第2张图片

这里,“小型神经网络”指的是拥有少量隐藏单元/隐层/参数的神经网络。最后,如果你训练一个更大的神经网络,你将会得到更好的性能。【1】

Ch4. Scale drives machine learning progress 规模驱动机器学习进展_第3张图片

因此,如果你想获得最佳性能,你必须:
(1)训练一个非常大的神经网络,也就是说你处在上图中的绿线位置
(2)拥有大量的数据

其他一些细节比如神经网络的结构也是十分重要的,这一方面也有很多创新。但如今提高算法性能的一条靠谱的方式还是:
(1)训练一个更大的神经网络
(2)获取更多的数据

想要完成(1)和(2)还是相当复杂的。本书将会详尽讨论这些细节。我们将从对传统学习算法和神经网络都有用的一般策略开始,也将对深度学习构建最新的策略。
———————————————————————————————————————————————
【1】这个图表展示了NNs在小数据集下也同样做的更好。这和NNs在大数据集中表现优秀并不具有一致性。在小数据集中,传统算法可能做得更好,也可能不会做得更好,这依赖于手动选择的特征。例如,你只有20个训练样本,那么你使用logistic regression 或使用neural network可能没有多大区别;手动选择的特征将会比算法的选择产生更大的影响。但是如果你拥有一百万的数据量,我更倾向于使用神经网络。

你可能感兴趣的:(Ch4. Scale drives machine learning progress 规模驱动机器学习进展)