端到端的含义，统计学习、机器学习和深度学习的区别与联系

什么是端到端（end-to-end）

端到端通俗来说就是不需要进行特征提取，输入的是原始的数据，输出的就是最后的结果。

经典机器学习方式是以人类的先验知识将raw数据预处理成feature，然后对feature进行分类。分类结果十分取决于feature的好坏。所以过去的机器学习专家将大部分时间花费在设计feature上。那时的机器学习有个更合适的名字叫特征工程（feature engineering）

随着深度学习神经网络的发展，让网络自己学习如何抓取feature效果更佳。由于多层神经网络被证明能够耦合任意非线性函数，通过一些配置能让网络去做以前需要人工参与的特征设计这些工作，然后配置合适的功能如分类、回归。而现在神经网络可以通过配置layers的参数达到这些功能，整个输入到最终输出无需太多人工设置，从raw data 到最终输出指标。于是兴起了表征学习（representation learning），自编码器就是表征学习的一个例子。这种方式对数据的拟合更加灵活。

端到端（end to end）的优缺点

通过缩减人工预处理和后续处理，尽可能使模型从原始输入到最终输出，给模型更多可以根据数据自动调节的空间，增加模型的整体契合度。
但是，由于端到端的特征提取依赖于隐层模型，其相比较传统机器学习方法来说解释性弱，趋于黑盒子过程。

这里就引出了基于端到端的深度学习、机器学习和统计学习的关联和区别。

统计学习，机器学习与深度学习概念的关联与区别

简单总结来说：

1、机器学习与统计学习有较大的重叠，或者说机器学习是建立在统计学习的基础之上；
2、统计学习是theory-driven，对数据分布进行假设，以强大的数学理论支撑解释因果，注重参数推断（Inference）；
3、机器学习是data-driven，依赖于大数据规模预测未来，弱化了收敛性问题，注重模型预测（Prediction）；
4、深度学习是机器学习的一个子领域，特征提取更依赖于隐层模型，解释性弱，趋于黑盒子。
如下图所示，统计学习、机器学习、深度学习是一个包含又交叉的关系：
（图片转自网络）

对于人工智能领域来说，所谓人工智能可以理解为能够感知、推理、行动和适应的程序。而机器学习属于人工智能的子领域，指能够随着数据量的增加不断改进性能的算法。深度学习又是机器学习的一个子领域，指利用多层神经网络从大量数据集中进行学习的技术。

References
http://jacoxu.com/statisticandmachinelearning
https://blog.csdn.net/happyhorizion/article/details/100607429