深度学习笔记01 - 深度学习的基础概念

[toc]

深度学习的基础概念

人工智能、机器学习与深度学习

人工智能的概念： 努力将通常由人类完成的智力任务自动化。

人工智能、机器学习与深度学习三者的关系

人工智能、机器学习与深度学习三者的关系

机器学习

机器学习系统是训练出来的，而不是明确地用程序编写出来的。

机器学习：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。

深度学习

机器学习和深度学习的核心问题在于有意义地变换数据，换句话说，在于学习输入数据的有用表示（representation）——这种表示可以让数据更接近预期输出。这一概念的核心在于以一种不同的方式来查看数据（即表征数据或将数据编码）。

深度学习是机器学习的一个分支领域：它是从数据中学习表示的一种新方法，强调从连续的层（layer）中进行学习，这些层对应于越来越有意义的表示。

“深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解，而是指一系列连续的表示层。

数据模型中包含多少层，这被称为模型的深度（depth），这些分层表示几乎总是通过叫作神经网络（neural network）的模型来学习得到的。

你可以将深度网络看作多级信息蒸馏操作：信息穿过连续的过滤器，其纯度越来越高（即对任务的帮助越来越大）。

深度学习工作原理

• 权重： 神经网络中每层对输入数据所做的具体操作其本质是一串数字，为该层的参数

• 学习：为神经网络的所有层找到一组权重值

在这里插入图片描述

• 损失函数(loss function): 想要控制神经网络的输出，就需要能够衡量该输出与预期值之间的距离。

在这里插入图片描述

• 优化器(optimizer):利用这个距离值作为反馈信号来对权重值进行微调,它实现了所谓的反向传播（backpropagation）算法

在这里插入图片描述

机器学习简史

概率建模

• 朴素贝叶斯是一类基于应用贝叶斯定理的机器学习分类器，它假设输入数据的特征都是独立的。

• logistic 回归是一种分类算法，而不是回归算法。

早期神经网络

• 反向传播算法:一种利用梯度下降优化来训练一系列参数化运算链的方法

• 贝尔实验室于 1989 年第一次成功实现了神经网络的实践应用

• LeNet 的网络，在 20 世纪 90 年代被美国邮政署采用，用于自动读取信封上的邮政编码。

核方法

• SVM:通过在属于两个不同类别的两组数据点之间找到良好决策边界

决策树、随机森林与梯度提升机

• 决策树（decision tree）是类似于流程图的结构，可以对输入数据点进行分类或根据给定输入来预测输出值

• 随机森林（random forest）算法:构建许多决策树，然后将它们的输出集成在一起

• 梯度提升机（gradient boosting machine）也是将弱预测模型）集成的机器学习技术。它使用了梯度提升方法，通过迭代地训练新模型来专门解决之前模型的弱点，从而改进任何机器学习模型的效果。

回到神经网络

• 2012 年，当年 Hinton 小组参加了每年一次的大规模图像分类挑战赛 ImageNet。深度卷积神经网络（convnet）

深度学习为什么现在火

硬件

• GPU 的快速发展

• 2016 年，Google 在其年度 I/O 大会上展示了张量处理器（TPU）项目，它的速度比最好的 GPU 还要快 10 倍，

数据集和基准

• ImageNet 数据集

算法上的改进

• 在 2014 年、2015 年和 2016 年，人们发现了更先进的有助于梯度传播的方法

---

分享关于人工智能，机器学习，深度学习以及计算机视觉的好文章，同时自己对于这个领域学习心得笔记。想要一起深入学习人工智能的小伙伴一起结伴学习吧！扫码上车！

瓦力人工智能