邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1

神经网络

生物的神经网络:主要是由生物神经元构成 先了解生物神经网络如何学习

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第1张图片

 人工神经元 输入通过加权进入激活函数,激活函数早期为饱和函数 需要连续

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第2张图片

 人工神经网络的搭建 激活规则指就是输入输出之间非线性的函数

学习算法一般为BP  但是 拓扑结构变化很灵活

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第3张图片

 根据拓扑结构的不同,大体上分为三种类型,但是大多数网络都是复合型结构,即一个神经网络中包括多种网络结构 图网络更为复杂,应用的范围更广

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第4张图片

 神经网络与复合函数的联系

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第5张图片

 神经网络可以很好的解决贡献度分配问题 主要可以利用梯度下降算法 通过偏导数

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第6张图片

 神经网络的发展史

1.模型提出

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第7张图片

 2.冰河期

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第8张图片

 3.复兴

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第9张图片

 4.流行度降低

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第10张图片

 5.深度学习的崛起

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第11张图片

 多个领域发展

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第12张图片

 机器学习概述

机器学习 相等于 构建一个映射函数

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第13张图片

 机器学习定义:通过算法使得机器能从大量数据中学习规律从而对新的样本做决策 从函数集合通过学习算法在大量数据上找到表现最好的那个函数

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第14张图片

 机器学习的三要素:模型、学习准则、优化

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第15张图片

 常见的机器学习问题:回归、分类、聚类(前两个为监督学习、后一个为无监督学习)

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第16张图片

 以线性回归为例:

模型:

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第17张图片

 损失函数

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第18张图片

 学习准则

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第19张图片

 邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第20张图片

 最优化问题的解法:梯度下降法:

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第21张图片

 邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第22张图片

随机梯度下降 和 Mini-Batch GD 

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第23张图片

 机器学习与优化的关系

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第24张图片

 邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第25张图片

 如何减少泛化错误:正则化:所有损害优化的方法都是正则化

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第26张图片

 邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第27张图片

 最常用是 提前停止

邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1_第28张图片

你可能感兴趣的:(邱锡鹏,神经网络与深度学习,神经网络,机器学习,深度学习,人工智能)