第一章、浅谈深度学习——强化学习笔记

第一章、浅谈深度学习

主要内容为题主在学习飞桨的课程时的笔记。

文章目录

  • 第一章、浅谈深度学习
  • 一、机器学习概述
    • 1.1 什么是机器学习
    • 1.2 机器要怎么学习
  • 二、深度学习
    • 2.1 什么是深度学习
    • 2.2 深度学习是如何工作的
      • 2.2.1 神经网络
      • 2.2.2 改进神经网络
    • 2.3 梯度下降
      • 2.3.1 什么是梯度下降
      • 2.3.2 梯度下降分类
      • 2.3.3 实际操作

一、机器学习概述

1.1 什么是机器学习

机器学习-machine learning,顾名思义,就是让机器开始学习。什么样的机器,机器学哪些内容,机器要怎么学习,机器学了东西可以来干嘛,这是我们要讨论的问题。简单来说,机器学习就是通过算法,使得机器能从大量历史数据中学习规律,从而对新的样本做智能识别或对未来做预测。
什么样的机器? 这里的机器就是指的计算机,在强化学习中可以称作智能体(agent)。这个机器拥有学习的能力,可以通过数据的累积和分析来做进一步的预测处理。
机器要学哪些内容? 机器要学的内容就是各种数据,这些数据可以是边经历边积累的,可以是提前输入的。
机器要怎么学习? 机器学习在学习方式上分为有监督学习和无监督学习以及强化学习。

1.2 机器要怎么学习

下面对各种方法进行介绍:
第一章、浅谈深度学习——强化学习笔记_第1张图片
  里面的概念有些抽象,现在举一个现实点的例子。
  毕竟是人工智能,我们可以把机器类比为一个刚出生的小孩。那么有监督学习就是有父母的陪伴。
  父母会给你介绍你身边的东西,当你有了许多的数据信息时,你可以对他们分析,并将它们分类为可以吃的,和不可以吃的。当一个新物体出现时,你可以用之前父母讲的对他们进行分析,并归入到你分的类中。
  而回归则是要你对这些物品进行打分,与分类不同的是,分类得到的结果是离散的数值,回归得到的是连续的树枝或者范围。
  监督式学习需要使用有输入和预期输出标记的数据集。
  而无监督学习就是没有父母的情况下进行学习。好奇的小孩会尝试着吃身边的任何一个物品。他在品尝一个东西时会得到各种信息:“甜的”、“软的”、“辣的”、“脆的”,在得到一些复杂的信息后,他要对这些信息进行降维,去除一些无关紧要的因素,得到关键特征变量,如“好吃”、“不好吃”。
  聚类则跟分类类似,都是将样本划分到不同分组。当然两者的前提不同,一个是有监督一个是无监督。
  非监督式学习是利用既不分类也不标记的信息进行机器学习,并允许算法在没有指导的情况下对这些信息进行操作。
  强化学习则像小孩讨好父母一样。当他听话时,父母奖励他糖吃,当他调皮时,父母会惩罚他。为了获得更多的糖,小孩会不断地学习和讨好父母,并会预测自己的行为会不会使父母生气,会不会得到糖,从而获得更多的糖。

二、深度学习

2.1 什么是深度学习

深度学习是一种机器学习方法 , 它允许我们训练人工智能来预测输出,给定一组输入(指传入或传出计算机的信息)。监督学习和非监督学习都可以用来训练人工智能

2.2 深度学习是如何工作的

2.2.1 神经网络

神经网络这个词来源于系统架构设计背后的灵感——模仿生物大脑自身神经网络的基本结构。神经网络由多个神经元组成。
神经元被分为三个不同的层次:

  • 输入层——接受输入数据。
  • 隐藏层——对输入数据进行数学计算。
  • 输出层——为程序产生给定的输出。

神经元之间的每个连接都有一个权重,这个权重表示输入值的重要性。如天气预测系统中,日期的影响较为重要,因此日期的连接有较大的权重。

2.2.2 改进神经网络

为了提高AI的精度,预测结果需要与历史结果进行比较。因此需要两个因素:计算能力、数据。如预测天气时,需要有大量的历史数据集,同时需要有超强的计算能力进行计算。
一旦遍历了整个数据集,就有可能创建一个函数来衡量AI与实际输出的差距,这个函数叫做成本函数。
即成本函数是一个衡量模型准确率的指标,衡量一句为此模型估计X与Y间关系的能力。
当成本函数等于0时(输出结果与实际输出相同),就达到了我们的最终目标。

2.3 梯度下降

2.3.1 什么是梯度下降

梯度下降是降低成本函数的有效方式。它是一种求函数最小值的方法。在这种情况下,目标是取得成本函数的最小值。 它通过每次数据集迭代之后优化模型的权重来训练模型。通过计算某一权重集下代价函数的梯度,可以看出最小值的梯度方向。
梯度衡量得是,如果你稍微改变一下输入值,函数的输出值会发生多大的变化。
第一章、浅谈深度学习——强化学习笔记_第2张图片

可以结合这篇文章来学习:梯度下降
为了介绍梯度下降我们举一个例子:
现在我们站在某个山峰的峰顶,怎么最快的到达山峰的最低点。
最快的方式是以当前位置为基准,不断地寻找该位置最陡峭的地方,然后沿着该放下往下走,走一段再重复以当前位置为基准,重新寻找最陡峭的地方,一直重复最终可以达到最低点。

但在下山的途中会遇到一些问题:如何测量山峰的陡峭程度,如何确定步长。
可以看出为了确定步长的合适值和使陡峭程度收敛(到达山底),我们需要大量的计算和数据。

2.3.2 梯度下降分类

通常有两种梯度下降的方法:随机梯度下降批量梯度下降
随机梯度下降是指:每次只使用单个训练样本来更新,一次遍历训练集,而不是在一次更新中考虑所有的样本。
批量梯度下降是指:每次更新都遍历所有的样本。
可想而知,当训练样本数很大时,批量的方法每次更新都是很大的消耗。所以随机梯度就体现了它的优点——快。但是他只能将梯度保持在接近最小值的地方。

2.3.3 实际操作

所以在实际操作中,我们一般不会使用固定的学习率,而是让它随着算法的运行逐渐减小到0,也就是说刚开始大步走,在接近“山底”时慢慢减小下降的“步幅”,换成“小步走”,这样就能更快的收敛于全局最小值而不是围着它振荡。

你可能感兴趣的:(人工智能,机器学习,深度学习)