深度学习理论总结(1)

0.前言

        为了在暑假能更好的发展自己,鉴于对深度学习的浓厚兴趣,楼主开始学习深度学习的相关知识。本系列内容是在楼主学习吴恩达老师的深度学习课程后进行的总结,使用的程序软件为python。如有纰漏还请各位大佬指出,我将虚心接受。

1.深度学习概念

        深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。 深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。 

2.深度学习基本知识

        在深度学习开始前,我们不妨先了解一下图片在计算机的存储方式。一般来说,一个图片在计算机内是由3个64*64矩阵构成(RGB描述),如果将其以一维形式展现,则x一共有3*64*64=12288个元素构成集合,我们称之为X,其中12288为特征向量x的维度。

        一般深度学习过程是指通过输入特征向量到神经网络,神经网络经过内部代码的运行后,输出我们所需要的结果。与普通的程序不同的是,神经网络的规模更为庞大,可以更快速地处理大量的数据得出结果,从而实现单个程序无法做到的事,但神经网络的使用前提需要大量的数据进行训练,即创造神经网络所需要的时间更长。

        下面我们以二分分类为例子来介绍一下深度学习。

        在深度学习中我们用(x,y)来表示一个通过神经网络的样品,其中x为输入的特征向量,y为输出的结果,有时我们会在x,y各上标(1)来表示样品1,上标(2)来表示样品2。

        由于在大多数情况下,输出y的量会比较多,我们一般以^y——输出y的概率分布,来作为我们的输出结果,^y=w^T(w的转置矩阵)*x+b,其中w为逻辑回归参数,x为输入的特征参数,b为修正用实数。但这样结果不准确,我们还要用激活函数来进行再次修正,开始我们用的是sigmoid函数,即sigmoid(z)=1/(1+e^(-z)),后面我们会发现用ReLU或Leaky ReLU函数作为激活函数效果会更好,这个之后再介绍。这样我们得到的结果相对会比较准确,但依旧会有一定误差。为了得到误差,我们设L(^y,y)=-(ylog^y+(1-y)log(1-^y)),即我们的误差函数。同时为了得到所有样本的误差,我们设J(w,b)=1/m*各样品误差函数之和,其中m为样品个数,作为我们的成本函数。

        接下来我们在介绍一下梯度下降法,通俗来说,梯度下降法是指从起始点开始,沿最陡路线走,直至接近或到达最低点的方法,运用梯度下降法,我们可以在神经网络的运行过程中更新我们的w,即逻辑回归参数,来使我们的输出结果更为准确。

2.神经网络

        在一个神经网络中,通常会有输入层、隐藏层、输出层,其中隐藏层就是对输入的特征向量进行处理的层,一般神经网络的层数就是指隐藏层与输出层的层数之和,即n+1层,n为隐藏层的层数,每一个隐藏层的输入均为前一个隐藏层的输出,以迭代的方式来进行神经网络数据的传递与处理。每一层均有多个单元,即输入多个数据至单元,经过不同的隐藏单元处理后,最终得到一个输出。

      

深度学习理论总结(1)_第1张图片

双层神经网络具体如图

深度学习理论总结(1)_第2张图片

 每层运行过程

         神经网络的使用分为正向传播与反向传播,即我们可以从输入得到输出,也可以从输出得到输入。为了防止隐藏单元相同,从而出现对称性问题,我们一般要进行随机初始化函数的处理,即对w、b进行随机初始化后进行测试,再进行适当调整得到我们所需要的w、b。 

深度学习理论总结(1)_第3张图片

        上图为正向传播与反向传播公式,其中均将样品组合成为矩阵后代入计算,其中A为预测^y矩阵,g为激活函数。    

后续楼主将总结卷积神经网络

你可能感兴趣的:(人工智能,深度学习)