深度学习入门

https://zhuanlan.zhihu.com/p/36570549

 

使用 a.item()或 np.asscalar(a)将大多数NumPy值转换为本机Python类型:

import numpy as np
# examples using a.item()
type(np.float32(0).item()) # 
type(np.float64(0).item()) # 
type(np.uint32(0).item())  # 
# examples using np.asscalar(a)
type(np.asscalar(np.int16(0)))   # 
type(np.asscalar(np.cfloat(0)))  # 
type(np.asscalar(np.datetime64(0)))  # 
type(np.asscalar(np.timedelta64(0))) # 

SGD就是根据loss对各个参数的梯度和学习率来进行更新参数的

深度学习入门_第1张图片

深度学习入门_第2张图片

深度学习入门_第3张图片

 

欠拟合:数量少  迭代次数不足  没有学到足够的特征

过拟合:训练样本过少  特征多  生成模型学到特征的细节过细

深度学习入门_第4张图片                  深度学习入门_第5张图片

 

深度学习入门_第6张图片

 

 

 

 

 

 

 

 

深度学习入门_第7张图片

迭代次数变少了,每次的计算量变大了

 

 

 

 

 

 

 

 

 

 

0x00 前言

最近看了一些文章,介绍了深度学习算法在安全领域的应用。可以极大的提高安全产品的检测效率。决定还是要投入精力在这块知识的学习上,昨天刚好看到大佬分享了一份深度学习的教程,在跟进教程的过程中,我顺手记了点东西,于是便有了本篇笔记。

由于我也是刚开始接触这块内容,行文中存在谬误在所难免,还望各位看官多多指正。

0x01 初识深度学习

在笔记的开始,首先要了解3个问题:

什么是人工智能?

什么是机器学习?

什么是深度学习?

深度学习入门_第8张图片

先来说说对人工智能的定义吧,人工智能,用于实现模拟人的思考行为,通俗来讲是通过一些算法去解决一些模糊定义的问题。

那机器学习呢?机器学习是人工智能的一个分支,主要是利用一些统计学方法,对数据进行压缩、训练,得到一个精简的模型,利用训练好的模型对未知内容进行处理。

深度学习是机器学习的一个子集,可以追溯到从神经网络发展过来,相比神经网络,深度学习可以把模型做的更深、更复杂。数据量也会更大,同时配合更为强大的计算资源,可以做到更好的训练效果。

0x02 深度学习的应用场景

深度学习技术广泛应用于各个领域,这里介绍几个大家都了解的,且应用深度学习技术的场景:

1、AlphaGo

AlphaGo采用了增强学习的算法,通过大量的模拟、学习、计算,最终可以在围棋竞赛上打赢人类。

2、物体识别

无人驾驶,汽车的摄像头可以识别出前方的人、物体等。对应的是技术是计算机视觉领域的物体识别。

深度学习入门_第9张图片

3、语音识别

这块接触的比较多,像各类手机的语音助手、各家IoT厂商推出的智能音箱等。

4、机器翻译

基于深度学习算法,可以提高机器翻译的准确率。

5、推荐系统

比较多的是电商网站根据用户平时的浏览、搜索习惯等,结合深度学习算法,推荐给用户可能想买的商品。

6、点击预测

搜索引擎根据用户平时的浏览、搜索习惯等,结合深度学习算法,推荐广告,增加广告的点击率、转化率等。

0x03 深度学习入门

教程的作者提到,其在后续的课程中讲解的“内容和工业界应用相比,主要只是数据规模和模型复杂度的区别”。在这系列的教程中会结合实践讲解工业界常用的深度学习算法,那不出意外,我的笔记也会一直跟着更新,期待的搓手手:)

常见的深度学习框架

不得不说A厂推广自己的深度学习框架也是用心良苦了,哈哈。

深度学习入门_第10张图片

深度学习入门_第11张图片

MXNet/Gluon的安装

根据官方文档,先来安装Miniconda,相应的下载地址:https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh。

wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

深度学习入门_第12张图片

下载相应的教程及代码:

git clone https://github.com/mli/gluon-tutorials-zh
cd gluon-tutorials-zh
bash
conda env create -f environment.yml
source activate gluon

安装完成。

深度学习入门_第13张图片

可以通过如下命令实现虚拟环境的激活与退出:

source activate gluon
source deactivate

安装notedown插件,运行Jupyter Notebook并加载插件:

pip install https://github.com/mli/notedown/tarball/master
jupyter notebook --NotebookApp.contents_manager_class='notedown.NotedownContentsManager' --allow-root

深度学习入门_第14张图片

最后将远端的8888端口映射到本地,然后即可通过浏览器访问

ssh -L 8888:localhost:8888 root@myserver
http://localhost:8888/notebooks/chapter_crashcourse/introduction.md

深度学习入门_第15张图片

0x04 如何使用NDArray来处理数据

关于NDArray官方文档已经说的很详细了,本文不做过多的介绍,我们只要知道NDArray比NumPy更强大,其提供了CPU和GPU的异步运算,同时支持自动求导

剩下的就是跟一遍文档了。

NDArray几种不同的创建方法

第1条:从mxnet中导入nd

第2条:使用arange()函数创建一个长度为12的行向量

深度学习入门_第16张图片

该NDArray包含12个元素(element),其值为arange(12)指定的0-11。在打印的结果中标注了属性。其中12指的是NDArray的形状,就是向量的长度。@cpu(0)表示默认情况下NDArray被创建在CPU上。

第3条:使用reshape()函数修改x的形状,将x修改为一个3行4列的矩阵

深度学习入门_第17张图片

第4条:创建一个各元素为0,形状为(2,3,4)的张量。PS:矩阵和向量都是一种特殊的张量。

深度学习入门_第18张图片

第5条:同理,创建一个各元素为1的张量。

深度学习入门_第19张图片

第6条:通过Python的列表(list)指定NDArray中每个元素的值。

深度学习入门_第20张图片

第7条:通过nd.random.normal()方法,随机生成NDArray每个元素的值,创建一个形状为(3,4)的NDArray。每个元素随机采样于均值为0方差为1的正态分布。

深度学习入门_第21张图片

第8条:通过shape属性获取形状,通过size属性获取NDArray中元素的个数。

NDArray的运算

第1条:按元素加法

深度学习入门_第22张图片

第2条:按元素乘法

深度学习入门_第23张图片

第3条:按元素除法

深度学习入门_第24张图片

第4条:按元素指数运算,exp

深度学习入门_第25张图片

第5条:对矩阵b做转置,矩阵a、b做矩阵乘法操作,a为3行4列,b为4行3列,故其结果为一个3行3列的矩阵。dot

深度学习入门_第26张图片

第6条:NDArray元素求和(结果为标量,但仍然为NDArray格式,可以通过norm().asscalar()函数转换为Python中的数),sum()

深度学习入门_第27张图片

广播机制

上面提到的两个NDArray之间元素级的运算都是基于两个NDArray形状相同,如果两个NDArray形状不同,在运算的过程中会触发广播(broadcasting)机制,即先把两个NDArray搞成形状相同,然后再进行运算。

广播(broadcasting)机制简单理解就是行与列间复制,达到不同NDArray之间形状相同的目的。

深度学习入门_第28张图片

NDArray在进行运算的过程中产生的内存开销

第1条:每一个操作都会新开辟一块内存空间用来存储操作后的运算结果。

深度学习入门_第29张图片

第2条:可以通过[:]将计算结果写入之前变量创建的内存空间中。nd.zeros_like(x)方法可以创建一个形状和x相同,但元素均为0的NDArray。

深度学习入门_第30张图片

第3条:在第2条的运算中,虽然变量z在计算前后的内存地址相同,在本质上其运行原理仍然是先将x+y的值放到一个新开辟的内存空间中,然后再将结果拷贝到z的内存中。

为了避免这种计算过程中的内存开销,可以使用运算符全名函数中的out参数解决该问题。

深度学习入门_第31张图片

可以看到,前后的内存地址相同,这种开销也得以避免。

第4条:现有NDArray的值在之后的程序中不会复用,可以直接使用如下方法来减少内存开销。x+=y,x[:]=x+y

深度学习入门_第32张图片

NDArray的索引

类比Python中列表(list)的索引,NDArray的索引可以理解为每一个元素的位置。索引的值从0开始逐渐递加。

举个栗子,一个3行2列的矩阵,其行索引为0,1,2,列索引为0,1。

第1条:创建一个3行3列的矩阵x,通过x[1:3],根据Python的开闭原则,可知取的值为索引为1和2行的数据。

深度学习入门_第33张图片

第2条:通过x[1,2]这种形式可以取出指定的元素,可以对其重新赋值。

深度学习入门_第34张图片

第3条:可以通过[1:2,1:3]这种方式取出NDArray中的多个元素,可以对这些元素进行重新赋值。

深度学习入门_第35张图片

NDArray与NumPy格式的相互转换

可以通过array()函数将numpy转换为ndarray,通过asnumpy()函数将ndarray转化为numpy。

深度学习入门_第36张图片

小结

NDArray是MXNet中存储和转换数据的主要工具,可以将它理解为MXNet实现的一种数据结构。

在这一节中可以了解到如何对NDArray进行创建、运算、制定索引,同时与numpy格式进行转换的方法。

0x05 简述MXNet提供的自动求导功能

很多深度学习框架需要编译计算图进行求导,而MXNet不需要,使用自带的autograd包即可实现自动求导功能。

下面来看两个例子。

第一个:对简单的数学函数进行求导

对函数y=2x^2进行求导

深度学习入门_第37张图片

其中涉及的细节有一点:

1、求变量x的导数,需要先调用x.attach_grad()函数创建需要的内存空间

2、为了减少计算和内存的开销,默认情况下,MXNet不会记录用于求倒数的计算图,我们需要需要调用autograd.record()函数来让MXNet记录有关的计算图。

3、通过y.backward()函数求倒数,其结果为x.grad

第二个:对Python的控制流求导

对如下函数进行求导:

def f(a):
    b = a * 2
    while b.norm().asscalar() < 1000:
        b = b * 2
    if b.sum().asscalar() > 0:
        c = b
    else:
        c = 100 * b
    return c

深度学习入门_第38张图片

函数f(a)最后的输出值c由输入值a决定,即c=xa,导数x=c/a。

小结

通过MXNet自动求导总共分为3步:

1、开辟存储导数的内存空间a.attach_grad()

2、通过autograd.record()函数记录计算图,并实现相应的函数

3、调用c.backward()函数进行求导

0x06 如何通过ndarray和autograd实现简单的线性回归

插一句题外话,因为本身是个网络安全从业者,与其耗费大量的时间纠结基本的数学理论,不如先去了解通过一些成熟的深度学习框架,去实现这些算法,应用于安全领域(比如说流量分析、恶意样本分析、webshell查杀等等)。一来是更容易产生价值,二来也可以激发深入学习的兴趣吧。

线性回归是监督学习中的一种,是一个最简单,也是最有用的单层神经网络。

我的理解是这样的给定一些数据集X,根据训练好的模型(将数据集X带入模型中),都有一个特定的y值与其对应。训练这个模型就是我们需要做的工作。

那线性回归就是y=ax+b,我们要做的就是确定斜率a和位移b的值。

深度学习入门_第39张图片

 

第1步:数据集的创建

在工业级的生产环境中,数据集往往来源于真事的业务场景(在Web日志中挖掘攻击行为呀,预测房价啊一类的),这里是演示,所以暂且使用随机生成的数据。

在第一个例子中,作者使用了一套人工生成的数据,相应的生成公式如下。

y[i] = 2*X[i][0] - 3.4*X[i][1] + 4.2 + noise

noise服从均值为0方差为0.1的正态分布。

相应的代码如下:

>>> from mxnet import ndarray as nd
>>> from mxnet import autograd
>>> num_inputs = 2
>>> num_examples = 1000
>>> true_w = [2,-3.4]
>>> true_b = 4.2
>>> X = nd.random_normal(shape=(num_example,num_inputs))
Traceback (most recent call last):
  File "", line 1, in 
NameError: name 'num_example' is not defined
>>> X = nd.random_normal(shape=(num_examples,num_inputs))
>>> y = true_w[0]*X[:,0]+true_w[1]*X[:,1]+true_b
>>> y += .01*nd.random_normal(shape=y.shape)

深度学习入门_第40张图片

第2步:数据读取

当我们拥有了一定的数据集之后,我们要做的就是数据的读取。不断的读取这些数据块,进行神经网络的训练。

相应的函数如下:

>>> def date_iter():
...     idx = list(range(num_examples))
...     random.shuffle(idx)
...     for i in range(0,num_examples,batch_size):
...         j = nd.array(idx[i:min(i+batch_size,num_examples)])
...         yield nd.take(X,j),nd.take(y,j)

深度学习入门_第41张图片

通过yield关键字来构造成迭代器,依次取出不同的样本数据(10个)。

通过for loop不断的遍历将迭代器中的数据取出。

>>> for date,label in adte_iter():
...     print(date,label)
...     break
... 

接下来将读取到的数据,传入我们给定的算法中进行训练。

第3步:定义模型

先来随机初始化模型的参数。

深度学习入门_第42张图片

创建参数的梯度:

参数初始化完成后我们就可以进行模型的定义:

>>> def net(X):
...     return nd.dot(X,w)+b

第4步:定义损失函数

通过损失函数衡量预测目标与真实目标之间的差距。

def square_loss(yhat,y):
    return (yhat - y.reshape(yhat.shape))**2

第5步:优化

使用梯度下降进行求解。

def SGD(params,lr):
    for param in params:
        param[:] = param - lr * param.grad

第6步:训练

深度学习入门_第43张图片

>>> epochs = 5
>>> learning_rate = .001
>>> 
>>> for e in range(epochs):
...     total_loss = 0
...     for data,label in adte_iter():
...         with autograd.record():
...             output = net(data)
...             loss = square_loss(output,label)
...         loss.backward()
...         SGD(params,learning_rate)
...         total_loss += nd.sum(loss).asscalar()
...     print("%d,loss: %f" % (e,total_loss/num_examples))
... 
0,loss: 0.130911
1,loss: 0.002628
2,loss: 0.000150
3,loss: 0.000102
4,loss: 0.000101

查看训练结果(和我们的预期相同)

深度学习入门_第44张图片

0x07 使用gluon的线性回归

第1步:数据集的创建

深度学习入门_第45张图片

第2步:数据读取

深度学习入门_第46张图片

第3步:定义模型

深度学习入门_第47张图片

第4步:定义损失函数

深度学习入门_第48张图片

第5步:优化

第6步:训练

深度学习入门_第49张图片

0x08 总结

本文主要为笔者在刚接触深度学习时,看文档+视频最后整理的笔记。

通过几天的学习了解到这块的工作流程:

1、确认需要训练的数据集(特征工程)

2、将特征工程后的数据读取至内存中

3、定义模型同时初始化模型参数

4、定义损失函数、优化算法

5、训练模型及验证结果

在训练模型的过程中,要不断的根据训练结果调整模型参数,以达到理想解。

0x09 参考链接

NDArray API - mxnet documentation

Project Jupyter

apache/incubator-mxnet

动手学深度学习 - 动手学深度学习 0.6 文档

琐事闲谈 & Pandas安利

 

你可能感兴趣的:(深度学习)