学习笔记-第二章 深度学习概论与PaddlePaddle入门

人工智能、机器学习与深度学习

1 人工智能 Artificial Intelligence

*达特茅斯学院 - 1956 -
一门交叉学科，涉及数学、计算机科学、控制论、信息论、心理学、哲学等学科的边缘学科

2 机器学习

*卡耐基梅隆大学-1997 -

如果一个程序可以在任务T上，随着经验E的增加，效果P也可以随之增加，则这个程序可以从经验中学习
机器学习的传统算法包括决策树学习、推到逻辑规划、聚类、分类、回归、贝叶斯网络、神经网络

3 深度学习

深度学习系统是输入层，隐层，输出层的多层网络
深度学习不是万能的，像很多方法一样，他需要结合特定领域的先验知识

深度学习是大脑，机器学习是脑壳，人工智能就是四肢

深度学习的发展历程

1 神经网络的第一次高潮

1957-Frank-感知机

2 神经网络的第一次寒冬

1969-Marvin 能力有限只能分析线性问题，对于异或问题束手无策-多层感知机

3 神经网路的第二次高潮

1986-BP算法(反向传播算法)-自然杂志

4 神经网络的第二次寒冬

1989-卷积神经网络(CNN) -梯度爆炸问题
1998-SVM算法(支持向量机)贝尔实验室

5 深度学习的来临

⚠️《A Fast Learning Algorithm for Deep Belif Nets》

深度学习崛起的时代背景

算法有了，计算性能提升了，数据也有了

深度学习的应用场景

图像与视觉

• ImageNet 比赛 2013年
• 人脸识别
• 以图搜图

语音识别

2009年 高斯混合模型(GMM)被击败，语音识别领域首次成功
2016年百度语音识别准确率高达97%

自然语言处理

• 情感分析
• 文本生成
• 语言翻译
• 聊天机器人

个性化推荐

CTR（Click-Through-Rate） 点击通过率

常见的深度学习网络结构

全连接网络结构 FC FullConnected

卷积神经网络 CNN Convolutional nutrual Netwwork

循环神经网络 Recurrent Netural Network

机器学习回顾

输入数据-> 机器学习方法 -> 估计函数
新数据 ->估计函数 ->预测结果

线性回归的基本概念

• 什么是线性回归

存在一个点集，用一条曲线去拟合它的过程。如果拟合曲线是直线，就是线性回归，如果是曲线就是二次回归

• 基本概念：
  假设函数(Hypothesis Function),用数学方法描述自变量和因变量之间的为一种函数关系
  损失函数(Loss Function )，用数学方法描述假设函数的预测值和真实值之间的误差。均方差⚠️（Mean Squared Error）一种损失函数，交叉熵⚠️也是
  优化算法(Optimization Algorithm)

• 数据处理
  1 选取有用的维度
  2 是否处理离散值
  3 归一化（Mormalization)把各维的属性的取值范围放缩的差不多的区间：减掉均值，然后除以原值取范围

进行归一化的原因：1 ) 过大或者过小的数值范围会导致计算时的浮点上溢或者下溢出；2 ）不同的数值范围会导致不同属性对模型的重要性不同（至少在初始阶段如此），而这个假设常常不合理的。这回对优化过程造成困难，使得使用时间大大加长；3 ）很多机器学习技巧/模型（L1，L2正则项，向量空间模型-Vector Space）都基于这样的假设：所有的属性取汁差不多都是以0为均值切取值范围是相近的

4 分割数据考虑的因素：更多的训练数据会降低参数估计的方差，从而得倒更可信的模型，而更多的测试数据会降低测试误差的方差，从而得到更可信的测试误差
5 验证集：仅针对复杂模型，因为有很多超参数（Hyperparameter）要调整

• 模型概览（房价预测）
• 效果展示（房价预测）

深度学习框架介绍

深度学习框架的作用

• 简化计算图的搭建
  计算图（computional gragh）-本质上是一个有向无环图，结点代表函数，边代表函数操作
• 简化偏导计算
• 高效运行

常见的深度学习框架

CNTK | PaddlePaddle | Caffe2 | TensorFlow | PyTorch | MXNet

PaddlePaddle 简介

PaddlePaddle是百度开源的，易学易用的分布式深度学习平台

---

PaddlePaddle 使用

• docker 安装

mkdir ~/workspace
cd ~/workspace
touch housing.py

编辑 housing.py

import paddle.v2 as paddle

# 初始化
paddle.init(use_gpu=False,trainer_count=1)
# Configure the natural network
x = paddle.layer.data(name='x',type=paddle.data_type.dense_vector(13))
y_predict = paddle.layer.fc(input=x,size=1,act=paddle.activation.Linear())

with open('/workspace/fit_a_line.tar',r) as f:
      parpameters = paddle.parameters.Parameters.from_tar(f)
# Infer using provided test data
probs = paddle.infer(
           output_layer = y_predict,parameters = parameters,
            input=[item for item in paddle.dateset.uci_housing.test()()])

for i in xrange(len(probs)):
      print 'Predicted price: ${:,.2f}'.format(probs[I][0] * 1000)

运行housing.py

docker run --rm -v ～/workspace:/workspace paddle paddle/paddle:latest python /workspace/housing.py

房价模型连接
[百度备用]

---

• pip 安装

pip install paddlepaddle 

import paddle.v2 as paddle
# initialize PaddlePaddle
paddle.init(use_gpu=False,trainer_count=1)
# Configure the neural network
x = paddl.layer.data(name='x',type=paddle_type.dense_vector(13))
y_predict = paddle.layer.fc(input=x ,size = 1,act = paddle.activation.Linear())
with open('fit_a_line.tar','r') as f:
      parameters = paddle.parameters.Parameters.from_tar(f)

# infer using provided test data
probs = paddle.infer(
              output_layer=y_predict,parmeters=parameters,
              input=[item for item in paddle.dataset.uci_housing.test()()])
for i in xrange(len(probs)):
      print 'Predicted price:${:,.2f}'.fromat{probs[I][0] * 1000}

PaddlePaddle 实现

• 加载包

import matplotlib
matplotlib.use{'Agg'}

import matplotlib.predict as pat
import numpy as np

import paddle.v2 as paddle

• 数据处理

#  1 dataset 初始化
TRAIN_DATA = None
X_RAW = None
TEST_DATA = None

#  2 数据载入
def load_data(filename, feature_num=2,ratio=0.8):
"""
载入数据并进行处理
Args:
      Filename:数据储存文件，从该文件读取数据
      feature_num:数据特征数量
      ratio 训练集占总数据集比例
"""
global TRAIN_DATA，TEST_DATA，X_RAW
# data = np.loadtxt() 表示将数据载入后以矩阵或向量的形式存储在data中
# delimiter = ',' 表示以','为分隔符
data = np.loadtxt(filename,delimiter=',')
X_RAW = data.T[0].copy()

# axis= 0 表示按列计算
# data.shape[0] 表示data中一共有多少列
maximums,minimums,avgs =data.max(axis=0),data.min(axis=0),data.sum(axis=0)/data.shape[0]

# 归一化 data[:i] 表示第i列元素
for i in xrange(feature_num-1)
        data[:i]  = (data[: i]  - aves[I])/(maximums[i] - minmums[i])
      
# offset 用于划分训练数据集和测试数据集，例如0.8表示训练数据集占80%
offset = int(data.shape[0]*ratio)
TRAIN_DATA = data[:offset].copy
TEST_DATA= data[offset:].copy

#  3 读取训练数据 和读取测试数据
"""
读取训练数据或测试数据，服务于train()和test()
Args:
    data_set: 要获取的数据集
Return：
    reader:用于获取训练数据集及其标签的生成器
"""
def reader()
      """
      一个reader
      Args：
      return：
                data[:-1],data[-1:] --使用yield 返回生成器
                data[:-1]表示前n-1个元素，也就是训练数据，data[-1:1]表示最后一个元素，也就是对应的标签
      """
      for data in data_set:
            yield data[:-1],data[-1:]
return reader

# 4 获取训练数据集
def train():
    """
    定义一个reader 来获取训练数据集及其标签
    Args：
    Return：
        read_data --用于获取训练数据集及其标签的reader
    """
global TRAIN_DATA
load_data('data.txt')
return read_data(TRAIN_DATA)

# 5  获取测试数据集
def test():
"""
定义一个reader 来获取测试数据集及其标签
Args:
Return:
    read_data -- 用于获取测试数据集及其标签的reader
"""
global TEST_DATA
load_data('data.txt')
return read_data(TEST_DATA)

• 搭建神经网络

# 1 配置网络结构
def network_config():
"""
配置网络结构
Args：
Retrun:
        cost：
        parameter:模型参数
        optimizer:优化器
        feeeding:数据映射，python 字典
"""
# 输入层 paddle.layer.data 表示数据层，name='x':名称为x_input,
# type=paddle.data_type.dense_vector(1):数据类型为1维稠密向量
x_input = paddle.layer.data(name='x',
               type=paddle.data_type.dense_vector(1))
# 输出层：paddle.layer.fc 表示全链接层 ，input=x_input 表示该层输入数据层
# size =1:神经元个数，act=paddle.activation.Linear(): 激活函数为Linear()
# 标签数据，paddle.layer.data 表示数据层，name='y':名称为y
y_label = paddle.layer.data(name='y',type=paddle.data_type.dense_vector(1))

# 定义成本函数为均方差损失函数 square_error_cost
cost = paddle.layer.square_error_cost(input=y_predict,label=y_label)

# 利用cost 创建parameters
parameters = paddle.parameters.create(cost)

# 创建optimizer，并且初始化momentum，momentum=0 位普通的SGD 优化算法
optimizer = paddle.optimizer.Momentum(momnetum=0)

# 数据层和数组索引映射，用于trainer 训练时喂数据
feeding = {'x':0,'y':1}
result = [cost,parameter,optimizer,feeding]
return result

• 初始化 PaddlePaddle

# 初始化 use_gpu=False 表示不用GPU
def main():
      # init
      paddle.init(use_gpu=False,trainer_count=1)

• 训练模型

# 1 配置网络结构和设置参数
cost，parameters，optimizer，feeding = network_config()

# 2 记录成本
costs = []

# 3 创建 训练 trainer
traniner = paddle.trainer.SGD(cost=cost,parameters =parameters,update_equation =optimizer )

# 4 定义事件处理器，打印训练进度

def event_handler(event):
    """
    事件处理器，可以根据训练过程的信息作相应操作
    Args：
        Event:事件对象，包含event.pass_id,event.batch_id,event.cost等信息
    """
    if isinstance(event, paddle.event.EndIteration):
          if event.pass_id % 100 = 0:
                print "Pass %d,Batch %d,Cost %f"  % (
                    event.pass_id,event.batch_id,event.cost)
               costs.append(event.cost)
               )
   if isinstance(event, paddle.event.EndPass):
        result = trainer.test(
                      reader=paddle.batch(test(),batch_size=2),
                      feeding=feeding)
       print "Test %d,Cost %f" % (event.pass_id,result.cost) 
        )

# 5 模型训练
# training
trainer.train(
reder=paddle.batch(
        paddle.reader.shuffle(train(),but_size=500),
        batch_size=256),
        feeding=feeding,
        event_handler=event_handler,
        num_passes = 300)

# 6 打印结果
print_parameters(parameters)

# 7 展示学习曲线
plot_cost(costs)

• 预测房价

# 1 参数打印 page 57
def print_parameters(parameters):
      """
          打印训练结果的参数以及测试结果
          Args：
                  Parameters：训练结果的参数
          Return：
      """
      print   " Result parameters as below"
      
      theta_a = parateters.get('____fc_layer_0__.w0')[0]
      theta_b = parameters.get('___fc_layer_0_.wbias')[0]
      
      x_0 = X_RAW[0]
      y_0 = theta_a * TRAIN_DATA[0][0] + theta_b

      x_1 = X_RAW[1]
      y_1 =theta_a *TRAIN_DATA[1][0] + theta_b

      param_a = (y_0 - y_1) / (x_0 - x_1)
      param_b = (y_1 - param_a * x_1)
      print 'a = ',param_a
      print 'b = ',param_b

# 2 展示模型训练曲线 page 58
def_plot_costs(costs):
      """
      利用 costs 展示模型的训练曲线
      Args: 
            Cost: 记录了训练过程的cost变化的list，每一百次迭代记录一次
      Return:
      """
      costs = np.squeeze(costs)
      plt.plot(costs)
      plt.ylabel('cost')
      plt.xlabel('iterations(per hundreds)')
      plt.title("house Price Distributions")
      plt.show()
      plt.savefig("cost.png")

# 3 开始预测 page 58
if __name__ == '__main__':
       main()

• 数据可视化

# 绘图 page 59
import numpy as np
import matplotlib.pyplot as plt

def plot_data(data, a,b):
       x = data[:,0]
       y = data[:,1]
       y_predict = x*a + b;
       plt.scatter(x,y,marker='.',c='r',label='True')
       plt.title("House Price Distributions")
       plt.xlabel('House Area')
       plt.ylael('House Proce')
       plt.xlim(0,255)      
       plt.ylim(0,2500)
       predict = plt.plot(x,y_predict,lable='Preidict')
       plt.legend(loc='upper left')
       plt.savefig('result.png')
       plt.show()
       
data = np.loadtxt('data.txt',delimiter=',')
X_RAW = data.T[0].copy()
plot_data(data,7.1,-62.1)