美赛python学习d15--人工神经网络ANN

数据集获取网址

SuperdataScience

神经元

输入信号：$X_1,X_2,...X_m$
权重：$W_1,W_2,...W_m$也是神经网络训练的对象
激活函数：$\phi$
隐藏神经元：

激活函数

读取神经元所有输入的和，再将其转化成输出

1. 阈值函数
   
2. sigmoid函数
   
3. 线性整流函数ReLU（隐藏层常用）
   
4. 双曲正切函数
   

神经网络如何训练

损失函数：实际值与预测值的欧式距离
正向传播：根据权重预测输出值
反向更新：根据损失函数调节每个权重

梯度下降

随机梯度下降

神经网络如何运作

正向传播

反向传播

实例

通过用户的特征辨别哪些客户可能会离开银行转投其他的银行

整体架构

import pandas as pd
from sklearn.preprocessing import LabelEncoder,OneHotEncoder
from sklearn.compose import ColumnTransformer

dataset = pd.read_csv("F:\数模\美赛\Machine Learning A-Z Chinese Template Folder\Part 8 - Deep Learning\Section 32 - Artificial Neural Networks (ANN)\Churn_Modelling.csv")
x=dataset.iloc[:,3:13].values
y=dataset.iloc[:,13].values
#处理虚拟变量
labelencoder_x= LabelEncoder();
x[:,1]= labelencoder_x.fit_transform(x[:,1])
x[:,2]=labelencoder_x.fit_transform(x[:,2])
ct = ColumnTransformer([('one_hot_encoder', OneHotEncoder(), [1])], remainder='passthrough')
x = ct.fit_transform(x)
#注意虚拟变量陷阱
x=x[:,1:]

from sklearn.model_selection import train_test_split

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0)

# 数据的特征缩放
from sklearn.preprocessing import StandardScaler

sc_x = StandardScaler()

x_train = sc_x.fit_transform(x_train)
x_test = sc_x.transform(x_test)

import keras
from keras.models import Sequential
from keras.layers import Dense
#初始化ann
classifier=Sequential()
#添加输入层和第一层隐藏层
#x的列数就是输入神经元的个数
#一般隐藏层的神经元个数是输入层和输出层的平均数
classifier.add(Dense(units=6,kernel_initializer='uniform',activation='relu',input_dim=11))
#添加第二层隐藏层
classifier.add(Dense(units=6,kernel_initializer='uniform',activation='relu'))
#添加输出层,有三个或以上分类结果时改动units输出层个数和activation改为softmax
classifier.add(Dense(units=1,kernel_initializer='uniform',activation='sigmoid'))
#编译ann,不同输出层的激活函数有不同的损失函数,当分类结果大于等于三个时损失函数用categorical
classifier.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])
classifier.fit(x_train,y_train,batch_size=5,epochs=100)
#%%
#运用神经网络预测测试集的结果
y_pred=classifier.predict(x_test)
y_pred=(y_pred>0.5)
#利用混淆矩阵判断预测准确性
from sklearn.metrics import confusion_matrix
cm=confusion_matrix(y_test,y_pred)

Tensorflow

开源的深度学习框架，由谷歌团队开发

Keras

建立在Tensorflow之上的框架