耳森Paulson

2019.09.15】基于TensorFlow2.0，使用Keras + mnist（手写数字）数据集进行深度学习实战，数据归一化与不归一化结果对比

基于TensorFlow2.0，使用Keras + mnist 数据集进行深度学习实战

import pandas as pd 
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Flatten, Dense, Conv2D, MaxPooling2D, Dropout
from tensorflow.keras import datasets
%matplotlib inline

# 1、加载数据
(train_images,train_labels),(test_images,test_labels) = datasets.mnist.load_data()

print(train_images.shape)
print(train_labels.shape)
print(test_images.shape)
print(test_labels.shape)

(60000, 28, 28)
(60000,)
(10000, 28, 28)
(10000,)

plt.imshow(train_images[1009]),
train_labels[1009]

可以看到训练数据集由60000张28*28的图片组成,Label就是每个图像对应的手写字体的数字

(train_images,train_labels),(test_images,test_labels) = datasets.mnist.load_data()

# 2、构建模型(顺序)
model = Sequential([Flatten(input_shape=(28,28)), # （60000， 28. 28）-----》（60000， 28*28）
                   Dense(64, activation='relu'), 
                   Dense(10, activation='softmax')])
# 3、编译模型
model.compile(loss='sparse_categorical_crossentropy',
              optimizer='adam',
              metrics=['acc'])
# 4、拟合模型
history = model.fit(train_images, train_labels, 
                    epochs=50, batch_size=512,
                    validation_data=(test_images, test_labels))

Train on 60000 samples, validate on 10000 samples
Epoch 1/50
60000/60000 [==============================] - 1s 11us/sample - loss: 12.8318 - acc: 0.7595 - val_loss: 3.0141 - val_acc: 0.8560
Epoch 2/50
60000/60000 [==============================] - 1s 9us/sample - loss: 1.9891 - acc: 0.8371 - val_loss: 1.2640 - val_acc: 0.8252
Epoch 3/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.9736 - acc: 0.8264 - val_loss: 0.9058 - val_acc: 0.8334
Epoch 4/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.7063 - acc: 0.8540 - val_loss: 0.7601 - val_acc: 0.8576
Epoch 5/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.5713 - acc: 0.8728 - val_loss: 0.6955 - val_acc: 0.8706
Epoch 6/50
60000/60000 [==============================] - 0s 8us/sample - loss: 0.4809 - acc: 0.8869 - val_loss: 0.6461 - val_acc: 0.8801
Epoch 7/50
60000/60000 [==============================] - 0s 8us/sample - loss: 0.4170 - acc: 0.9004 - val_loss: 0.6040 - val_acc: 0.8920
Epoch 8/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.3727 - acc: 0.9104 - val_loss: 0.5777 - val_acc: 0.8954
Epoch 9/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.3327 - acc: 0.9165 - val_loss: 0.5469 - val_acc: 0.9010
Epoch 10/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.2992 - acc: 0.9240 - val_loss: 0.5124 - val_acc: 0.9074
Epoch 11/50
60000/60000 [==============================] - 0s 8us/sample - loss: 0.2726 - acc: 0.9290 - val_loss: 0.5123 - val_acc: 0.9093
Epoch 12/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.2519 - acc: 0.9325 - val_loss: 0.4877 - val_acc: 0.9111
Epoch 13/50
60000/60000 [==============================] - 0s 8us/sample - loss: 0.2308 - acc: 0.9369 - val_loss: 0.4719 - val_acc: 0.9158
Epoch 14/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.2192 - acc: 0.9388 - val_loss: 0.4744 - val_acc: 0.9161
Epoch 15/50
60000/60000 [==============================] - 0s 8us/sample - loss: 0.2034 - acc: 0.9435 - val_loss: 0.4513 - val_acc: 0.9173
Epoch 16/50
60000/60000 [==============================] - 0s 8us/sample - loss: 0.1920 - acc: 0.9457 - val_loss: 0.4389 - val_acc: 0.9219
Epoch 17/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1829 - acc: 0.9478 - val_loss: 0.4270 - val_acc: 0.9193
Epoch 18/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1739 - acc: 0.9496 - val_loss: 0.4385 - val_acc: 0.9241
Epoch 19/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.1632 - acc: 0.9525 - val_loss: 0.4111 - val_acc: 0.9294
Epoch 20/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1543 - acc: 0.9547 - val_loss: 0.4115 - val_acc: 0.9278
Epoch 21/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.1484 - acc: 0.9559 - val_loss: 0.4159 - val_acc: 0.9269
Epoch 22/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.1463 - acc: 0.9566 - val_loss: 0.4046 - val_acc: 0.9287
Epoch 23/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1372 - acc: 0.9586 - val_loss: 0.3985 - val_acc: 0.9327
Epoch 24/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.1321 - acc: 0.9601 - val_loss: 0.4131 - val_acc: 0.9304
Epoch 25/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.1234 - acc: 0.9622 - val_loss: 0.3863 - val_acc: 0.9330
Epoch 26/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.1195 - acc: 0.9631 - val_loss: 0.3987 - val_acc: 0.9348
Epoch 27/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1148 - acc: 0.9650 - val_loss: 0.4004 - val_acc: 0.9365
Epoch 28/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1159 - acc: 0.9643 - val_loss: 0.3818 - val_acc: 0.9371
Epoch 29/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1149 - acc: 0.9644 - val_loss: 0.3950 - val_acc: 0.9376
Epoch 30/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1090 - acc: 0.9666 - val_loss: 0.3915 - val_acc: 0.9393
Epoch 31/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1102 - acc: 0.9662 - val_loss: 0.3970 - val_acc: 0.9374
Epoch 32/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.1022 - acc: 0.9679 - val_loss: 0.3845 - val_acc: 0.9425
Epoch 33/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0977 - acc: 0.9691 - val_loss: 0.3771 - val_acc: 0.9397
Epoch 34/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0996 - acc: 0.9681 - val_loss: 0.3786 - val_acc: 0.9407
Epoch 35/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.1004 - acc: 0.9683 - val_loss: 0.3778 - val_acc: 0.9384
Epoch 36/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0987 - acc: 0.9695 - val_loss: 0.3819 - val_acc: 0.9417
Epoch 37/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0971 - acc: 0.9691 - val_loss: 0.3689 - val_acc: 0.9421
Epoch 38/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0890 - acc: 0.9714 - val_loss: 0.3723 - val_acc: 0.9415
Epoch 39/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0880 - acc: 0.9731 - val_loss: 0.3725 - val_acc: 0.9411
Epoch 40/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0852 - acc: 0.9729 - val_loss: 0.3966 - val_acc: 0.9406
Epoch 41/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0862 - acc: 0.9726 - val_loss: 0.3680 - val_acc: 0.9433
Epoch 42/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0880 - acc: 0.9732 - val_loss: 0.3706 - val_acc: 0.9428
Epoch 43/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0884 - acc: 0.9723 - val_loss: 0.3719 - val_acc: 0.9439
Epoch 44/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0884 - acc: 0.9725 - val_loss: 0.3815 - val_acc: 0.9434
Epoch 45/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0837 - acc: 0.9736 - val_loss: 0.3519 - val_acc: 0.9459
Epoch 46/50
60000/60000 [==============================] - 1s 9us/sample - loss: 0.0853 - acc: 0.9739 - val_loss: 0.3639 - val_acc: 0.9450
Epoch 47/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0776 - acc: 0.9755 - val_loss: 0.3533 - val_acc: 0.9458
Epoch 48/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0721 - acc: 0.9769 - val_loss: 0.3485 - val_acc: 0.9467
Epoch 49/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0787 - acc: 0.9756 - val_loss: 0.3649 - val_acc: 0.9479
Epoch 50/50
60000/60000 [==============================] - 1s 8us/sample - loss: 0.0778 - acc: 0.9765 - val_loss: 0.3624 - val_acc: 0.9468

# 5、评估模型
model.evaluate(test_images, test_labels)

10000/10000 [==============================] - 1s 52us/sample - loss: 0.3624 - acc: 0.9468





[0.36239219328409233, 0.9468]

# 结果可视化
acc = history.history.get('acc')
val_acc = history.history.get('val_acc')
loss = history.history.get('loss')
val_loss = history.history.get('val_loss')

epochs = range(1, len(acc)+1)
plt.figure(figsize=(8,4),dpi=100)
plt.subplot(1, 2, 1)
plt.plot(epochs, acc, 'bo', label='Traing acc')
plt.plot(epochs, val_acc, 'r', label='Test acc')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(epochs, loss, 'bo', label='Traing loss')
plt.plot(epochs, val_loss, 'r', label='Test val_loss')
plt.legend()

测试准确率为 0.9468

增大网络容量，添加隐含层

(train_images,train_labels),(test_images,test_labels) = datasets.mnist.load_data()

# 2、构建模型(顺序)
model = Sequential([Flatten(input_shape=(28,28)), # （60000， 28. 28）-----》（60000， 28*28）
                   Dense(64, activation='relu'), 
                    Dense(64, activation='relu'), 
                    Dense(64, activation='relu'), 
                   Dense(10, activation='softmax')])
# 3、编译模型
model.compile(loss='sparse_categorical_crossentropy',
              optimizer='adam',
              metrics=['acc'])
# 4、拟合模型
history = model.fit(train_images, train_labels, 
                    epochs=50, batch_size=512,
                    validation_data=(test_images, test_labels))

# 结果可视化
acc = history.history.get('acc')
val_acc = history.history.get('val_acc')
loss = history.history.get('loss')
val_loss = history.history.get('val_loss')

epochs = range(1, len(acc)+1)
plt.figure(figsize=(8,4),dpi=100)
plt.subplot(1, 2, 1)
plt.plot(epochs, acc, 'bo', label='Traing acc')
plt.plot(epochs, val_acc, 'r', label='Test acc')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(epochs, loss, 'bo', label='Traing loss')
plt.plot(epochs, val_loss, 'r', label='Test val_loss')
plt.legend()

Train on 60000 samples, validate on 10000 samples
Epoch 1/50
60000/60000 [==============================] - 1s 13us/sample - loss: 4.8376 - acc: 0.7013 - val_loss: 0.9137 - val_acc: 0.8342
Epoch 2/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.6739 - acc: 0.8600 - val_loss: 0.5719 - val_acc: 0.8735
Epoch 3/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.4421 - acc: 0.8936 - val_loss: 0.4463 - val_acc: 0.8954
Epoch 4/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.3424 - acc: 0.9126 - val_loss: 0.3728 - val_acc: 0.9125
Epoch 5/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.2755 - acc: 0.9263 - val_loss: 0.3248 - val_acc: 0.9195
Epoch 6/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.2321 - acc: 0.9356 - val_loss: 0.3045 - val_acc: 0.9226
Epoch 7/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.2043 - acc: 0.9421 - val_loss: 0.2869 - val_acc: 0.9265
Epoch 8/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1824 - acc: 0.9476 - val_loss: 0.2783 - val_acc: 0.9297
Epoch 9/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1636 - acc: 0.9525 - val_loss: 0.2641 - val_acc: 0.9351
Epoch 10/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1486 - acc: 0.9558 - val_loss: 0.2649 - val_acc: 0.9328
Epoch 11/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1401 - acc: 0.9578 - val_loss: 0.2570 - val_acc: 0.9372
Epoch 12/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1275 - acc: 0.9622 - val_loss: 0.2429 - val_acc: 0.9396
Epoch 13/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1212 - acc: 0.9638 - val_loss: 0.2492 - val_acc: 0.9401
Epoch 14/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1134 - acc: 0.9658 - val_loss: 0.2414 - val_acc: 0.9428
Epoch 15/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.1035 - acc: 0.9679 - val_loss: 0.2363 - val_acc: 0.9447
Epoch 16/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0968 - acc: 0.9702 - val_loss: 0.2293 - val_acc: 0.9472
Epoch 17/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0907 - acc: 0.9724 - val_loss: 0.2332 - val_acc: 0.9476
Epoch 18/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0881 - acc: 0.9725 - val_loss: 0.2350 - val_acc: 0.9468
Epoch 19/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0812 - acc: 0.9740 - val_loss: 0.2354 - val_acc: 0.9461
Epoch 20/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0784 - acc: 0.9758 - val_loss: 0.2341 - val_acc: 0.9471
Epoch 21/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0711 - acc: 0.9777 - val_loss: 0.2248 - val_acc: 0.9489
Epoch 22/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0634 - acc: 0.9797 - val_loss: 0.2339 - val_acc: 0.9511
Epoch 23/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0631 - acc: 0.9804 - val_loss: 0.2341 - val_acc: 0.9487
Epoch 24/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0642 - acc: 0.9793 - val_loss: 0.2302 - val_acc: 0.9516
Epoch 25/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0579 - acc: 0.9813 - val_loss: 0.2313 - val_acc: 0.9528
Epoch 26/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0584 - acc: 0.9807 - val_loss: 0.2342 - val_acc: 0.9513
Epoch 27/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0565 - acc: 0.9813 - val_loss: 0.2348 - val_acc: 0.9490
Epoch 28/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0578 - acc: 0.9807 - val_loss: 0.2454 - val_acc: 0.9529
Epoch 29/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0517 - acc: 0.9822 - val_loss: 0.2413 - val_acc: 0.9511
Epoch 30/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0500 - acc: 0.9830 - val_loss: 0.2522 - val_acc: 0.9506
Epoch 31/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0551 - acc: 0.9824 - val_loss: 0.2253 - val_acc: 0.9555
Epoch 32/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0414 - acc: 0.9864 - val_loss: 0.2535 - val_acc: 0.9532
Epoch 33/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0426 - acc: 0.9858 - val_loss: 0.2353 - val_acc: 0.9539
Epoch 34/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0392 - acc: 0.9870 - val_loss: 0.2474 - val_acc: 0.9516
Epoch 35/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0417 - acc: 0.9861 - val_loss: 0.2578 - val_acc: 0.9546
Epoch 36/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0360 - acc: 0.9879 - val_loss: 0.2543 - val_acc: 0.9532
Epoch 37/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0389 - acc: 0.9869 - val_loss: 0.2431 - val_acc: 0.9578
Epoch 38/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0471 - acc: 0.9842 - val_loss: 0.2825 - val_acc: 0.9533
Epoch 39/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0535 - acc: 0.9834 - val_loss: 0.2601 - val_acc: 0.9545
Epoch 40/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0438 - acc: 0.9851 - val_loss: 0.2737 - val_acc: 0.9545
Epoch 41/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0431 - acc: 0.9857 - val_loss: 0.2576 - val_acc: 0.9553
Epoch 42/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0365 - acc: 0.9875 - val_loss: 0.2803 - val_acc: 0.9543
Epoch 43/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0368 - acc: 0.9882 - val_loss: 0.2766 - val_acc: 0.9553
Epoch 44/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0526 - acc: 0.9838 - val_loss: 0.2644 - val_acc: 0.9582
Epoch 45/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0351 - acc: 0.9886 - val_loss: 0.2738 - val_acc: 0.9558
Epoch 46/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0321 - acc: 0.9893 - val_loss: 0.2816 - val_acc: 0.9571
Epoch 47/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0304 - acc: 0.9900 - val_loss: 0.2606 - val_acc: 0.9603
Epoch 48/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0286 - acc: 0.9906 - val_loss: 0.2603 - val_acc: 0.9602
Epoch 49/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0236 - acc: 0.9918 - val_loss: 0.2772 - val_acc: 0.9595
Epoch 50/50
60000/60000 [==============================] - 1s 10us/sample - loss: 0.0271 - acc: 0.9909 - val_loss: 0.2683 - val_acc: 0.9610

测试准确率为 0.9610

#对数据进行编码后训练

(train_images,train_labels),(test_images,test_labels) = datasets.mnist.load_data()
# 训练图像保存在一个uint8 类型的数组中，其形状为(60000, 28, 28)，取值区间为[0, 255]。我们需要将其变换为一个float32 数组，其形状为(60000, 28 * 28)，取值范围为0~1。
train_images = train_images.reshape(60000, 28*28).astype('float32') / 255
test_images = test_images.reshape(10000, 28*28).astype('float32') / 255

# 对标签进行分类编码
train_labels = tf.keras.utils.to_categorical(train_labels)
test_labels = tf.keras.utils.to_categorical(test_labels)

# 2、构建模型()
model = Sequential([Dense(512, activation='relu', input_shape=(28*28,)),
                   Dense(64, activation='relu'),
                   Dense(10, activation='softmax')])

# 3、编译模型
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['acc'])

# 4、拟合模型
history = model.fit(train_images, train_labels, 
                    epochs=50, batch_size=512, 
                    validation_data=(test_images, test_labels))

Train on 60000 samples, validate on 10000 samples
Epoch 1/50
60000/60000 [==============================] - 1s 15us/sample - loss: 0.3874 - acc: 0.8941 - val_loss: 0.1747 - val_acc: 0.9483
Epoch 2/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.1482 - acc: 0.9561 - val_loss: 0.1190 - val_acc: 0.9656
Epoch 3/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0980 - acc: 0.9714 - val_loss: 0.1008 - val_acc: 0.9671
Epoch 4/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0736 - acc: 0.9777 - val_loss: 0.0878 - val_acc: 0.9725
Epoch 5/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0549 - acc: 0.9841 - val_loss: 0.0724 - val_acc: 0.9778
Epoch 6/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0408 - acc: 0.9886 - val_loss: 0.0810 - val_acc: 0.9753
Epoch 7/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0324 - acc: 0.9909 - val_loss: 0.0646 - val_acc: 0.9799
Epoch 8/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0261 - acc: 0.9927 - val_loss: 0.0705 - val_acc: 0.9780
Epoch 9/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0212 - acc: 0.9946 - val_loss: 0.0610 - val_acc: 0.9812
Epoch 10/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0161 - acc: 0.9962 - val_loss: 0.0635 - val_acc: 0.9816
Epoch 11/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0107 - acc: 0.9981 - val_loss: 0.0654 - val_acc: 0.9804
Epoch 12/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0094 - acc: 0.9984 - val_loss: 0.0646 - val_acc: 0.9820
Epoch 13/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0079 - acc: 0.9985 - val_loss: 0.0643 - val_acc: 0.9824
Epoch 14/50
60000/60000 [==============================] - 1s 12us/sample - loss: 0.0049 - acc: 0.9995 - val_loss: 0.0682 - val_acc: 0.9815
Epoch 15/50
60000/60000 [==============================] - 1s 12us/sample - loss: 0.0045 - acc: 0.9993 - val_loss: 0.0691 - val_acc: 0.9817
Epoch 16/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0038 - acc: 0.9996 - val_loss: 0.0681 - val_acc: 0.9830
Epoch 17/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0029 - acc: 0.9998 - val_loss: 0.0647 - val_acc: 0.9825
Epoch 18/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0017 - acc: 0.9999 - val_loss: 0.0668 - val_acc: 0.9828
Epoch 19/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0013 - acc: 1.0000 - val_loss: 0.0672 - val_acc: 0.9827
Epoch 20/50
60000/60000 [==============================] - 1s 11us/sample - loss: 0.0011 - acc: 1.0000 - val_loss: 0.0655 - val_acc: 0.9837
Epoch 21/50
60000/60000 [==============================] - 1s 11us/sample - loss: 8.7679e-04 - acc: 1.0000 - val_loss: 0.0693 - val_acc: 0.9832
Epoch 22/50
60000/60000 [==============================] - 1s 11us/sample - loss: 7.6021e-04 - acc: 1.0000 - val_loss: 0.0679 - val_acc: 0.9839
Epoch 23/50
60000/60000 [==============================] - 1s 11us/sample - loss: 6.5421e-04 - acc: 1.0000 - val_loss: 0.0692 - val_acc: 0.9834
Epoch 24/50
60000/60000 [==============================] - 1s 11us/sample - loss: 5.7870e-04 - acc: 1.0000 - val_loss: 0.0712 - val_acc: 0.9832
Epoch 25/50
60000/60000 [==============================] - 1s 11us/sample - loss: 4.9977e-04 - acc: 1.0000 - val_loss: 0.0692 - val_acc: 0.9835
Epoch 26/50
60000/60000 [==============================] - 1s 11us/sample - loss: 4.4865e-04 - acc: 1.0000 - val_loss: 0.0719 - val_acc: 0.9830
Epoch 27/50
60000/60000 [==============================] - 1s 11us/sample - loss: 3.9904e-04 - acc: 1.0000 - val_loss: 0.0729 - val_acc: 0.9833
Epoch 28/50
60000/60000 [==============================] - 1s 11us/sample - loss: 3.6224e-04 - acc: 1.0000 - val_loss: 0.0726 - val_acc: 0.9832
Epoch 29/50
60000/60000 [==============================] - 1s 11us/sample - loss: 3.4489e-04 - acc: 1.0000 - val_loss: 0.0732 - val_acc: 0.9827
Epoch 30/50
60000/60000 [==============================] - 1s 11us/sample - loss: 2.9672e-04 - acc: 1.0000 - val_loss: 0.0731 - val_acc: 0.9829
Epoch 31/50
60000/60000 [==============================] - 1s 11us/sample - loss: 2.6151e-04 - acc: 1.0000 - val_loss: 0.0748 - val_acc: 0.9829
Epoch 32/50
60000/60000 [==============================] - 1s 11us/sample - loss: 2.3749e-04 - acc: 1.0000 - val_loss: 0.0746 - val_acc: 0.9830
Epoch 33/50
60000/60000 [==============================] - 1s 11us/sample - loss: 2.1668e-04 - acc: 1.0000 - val_loss: 0.0751 - val_acc: 0.9833
Epoch 34/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.9664e-04 - acc: 1.0000 - val_loss: 0.0762 - val_acc: 0.9835
Epoch 35/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.7997e-04 - acc: 1.0000 - val_loss: 0.0773 - val_acc: 0.9829
Epoch 36/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.6535e-04 - acc: 1.0000 - val_loss: 0.0772 - val_acc: 0.9829
Epoch 37/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.4918e-04 - acc: 1.0000 - val_loss: 0.0773 - val_acc: 0.9826
Epoch 38/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.3834e-04 - acc: 1.0000 - val_loss: 0.0788 - val_acc: 0.9826
Epoch 39/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.2273e-04 - acc: 1.0000 - val_loss: 0.0790 - val_acc: 0.9828
Epoch 40/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.1330e-04 - acc: 1.0000 - val_loss: 0.0794 - val_acc: 0.9830
Epoch 41/50
60000/60000 [==============================] - 1s 11us/sample - loss: 1.0385e-04 - acc: 1.0000 - val_loss: 0.0804 - val_acc: 0.9829
Epoch 42/50
60000/60000 [==============================] - 1s 11us/sample - loss: 9.3831e-05 - acc: 1.0000 - val_loss: 0.0803 - val_acc: 0.9825
Epoch 43/50
60000/60000 [==============================] - 1s 11us/sample - loss: 8.6219e-05 - acc: 1.0000 - val_loss: 0.0810 - val_acc: 0.9830
Epoch 44/50
60000/60000 [==============================] - 1s 11us/sample - loss: 7.9767e-05 - acc: 1.0000 - val_loss: 0.0813 - val_acc: 0.9833
Epoch 45/50
60000/60000 [==============================] - 1s 11us/sample - loss: 7.2581e-05 - acc: 1.0000 - val_loss: 0.0825 - val_acc: 0.9831
Epoch 46/50
60000/60000 [==============================] - 1s 11us/sample - loss: 6.8911e-05 - acc: 1.0000 - val_loss: 0.0829 - val_acc: 0.9828
Epoch 47/50
60000/60000 [==============================] - 1s 11us/sample - loss: 6.0209e-05 - acc: 1.0000 - val_loss: 0.0841 - val_acc: 0.9833
Epoch 48/50
60000/60000 [==============================] - 1s 11us/sample - loss: 5.6985e-05 - acc: 1.0000 - val_loss: 0.0848 - val_acc: 0.9826
Epoch 49/50
60000/60000 [==============================] - 1s 11us/sample - loss: 5.1581e-05 - acc: 1.0000 - val_loss: 0.0848 - val_acc: 0.9827
Epoch 50/50
60000/60000 [==============================] - 1s 11us/sample - loss: 4.8771e-05 - acc: 1.0000 - val_loss: 0.0851 - val_acc: 0.9824

# 5、评估模型
# model.predict(test_images)
# model.predict_class(test_images)
model.evaluate(test_images, test_labels)

10000/10000 [==============================] - 1s 56us/sample - loss: 0.0851 - acc: 0.9824





[0.08507671587202557, 0.9824]

# 结果可视化
acc = history.history.get('acc')
val_acc = history.history.get('val_acc')
loss = history.history.get('loss')
val_loss = history.history.get('val_loss')

epochs = range(1, len(acc)+1)
plt.figure(figsize=(8,4),dpi=100)
plt.subplot(1, 2, 1)
plt.plot(epochs, acc, 'bo', label='Traing acc')
plt.plot(epochs, val_acc, 'r', label='Test acc')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(epochs, loss, 'bo', label='Traing loss')
plt.plot(epochs, val_loss, 'r', label='Test val_loss')
plt.legend()

可以看出，准确率还是可以，不过测试数据比训练数据的结果还是要差一些，可能是因为有点过拟合了，我们只是一个3层的模型呀，增加一个Dropout层看看结果如何

# 2、构建模型
model = Sequential([Dense(512, activation='relu', input_shape=(28*28,)),
                   Dense(256, activation='relu'),
                    Dropout(0.5),
                   Dense(10, activation='softmax')])
# 3、编译模型
model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['acc'])
# 4、拟合模型
history = model.fit(train_images, train_labels, 
                    epochs=10, batch_size=128,
                   validation_data=(test_images, test_labels))

Train on 60000 samples, validate on 10000 samples
Epoch 1/10
60000/60000 [==============================] - 2s 36us/sample - loss: 0.2852 - acc: 0.9139 - val_loss: 0.1057 - val_acc: 0.9678
Epoch 2/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.1090 - acc: 0.9674 - val_loss: 0.0758 - val_acc: 0.9769
Epoch 3/10
60000/60000 [==============================] - 2s 28us/sample - loss: 0.0730 - acc: 0.9775 - val_loss: 0.0704 - val_acc: 0.9767
Epoch 4/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0530 - acc: 0.9837 - val_loss: 0.0580 - val_acc: 0.9817
Epoch 5/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0415 - acc: 0.9871 - val_loss: 0.0650 - val_acc: 0.9800
Epoch 6/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0345 - acc: 0.9886 - val_loss: 0.0584 - val_acc: 0.9831
Epoch 7/10
60000/60000 [==============================] - 2s 30us/sample - loss: 0.0282 - acc: 0.9912 - val_loss: 0.0603 - val_acc: 0.9831
Epoch 8/10
60000/60000 [==============================] - 2s 30us/sample - loss: 0.0238 - acc: 0.9918 - val_loss: 0.0727 - val_acc: 0.9821
Epoch 9/10
60000/60000 [==============================] - 2s 30us/sample - loss: 0.0211 - acc: 0.9929 - val_loss: 0.0742 - val_acc: 0.9818
Epoch 10/10
60000/60000 [==============================] - 2s 31us/sample - loss: 0.0188 - acc: 0.9935 - val_loss: 0.0703 - val_acc: 0.9825

# 结果可视化
acc = history.history.get('acc')
val_acc = history.history.get('val_acc')
loss = history.history.get('loss')
val_loss = history.history.get('val_loss')

epochs = range(1, len(acc)+1)
plt.figure(figsize=(8,4),dpi=100)
plt.subplot(1, 2, 1)
plt.plot(epochs, acc, 'bo', label='Traing acc')
plt.plot(epochs, val_acc, 'r', label='Test acc')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(epochs, loss, 'bo', label='Traing loss')
plt.plot(epochs, val_loss, 'r', label='Test val_loss')
plt.legend()

结果的趋势还没有很明显，增加epochs看看

history = model.fit(train_images, train_labels, 
                    epochs=20, batch_size=128,
                   validation_data=(test_images, test_labels))

Train on 60000 samples, validate on 10000 samples
Epoch 1/20
60000/60000 [==============================] - 2s 31us/sample - loss: 0.0154 - acc: 0.9952 - val_loss: 0.0694 - val_acc: 0.9842
Epoch 2/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0167 - acc: 0.9944 - val_loss: 0.0651 - val_acc: 0.9837
Epoch 3/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0142 - acc: 0.9953 - val_loss: 0.0829 - val_acc: 0.9823
Epoch 4/20
60000/60000 [==============================] - 2s 30us/sample - loss: 0.0126 - acc: 0.9956 - val_loss: 0.0928 - val_acc: 0.9788
Epoch 5/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0109 - acc: 0.9963 - val_loss: 0.0758 - val_acc: 0.9832
Epoch 6/20
60000/60000 [==============================] - 2s 28us/sample - loss: 0.0114 - acc: 0.9961 - val_loss: 0.0850 - val_acc: 0.9821
Epoch 7/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0141 - acc: 0.9957 - val_loss: 0.0962 - val_acc: 0.9815
Epoch 8/20
60000/60000 [==============================] - 2s 31us/sample - loss: 0.0099 - acc: 0.9965 - val_loss: 0.0815 - val_acc: 0.9852
Epoch 9/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0108 - acc: 0.9964 - val_loss: 0.0870 - val_acc: 0.9839
Epoch 10/20
60000/60000 [==============================] - 2s 30us/sample - loss: 0.0095 - acc: 0.9968 - val_loss: 0.0848 - val_acc: 0.9841
Epoch 11/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0102 - acc: 0.9966 - val_loss: 0.0864 - val_acc: 0.9826
Epoch 12/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0070 - acc: 0.9977 - val_loss: 0.0897 - val_acc: 0.9843
Epoch 13/20
60000/60000 [==============================] - 2s 30us/sample - loss: 0.0092 - acc: 0.9973 - val_loss: 0.0935 - val_acc: 0.9834
Epoch 14/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0077 - acc: 0.9976 - val_loss: 0.0928 - val_acc: 0.9840
Epoch 15/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0085 - acc: 0.9974 - val_loss: 0.0921 - val_acc: 0.9850
Epoch 16/20
60000/60000 [==============================] - 2s 30us/sample - loss: 0.0085 - acc: 0.9973 - val_loss: 0.1007 - val_acc: 0.9829
Epoch 17/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0090 - acc: 0.9972 - val_loss: 0.1169 - val_acc: 0.9813
Epoch 18/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0066 - acc: 0.9978 - val_loss: 0.0962 - val_acc: 0.9838
Epoch 19/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0077 - acc: 0.9977 - val_loss: 0.1108 - val_acc: 0.9812
Epoch 20/20
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0074 - acc: 0.9977 - val_loss: 0.1012 - val_acc: 0.9836

# 结果可视化
acc = history.history.get('acc')
val_acc = history.history.get('val_acc')
loss = history.history.get('loss')
val_loss = history.history.get('val_loss')

epochs = range(1, len(acc)+1)
plt.figure(figsize=(8,4),dpi=100)
plt.subplot(1, 2, 1)
plt.plot(epochs, acc, 'bo', label='Traing acc')
plt.plot(epochs, val_acc, 'r', label='Test acc')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(epochs, loss, 'bo', label='Traing loss')
plt.plot(epochs, val_loss, 'r', label='Test val_loss')
plt.legend()

看样子又出现过拟合情况了，接下来大家可以调整各个超参数和网络层数，继续试试

# 全部代码

import pandas as pd 
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Flatten, Dense, Conv2D, MaxPooling2D, Dropout
from tensorflow.keras import datasets
%matplotlib inline

# 1、加载数据
(train_images,train_labels),(test_images,test_labels) = datasets.mnist.load_data()
# 训练图像保存在一个uint8 类型的数组中，其形状为(60000, 28, 28)，取值区间为[0, 255]。我们需要将其变换为一个float32 数组，其形状为(60000, 28 * 28)，取值范围为0~1。
train_images = train_images.reshape(60000, 28*28).astype('float32') / 255
test_images = test_images.reshape(10000, 28*28).astype('float32') / 255
# 对标签进行分类编码
train_labels = tf.keras.utils.to_categorical(train_labels)
test_labels = tf.keras.utils.to_categorical(test_labels)

# 2、构建模型
model = Sequential([Dense(512, activation='relu', input_shape=(28*28,)),
                   Dense(256, activation='relu'),
                   Dropout(0.4),
                   Dense(10, activation='softmax')])
# 3、编译模型
model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['acc'])
# 4、拟合模型
history = model.fit(train_images, train_labels, 
                    epochs=10, batch_size=128,
                   validation_data=(test_images, test_labels))

# 5、评估模型
# model.predict(test_images)
# model.predict_class(test_images)
model.evaluate(test_images, test_labels)

# 结果可视化
acc = history.history.get('acc')
val_acc = history.history.get('val_acc')
loss = history.history.get('loss')
val_loss = history.history.get('val_loss')

epochs = range(1, len(acc)+1)
plt.figure(figsize=(8,4),dpi=100)
plt.subplot(1, 2, 1)
plt.plot(epochs, acc, 'bo', label='Traing acc')
plt.plot(epochs, val_acc, 'r', label='Test acc')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(epochs, loss, 'bo', label='Traing loss')
plt.plot(epochs, val_loss, 'r', label='Test val_loss')
plt.legend()

Train on 60000 samples, validate on 10000 samples
Epoch 1/10
60000/60000 [==============================] - 2s 33us/sample - loss: 0.2642 - acc: 0.9219 - val_loss: 0.1211 - val_acc: 0.9613
Epoch 2/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.1001 - acc: 0.9698 - val_loss: 0.0777 - val_acc: 0.9770
Epoch 3/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0665 - acc: 0.9794 - val_loss: 0.0769 - val_acc: 0.9758
Epoch 4/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0488 - acc: 0.9849 - val_loss: 0.0749 - val_acc: 0.9772
Epoch 5/10
60000/60000 [==============================] - 2s 31us/sample - loss: 0.0384 - acc: 0.9877 - val_loss: 0.0714 - val_acc: 0.9797
Epoch 6/10
60000/60000 [==============================] - 2s 32us/sample - loss: 0.0285 - acc: 0.9908 - val_loss: 0.0722 - val_acc: 0.9786
Epoch 7/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0247 - acc: 0.9916 - val_loss: 0.0683 - val_acc: 0.9816
Epoch 8/10
60000/60000 [==============================] - 2s 29us/sample - loss: 0.0221 - acc: 0.9924 - val_loss: 0.0653 - val_acc: 0.9818
Epoch 9/10
60000/60000 [==============================] - 2s 27us/sample - loss: 0.0182 - acc: 0.9939 - val_loss: 0.0738 - val_acc: 0.9806
Epoch 10/10
60000/60000 [==============================] - 2s 31us/sample - loss: 0.0175 - acc: 0.9943 - val_loss: 0.0761 - val_acc: 0.9820
10000/10000 [==============================] - 1s 55us/sample - loss: 0.0761 - acc: 0.9820

你可能感兴趣的:(TensorFlow2.0)

Anaconda Tensorflow2.0稳定版安装教程 YeahQing
Anaconda安装Anaconda安装国内因为某些原因，可以在清华镜像站下载。Anaconda默认自带python，所以无需提前下载python清华镜像站Anaconda官网image-20191124164832545.pngimage-20191124165041433.png此处两个高级设置的解释:将Anaconda添加到环境变量中。(无需勾选)可以让其他IDE检测到Anaconda的Py
Tensorflow2.0 查看网络中每层的名称、权重及特征图绘制 cofisher Tensorflow 2.0 深度学习 PHM项目实战--建模篇深度学习 python tensorflow
文章目录项目介绍实现过程1、构建网络2、查看每层名称3、查看指定层的权值4、特征图绘制项目介绍在网络训练过程中，我们经常需要查看某层权重的变化过程，这其实只需要简单的API就能实现。为了方便演示，我们使用迁移学习到的MobileNetV2网络。实现过程1、构建网络我们将冻结迁移到的MobileNetV2网络，然后将它最后的分类层换成我们自己定义的分类层即可。mobile=tf.keras.appl
Tensorflow2.0 评价模型复杂度：参数量、FLOPs 和 MACC 计算 cofisher 深度学习 PHM项目实战--建模篇 tensorflow 深度学习卷积 python
文章目录项目介绍代码实现：对于迁移学习网络（复杂）1、迁移学习不带分类层的简化版MobileNetV2网络2、查看网络结构3、提取需要分析的层4、计算FLOPs和MACC代码实现：对于自编写网络（简单）1、导入网络2、查看网络结构3、提取需要分析的层4、计算FLOPs和MACC项目介绍在论文写作时，我们经常会对所提出模型的复杂度进行分析，主要用到的评价指标包括参数量、FLOPs和MACC，它们的计
Tensorflow2.0 对自己的图片数据集进行分类 cofisher python 深度学习 PHM项目实战--建模篇 tensorflow python 深度学习
文章目录项目介绍数据集网络模型代码实现1、导入需要的库2、定义图像加载和预处理函数3、定义构造Dataset数据集函数4、构造Dataset数据集5、构建网络6、初始化优化器和损失函数7、定义损失函数8、定义梯度下降函数9、保留Checkpoint文件10、训练过程11、保存模型到.h5文件中12、绘制准确率曲线
为使用tensorflow2.0 以上版本。卸载cuda8.0 安装cuda10.1 cudnn7.6 xuanxi
配置一个虚拟环境名为tfkeras：python3.5-3.8+cuda10.1+tensorflow-gpu==2.1-2.3+cudnn7.6>condacreate-ntf2keraspython=3.8#先创建一个名为tfkeras，环境为python3.8的环境下一步开始在tfkeras这个虚拟环境下面装package卸载cuda8.0因为winserver2012原本装的是cuda8.
Tensorflow2.0实现像素归一化与频谱归一化，一次彻底地梳理人工智能T哥
一、前言归一化技术的改进是生成对抗网络(GenerativeAdversarialNetworks,GAN)中众多改进的一种，本文介绍常用于当前GAN中的像素归一化(Pixelnormalization，或称为像素规范化)和频谱归一化(Spectralnormalization，或称频谱规范化)，在高清图片生成中，这两种归一化技术得到了广泛使用，最后使用Tensorflow2实现像素归一化和频谱归
tensorflow2.0的cpu与gpu运行时间对比尘埃飞舞人工智能 python tensorflow
文章目录前言一、导入环境二、定义函数三、测试前言这里运用一个自定义大小的矩阵数据计算，来测试gpu与cpu运算时间的对比。以下为实现方法一、导入环境示例：pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。#设置显卡内存使用率，根据使用率占用importosos.environ["TF_FORCE_GPU_ALLOW_GROWTH"]="true"importtensor
如何用 Python 和 Tensorflow 2.0 神经网络分类表格数据？ nkwshuyi
以客户流失数据为例，看Tensorflow2.0版本如何帮助我们快速构建表格（结构化）数据的神经网络分类模型。变化表格数据，你应该并不陌生。毕竟，Excel这东西在咱们平时的工作和学习中，还是挺常见的。在之前的教程里，我为你分享过，如何利用深度神经网络，锁定即将流失的客户。里面用到的，就是这样的表格数据。时间过得真快，距离写作那篇教程，已经一年半了。这段时间里，出现了2个重要的变化，使我觉得有必要
Tensorflow2.0笔记 - where，scatter_nd, meshgrid相关操作亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能 python 深度学习
本笔记记录tf.where进行元素位置查找，scatter_nd用于指派元素到tensor的特定位置，meshgrid用作绘图的相关操作。importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotasplttf.__version__#where操作查找元素位置#输入的tensor是True,False组成的tensortensor=tf.
huggingface 的trainer训练框架优势 be_humble 人工智能深度学习 python
背景HuggingfaceTransformers是基于一个开源基于transformer模型结构提供的预训练语言库，它支持Pytorch，Tensorflow2.0，并且支持两个框架的相互转换。框架支持了最新的各种NLP预训练语言模型，使用者可以很快速的进行模型的调用，并且支持模型furtherpretraining和下游任务fine-tuning。Transformers库写了了一个trans
Tensorflow2.0笔记 - Tensor的限值clip操作亦枫Leonlew TensorFlow2.0 笔记 tensorflow 人工智能 python 深度学习
本笔记主要记录使用maximum/minimum,clip_by_value和clip_by_norm来进行张量值的限值操作。importtensorflowastfimportnumpyasnptf.__version__#maximum/minimumz做上下界的限值tensor=tf.random.shuffle(tf.range(10))print(tensor)#maximum(x,y,
Tensorflow2.0基础-笔记-图像识别-猫狗数据集二流子学程序 tensorflow2.0 tensorflow 图像识别
importtensorflowastfimportmatplotlib.pyplotaspltimportnumpyasnp%matplotlibinlineimportglobimage_filenames1=glob.glob('./DataSet/猫狗数据集_2000/dc_2000/train/cat/*.jpg')image_filenames2=glob.glob('./DataSe
Tensorflow2.0笔记 - tensor排序操作亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能 python 深度学习 tensorflow2
本笔记主要记录sort,argsort,以及top_k操作，加上一个求TopK准确度的例子。importtensorflowastfimportnumpyasnptf.__version__#sort,argsort#对1维的tensor进行排序tensor=tf.random.shuffle(tf.range(10))print(tensor)#升序print("======tf.sort(di
Tensorflow2.0笔记 - tensor的padding和tile 亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能深度学习 python
本笔记记录tensor的填充和tile操作，对应tf.pad和tf.tileimporttensorflowastfimportnumpyasnptf.__version__#pad做填充#tf.pad(tensor,paddings,mode='CONSTANT',name=None)#1维tensor填充tensor=tf.random.uniform([5],maxval=10,dtype=
2019年上半年收集到的人工智能开源框架介绍文章城市中迷途小书童
2019年上半年收集到的人工智能开源框架介绍文章TensorFlow基本使用TensorFlow.js：让你在浏览器中也能玩转机器学习人工智能学习框架TensorFlow渐近分析TensorFlow什么的都弱爆了，强者只用Numpy搭建神经网络TensorFlow框架的开源工具箱Ludwig人工智能学习框架TensorFlow必须掌握和了解的数学基础TensorFlow2.0来了9步教你用NumP
conda多虚拟环境的搭建与切换溯源006 python conda
在Python开发中，很多时候我们希望每个应用有一个独立的Python环境（比如应用1需要用到TensorFlow1.X，而应用2使用TensorFlow2.0）。这时，Conda虚拟环境即可为一个应用创建一套“隔离”的Python运行环境。使用Python的包管理器conda即可轻松地创建Conda虚拟环境。常用命令如下【1】：condacreate--name[env-name]#建立名为[e
Tensorflow2.0笔记 - 范式norm,reduce_min/max/mean,argmax/min, equal,unique 亦枫Leonlew TensorFlow2.0 python tensorflow 笔记人工智能
练习norm,reduce_min/max,argmax/min,equal,unique等相关操作。范数主要有三种：importtensorflowastfimportnumpyasnptf.__version__#范数参考：https://blog.csdn.net/HiWangWenBing/article/details/119707541tensor=tf.convert_to_tens
pythorch及tensorflow2.0以上版本的安装 Rayne_tab
前言从tensorflow1.X用到现在了，pytorch也是去年接触的，这两个框架都属于更新比较快的，因此难免更新自己的版本。最头疼的莫过于CUDA，cudnn这些东西的版本匹配。以前看了不少教程，让我们安装cuda，cudnn，配置环境变量。其实，这两个框架的GPU版本配置早就很简单很简单了！根本不用下载CUDA，cudnn这些！准备工作要准备的就两点：1.Anaconda/Miniconda
Tensorflow2.0笔记 - tensor的合并和分割亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能 python 深度学习
主要记录concat,stack,unstack和split相关操作的作用importtensorflowastfimportnumpyasnptf.__version__#concat对某个维度进行连接#假设下面的tensor0和tensor1分别表示4个班级35名同学的8门成绩和两个班级35个同学8门成绩tensor0=tf.ones([4,35,8])tensor1=tf.ones([2,3
所有情况下tensorflow2.0深度学习环境最快安装方法！小火龙G
首先，你需要下载一个miniconda安装记得添加环境变量就是在安装过程中看到path这个单词的选项的时候就给勾选上就行然后启动CMD，不会启动CMD请百度在CMD内输入以下命令condalist如果有类似界面即代表环境正确添加如果未显示类似界面请重新安装（比手动path易懂）CMD然后就可以安装了输入condainstalltensorflow-gpu==2.0.0然后等待运行完成就行，如果不能
基于Python TensorFlow keras.Sequential深度神经网络的深度学习回归疯狂学习GIS
1写在前面前期一篇博客（https://blog.csdn.net/zhebushibiaoshifu/article/details/114001720）详细介绍了基于TensorFlowtf.estimator接口的深度学习网络；而在TensorFlow2.0中，新的Keras接口具有与tf.estimator接口一致的功能，且其更易于学习，对于新手而言友好程度更高；在TensorFlow官网
Tensorflow2.0笔记 - 不使用layer方式，简单的MNIST训练亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能 python 深度学习
本笔记不使用layer相关API，搭建一个三层的神经网络来训练MNIST数据集。前向传播和梯度更新都使用最基础的tensorflowAPI来做。importtensorflowastffromtensorflowimportkerasfromtensorflow.kerasimportdatasetsimportnumpyasnpdefload_mnist():path=r'./mnist.npz
Tensorflow2.0笔记 - Broadcasting和Tile 亦枫Leonlew TensorFlow2.0 笔记 tensorflow2 python 深度学习人工智能
关于broadcasting的介绍，参考这篇文章。https://blog.csdn.net/python_LC_nohtyp/article/details/104097417importtensorflowastfimportnumpyasnptf.__version__#关于broadcasting的介绍，参考这篇文章#https://blog.csdn.net/python_LC_noht
Tensorflow2.0笔记 - 基础数学运算亦枫Leonlew TensorFlow2.0 笔记 tensorflow 人工智能深度学习 python
本笔记主要记录基于元素操作的+,-,*,/,//,%,**,log,exp等运算，矩阵乘法运算，多维tensor乘法相关运算importtensorflowastfimportnumpyasnptf.__version__#element-wise运算，对应元素的+,-,*,/,**,//,%tensor1=tf.fill([3,3],4)tensor2=tf.ones([3,3],dtype=t
Tensorflow2.0笔记 - 修改形状和维度亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能 python 计算机视觉深度学习
本次笔记主要使用reshape，transpose，expand_dim，和squeeze对tensor的形状和维度进行操作。importtensorflowastfimportnumpyasnptf.__version__#tensor的shape和维数获取#假设下面这个tensor表示4张28*28*3的图片tensor=tf.random.uniform([4,28,28,3],minval
Tensorflow2.0笔记 - Tensor的数据索引和切片亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能 python 深度学习
主要涉及的了基础下标索引"[]",逗号",",冒号":",省略号"..."操作，以及gather,gather_nd和boolean_mask的相关使用方法。importtensorflowastfimportnumpyasnptf.__version__tensor=tf.random.uniform([1,5,5,3],minval=10,maxval=30,dtype=tf.int32)pr
Tensorflow2.0笔记 - 创建tensor 亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能 python 深度学习
tensor创建可以基于numpy，list或者tensorflow本身的API。笔记直接上代码：importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotasplttf.__version__#通过numpy创建tensortensor0=tf.convert_to_tensor(np.ones([2,3]))print(tensor0)
Tensorflow2.0笔记 - 基本数据类型，数据类型转换亦枫Leonlew TensorFlow2.0 tensorflow 笔记人工智能深度学习
【TensorFlow2.0】(1)tensor数据类型，类型转换_tensorflowtensor转int-CSDN博客文章浏览阅读1.5w次，点赞8次，收藏28次。各位同学好，今天和大家分享一下TensorFlow2.0中的tensor数据类型，以及各种类型之间的相互转换方法。1.tf.tensor基础操作scaler标量：1.2vector向量：[1.2]、[1.1,2.2,3.3]注意：此
学点深度学习 zd200572 IT 深度学习 tensorflow
最近尝试入门点深度学习的内容，首先来个框架试试嘛，tensorflow2.0的GPU要求已经是nvida算力3.5以上的设备，当然，如果你能过GFW，tesla据说可以白嫖。想用自己的设备咋办呢，只有单纯CPU上了，那这速度就无语了，慢上几十倍，毕竟再差的GPU的核心数，也是cpu的几十倍，所以使用opencl，苹果metal等的框架是个不错的选择，在知乎上发现了一个答主推荐plaidml这个框架
2023年终总结｜回顾学习Tensorflow、Keras的历程缘起性空、人工智能学习 keras tensorflow 深度学习 python
2023年4月，初探TensorFlow2.0，对比了1.0版本的差异。接着，学习了TensorFlow2.0的常量矩阵、四则运算以及常用函数。学习了数据切割、张量梯度计算、遍历元素、类别索引转换等技巧，并掌握了CNN输出特征图形状的计算方法。在数据处理方面，学习了数据切割、张量梯度计算和遍历元素的技巧，这些技能在处理大规模数据集时极为重要。此外，还掌握了如何计算CNN输出特征图形的形状，这为优化
redis学习笔记——不仅仅是存取数据 Everyday都不同 returnSource expire/del incr/lpush 数据库分区 redis
最近项目中用到比较多redis，感觉之前对它一直局限于get/set数据的层面。其实作为一个强大的NoSql数据库产品，如果好好利用它，会带来很多意想不到的效果。（因为我搞java，所以就从jedis的角度来补充一点东西吧。PS：不一定全，只是个人理解，不喜勿喷） 1、关于JedisPool.returnSource(Jedis jeids) 这个方法是从red
SQL性能优化-持续更新中。。。。。。 atongyeye oracle sql
1 通过ROWID访问表--索引你可以采用基于ROWID的访问方式情况,提高访问表的效率, , ROWID包含了表中记录的物理位置信息..ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系. 通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高. 2 共享SQL语句--相同的sql放入缓存 3 选择最有效率的表
[JAVA语言]JAVA虚拟机对底层硬件的操控还不完善 comsci JAVA虚拟机
如果我们用汇编语言编写一个直接读写CPU寄存器的代码段，然后利用这个代码段去控制被操作系统屏蔽的硬件资源，这对于JVM虚拟机显然是不合法的，对操作系统来讲，这样也是不合法的，但是如果是一个工程项目的确需要这样做，合同已经签了，我们又不能够这样做，怎么办呢？那么一个精通汇编语言的那种X客，是否在这个时候就会发生某种至关重要的作用呢？ &n
lvs- real 男人50 LVS
#!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # #. /etc/rc.d/init.d/functions VIP=10.10.6.252 host='/bin/hostname' case "$1" in sta
生成公钥和私钥 oloz DSA 安全加密
package com.msserver.core.util; import java.security.KeyPair; import java.security.PrivateKey; import java.security.PublicKey; import java.security.SecureRandom; public class SecurityUtil {
UIView 中加入的cocos2d，背景透明 374016526 cocos2d glClearColor
要点是首先pixelFormat:kEAGLColorFormatRGBA8，必须有alpha层才能透明。然后view设置为透明glView.opaque = NO;[director setOpenGLView:glView];[self.viewController.view setBackgroundColor:[UIColor clearColor]];[self.viewControll
mysql常用命令香水浓 mysql
连接数据库 mysql -u troy -ptroy 备份表 mysqldump -u troy -ptroy mm_database mm_user_tbl > user.sql 恢复表（与恢复数据库命令相同） mysql -u troy -ptroy mm_database < user.sql 备份数据库 mysqldump -u troy -ptroy
我的架构经验系列文章 - 后端架构 - 系统层面 agevs JavaScript jquery css html5
系统层面：高可用性所谓高可用性也就是通过避免单独故障加上快速故障转移实现一旦某台物理服务器出现故障能实现故障快速恢复。一般来说，可以采用两种方式，如果可以做业务可以做负载均衡则通过负载均衡实现集群，然后针对每一台服务器进行监控，一旦发生故障则从集群中移除；如果业务只能有单点入口那么可以通过实现Standby机加上虚拟IP机制，实现Active机在出现故障之后虚拟IP转移到Standby的快速
利用ant进行远程tomcat部署 aijuans tomcat
在javaEE项目中，需要将工程部署到远程服务器上，如果部署的频率比较高，手动部署的方式就比较麻烦，可以利用Ant工具实现快捷的部署。这篇博文详细介绍了ant配置的步骤（http://www.cnblogs.com/GloriousOnion/archive/2012/12/18/2822817.html），但是在tomcat7以上不适用，需要修改配置，具体如下： 1.配置tomcat的用户角色
获取复利总收入 baalwolf 获取
public static void main(String args[]){ int money=200; int year=1; double rate=0.1; &
eclipse.ini解释 BigBird2012 eclipse
大多数java开发者使用的都是eclipse，今天感兴趣去eclipse官网搜了一下eclipse.ini的配置，供大家参考，我会把关键的部分给大家用中文解释一下。还是推荐有问题不会直接搜谷歌，看官方文档，这样我们会知道问题的真面目是什么，对问题也有一个全面清晰的认识。 Overview 1、Eclipse.ini的作用 Eclipse startup is controlled by th
AngularJS实现分页功能 bijian1013 JavaScript AngularJS 分页
对于大多数web应用来说显示项目列表是一种很常见的任务。通常情况下，我们的数据会比较多，无法很好地显示在单个页面中。在这种情况下，我们需要把数据以页的方式来展示，同时带有转到上一页和下一页的功能。既然在整个应用中这是一种很常见的需求，那么把这一功能抽象成一个通用的、可复用的分页（Paginator）服务是很有意义的。 &nbs
[Maven学习笔记三]Maven archetype bit1129 ArcheType
archetype的英文意思是原型，Maven archetype表示创建Maven模块的模版，比如创建web项目，创建Spring项目等等. mvn archetype提供了一种命令行交互式创建Maven项目或者模块的方式， mvn archetype 1.在LearnMaven-ch03目录下，执行命令mvn archetype:gener
【Java命令三】jps bit1129 Java命令
jps很简单，用于显示当前运行的Java进程，也可以连接到远程服务器去查看 [hadoop@hadoop bin]$ jps -help usage: jps [-help] jps [-q] [-mlvV] [<hostid>] Definitions: <hostid>: <hostname>[:
ZABBIX2.2 2.4 等各版本之间的兼容性 ronin47
zabbix更新很快，从2009年到现在已经更新多个版本，为了使用更多zabbix的新特性，随之而来的便是升级版本，zabbix版本兼容性是必须优先考虑的一点客户端AGENT兼容 zabbix1.x到zabbix2.x的所有agent都兼容zabbix server2.4：如果你升级zabbix server，客户端是可以不做任何改变，除非你想使用agent的一些新特性。 Zabbix代理（p
unity 3d还是cocos2dx哪个适合游戏？ brotherlamp unity自学 unity教程 unity视频 unity资料 unity
unity 3d还是cocos2dx哪个适合游戏？问：unity 3d还是cocos2dx哪个适合游戏？答：首先目前来看unity视频教程因为是3d引擎，目前对2d支持并不完善，unity 3d 目前做2d普遍两种思路，一种是正交相机，3d画面2d视角，另一种是通过一些插件，动态创建mesh来绘制图形单元目前用的较多的是2d toolkit，ex2d，smooth moves，sm2，
百度笔试题：一个已经排序好的很大的数组，现在给它划分成m段，每段长度不定，段长最长为k，然后段内打乱顺序，请设计一个算法对其进行重新排序 bylijinnan java 算法面试百度招聘
import java.util.Arrays; /** * 最早是在陈利人老师的微博看到这道题： * #面试题#An array with n elements which is K most sorted，就是每个element的初始位置和它最终的排序后的位置的距离不超过常数K * 设计一个排序算法。It should be faster than O(n*lgn)。
获取checkbox复选框的值 chiangfai checkbox
<title>CheckBox</title> <script type = "text/javascript"> doGetVal: function doGetVal() { //var fruitName = document.getElementById("apple").value;//根据
MySQLdb用户指南 chenchao051 mysqldb
原网页被墙，放这里备用。 MySQLdb User's Guide Contents Introduction Installation _mysql MySQL C API translation MySQL C API function mapping Some _mysql examples MySQLdb
HIVE 窗口及分析函数 daizj hive 窗口函数分析函数
窗口函数应用场景：（1）用于分区排序（2）动态Group By （3）Top N （4）累计计算（5）层次查询一、分析函数用于等级、百分点、n分片等。函数说明 RANK() &nbs
PHP ZipArchive 实现压缩解压Zip文件 dcj3sjt126com PHP zip
PHP ZipArchive 是PHP自带的扩展类，可以轻松实现ZIP文件的压缩和解压，使用前首先要确保PHP ZIP 扩展已经开启，具体开启方法就不说了，不同的平台开启PHP扩增的方法网上都有，如有疑问欢迎交流。这里整理一下常用的示例供参考。一、解压缩zip文件 01 02 03 04 05 06 07 08 09 10 11
精彩英语贺词 dcj3sjt126com 英语
I'm always here 我会一直在这里支持你 &nb
基于Java注解的Spring的IoC功能 e200702084 java spring bean IOC Office
java模拟post请求 geeksun java
一般API接收客户端（比如网页、APP或其他应用服务）的请求，但在测试时需要模拟来自外界的请求，经探索，使用HttpComponentshttpClient可模拟Post提交请求。此处用HttpComponents的httpclient来完成使命。 import org.apache.http.HttpEntity ; import org.apache.http.HttpRespon
Swift语法之 ---- ?和!区别 hongtoushizi ?swift !
转载自： http://blog.sina.com.cn/s/blog_71715bf80102ux3v.html Swift语言使用var定义变量，但和别的语言不同，Swift里不会自动给变量赋初始值，也就是说变量不会有默认值，所以要求使用变量之前必须要对其初始化。如果在使用变量之前不进行初始化就会报错： var stringValue : String //
centos7安装jdk1.7 jisonami jdk centos
安装JDK1.7 步骤1、解压tar包在当前目录 [root@localhost usr]#tar -xzvf jdk-7u75-linux-x64.tar.gz 步骤2：配置环境变量在etc/profile文件下添加 export JAVA_HOME=/usr/java/jdk1.7.0_75 export CLASSPATH=/usr/java/jdk1.7.0_75/lib
数据源架构模式之数据映射器 home198979 PHP 架构数据映射器 datamapper
前面分别介绍了数据源架构模式之表数据入口、数据源架构模式之行和数据入口数据源架构模式之活动记录，相较于这三种数据源架构模式，数据映射器显得更加“高大上”。一、概念数据映射器（Data Mapper）：在保持对象和数据库（以及映射器本身）彼此独立的情况下，在二者之间移动数据的一个映射器层。概念永远都是抽象的，简单的说，数据映射器就是一个负责将数据映射到对象的类数据。 &nb
在Python中使用MYSQL pda158 mysql python
缘由　　近期在折腾一个小东西须要抓取网上的页面。然后进行解析。将结果放到数据库中。　　了解到 Python在这方面有优势，便选用之。　　由于我有台 server上面安装有 mysql，自然使用之。在进行数据库的这个操作过程中遇到了不少问题，这里记录一下，大家共勉。　　 python中mysql的调用　　百度之后能够通过MySQLdb进行数据库操作。
单例模式 hxl1988_0311 java 单例设计模式单件
package com.sosop.designpattern.singleton; /* * 单件模式：保证一个类必须只有一个实例，并提供全局的访问点 * * 所以单例模式必须有私有的构造器，没有私有构造器根本不用谈单件 * * 必须考虑到并发情况下创建了多个实例对象 * */ /** * 虽然有锁，但是只在第一次创建对象的时候加锁，并发时不会存在效率
27种迹象显示你应该辞掉程序员的工作 vipshichg 工作
1、你仍然在等待老板在2010年答应的要提拔你的暗示。 2、你的上级近10年没有开发过任何代码。 3、老板假装懂你说的这些技术，但实际上他完全不知道你在说什么。 4、你干完的项目6个月后才部署到现场服务器上。 5、时不时的，老板在检查你刚刚完成的工作时，要求按新想法重新开发。 6、而最终这个软件只有12个用户。 7、时间全浪费在办公室政治中，而不是用在开发好的软件上。 8、部署前5分钟才开始测试。

2019.09.15】基于TensorFlow2.0，使用Keras + mnist（手写数字） 数据集进行深度学习实战，数据归一化与不归一化结果对比

基于TensorFlow2.0，使用Keras + mnist 数据集进行深度学习实战

增大网络容量，添加隐含层

你可能感兴趣的:(TensorFlow2.0)

2019.09.15】基于TensorFlow2.0，使用Keras + mnist（手写数字）数据集进行深度学习实战，数据归一化与不归一化结果对比