JavaGPT

深度学习之手写数字识别

1、安装库

各位小伙伴们，大家好，今天就让我们一起来看一下使用python实现深度学习中的手写数字识别，首先咱们需要安装几个库文件，numpy库、matplotlib库和tensorflow库。可以打开命令行进行安装，也可以再PyCharm下的命令行安装，建议在PyCharm下的命令行进行安装，因为我有许多同学在cmd控制台安装的时候，会报许多的错误。其实在PyCharm中安装实际上在一个虚拟环境下安装，只是安装在你的本次工程目录下，当你新建一个工程项目的时候，有需要重新安装。

下面就让我们来看下基本的安装的命令吧：

pip install numpy
pip install matplotlib
pip install tensorflow

注意：如果上面的命令安装失败或者下载速度非常的慢，请使用的下面的命令，速度会从马车转到高铁，其实质是换了一个镜像，也就是下载路径。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow

如果上面的下载还遇到了问题的话，建议再换一下下面的镜像试试：

pip指定软件源安装命令格式：pip install -i [ source_url ] [ package_name ]

清华: https://pypi.tuna.tsinghua.edu.cn/simple
豆瓣: http://pypi.douban.com/simple/
阿里: http://mirrors.aliyun.com/pypi/simple/
百度：https://mirror.baidu.com/pypi/simple

2、前馈神经网络识别手写数字

我们都知道，前馈神经网络对于每一个神经元来说，是全连接的，所以当神经元深度很深的时候，参数会变得非常多。话不多说，我们先来尝试运行一下试试。

"""
@author:不败顽童
purpose:使用前馈神经网络识别手写从0~9的数字识别
"""

from keras.utils import to_categorical
from keras import models, layers, regularizers
from keras.optimizers import RMSprop
from keras.datasets import mnist
import matplotlib.pyplot as plt

# 加载数据集
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

train_images = train_images.reshape((60000, 28 * 28)).astype('float')
test_images = test_images.reshape((10000, 28 * 28)).astype('float')
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)

network = models.Sequential()
network.add(layers.Dense(units=128, activation='relu', input_shape=(28 * 28,),
                         kernel_regularizer=regularizers.l1(0.0001)))
network.add(layers.Dropout(0.1))
network.add(layers.Dense(units=32, activation='relu',
                         kernel_regularizer=regularizers.l1(0.0001)))
network.add(layers.Dropout(0.1))
network.add(layers.Dense(units=10, activation='softmax'))

# 编译步骤
network.compile(optimizer=RMSprop(lr=0.001), loss='categorical_crossentropy', metrics=['accuracy'])

# 训练网络，用fit函数, epochs表示训练多少个回合， batch_size表示每次训练给多大的数据
history = network.fit(train_images, train_labels, epochs=200,
                      batch_size=128,
                      verbose=2)

# 来在测试集上测试一下模型的性能吧
test_loss, test_accuracy = network.evaluate(test_images, test_labels)
print("test_loss:", test_loss, "    test_accuracy:", test_accuracy)

#  使用history将训练集和测试集的loss和acc调出来
acc = history.history['accuracy']  # 训练集准确率
loss = history.history['loss']  # 训练集损失

plt.plot(acc, label='Training Accuracy')
plt.plot(loss, label='Training Loss')
plt.title('Training Accuracy and loss')
plt.legend()
plt.show()

大家不要慌，首次运行的时候，可能会比较慢，因为首次运行，程序会自动帮你下载数据集。等到运行一段时间时候，电脑的风扇会比较响，这个时候说明你的电脑开始运行这个程序了，当你电脑的风扇声音变小的时候，说明程序运行结束了。

下面我们来看下运行结果怎么样：

控制台输出的命令比较多，我们可以再最下面再见，哈哈哈：

D:\develop\PythonProject\venv\Scripts\python.exe D:/develop/PythonProject/DeepLearningWork/hand_write_recognition02/hand_write_recognition_of_NN.py
2021-04-27 09:31:28.446446: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found
2021-04-27 09:31:28.446607: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
2021-04-27 09:32:06.106829: I tensorflow/compiler/jit/xla_cpu_device.cc:41] Not creating XLA devices, tf_xla_enable_xla_devices not set
2021-04-27 09:32:06.534560: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library nvcuda.dll
2021-04-27 09:32:07.573305: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1720] Found device 0 with properties: 
pciBusID: 0000:01:00.0 name: NVIDIA GeForce GTX 1050 computeCapability: 6.1
coreClock: 1.493GHz coreCount: 5 deviceMemorySize: 4.00GiB deviceMemoryBandwidth: 104.43GiB/s
2021-04-27 09:32:07.604093: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found
2021-04-27 09:32:07.616122: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cublas64_11.dll'; dlerror: cublas64_11.dll not found
2021-04-27 09:32:07.628975: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cublasLt64_11.dll'; dlerror: cublasLt64_11.dll not found
2021-04-27 09:32:07.642939: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cufft64_10.dll'; dlerror: cufft64_10.dll not found
2021-04-27 09:32:07.655452: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'curand64_10.dll'; dlerror: curand64_10.dll not found
2021-04-27 09:32:07.666875: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cusolver64_10.dll'; dlerror: cusolver64_10.dll not found
2021-04-27 09:32:07.677202: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cusparse64_11.dll'; dlerror: cusparse64_11.dll not found
2021-04-27 09:32:07.687321: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudnn64_8.dll'; dlerror: cudnn64_8.dll not found
2021-04-27 09:32:07.687506: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1757] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
2021-04-27 09:32:07.745876: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-04-27 09:32:07.799900: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1261] Device interconnect StreamExecutor with strength 1 edge matrix:
2021-04-27 09:32:07.800018: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1267]      
2021-04-27 09:32:07.800092: I tensorflow/compiler/jit/xla_gpu_device.cc:99] Not creating XLA devices, tf_xla_enable_xla_devices not set
2021-04-27 09:32:11.162556: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:116] None of the MLIR optimization passes are enabled (registered 2)
Epoch 1/200
469/469 - 5s - loss: 3.6118 - accuracy: 0.4792
Epoch 2/200
469/469 - 1s - loss: 1.3483 - accuracy: 0.6499
Epoch 3/200
469/469 - 1s - loss: 1.0753 - accuracy: 0.7307
Epoch 4/200
469/469 - 1s - loss: 0.7956 - accuracy: 0.8271
Epoch 5/200
469/469 - 1s - loss: 0.6231 - accuracy: 0.8825
Epoch 6/200
469/469 - 1s - loss: 0.5228 - accuracy: 0.9154
Epoch 7/200
469/469 - 1s - loss: 0.4439 - accuracy: 0.9307
Epoch 8/200
469/469 - 1s - loss: 0.4178 - accuracy: 0.9351
Epoch 9/200
469/469 - 1s - loss: 0.3870 - accuracy: 0.9392
Epoch 10/200
469/469 - 1s - loss: 0.3691 - accuracy: 0.9434
Epoch 11/200
469/469 - 1s - loss: 0.3650 - accuracy: 0.9461
Epoch 12/200
469/469 - 1s - loss: 0.3529 - accuracy: 0.9466
Epoch 13/200
469/469 - 1s - loss: 0.3386 - accuracy: 0.9508
Epoch 14/200
469/469 - 1s - loss: 0.3296 - accuracy: 0.9490
Epoch 15/200
469/469 - 1s - loss: 0.3229 - accuracy: 0.9504
Epoch 16/200
469/469 - 1s - loss: 0.3161 - accuracy: 0.9518
Epoch 17/200
469/469 - 1s - loss: 0.3071 - accuracy: 0.9530
Epoch 18/200
469/469 - 1s - loss: 0.3043 - accuracy: 0.9542
Epoch 19/200
469/469 - 1s - loss: 0.2935 - accuracy: 0.9553
Epoch 20/200
469/469 - 1s - loss: 0.2853 - accuracy: 0.9560
Epoch 21/200
469/469 - 1s - loss: 0.2842 - accuracy: 0.9573
Epoch 22/200
469/469 - 1s - loss: 0.2851 - accuracy: 0.9565
Epoch 23/200
469/469 - 1s - loss: 0.2817 - accuracy: 0.9563
Epoch 24/200
469/469 - 1s - loss: 0.2758 - accuracy: 0.9579
Epoch 25/200
469/469 - 1s - loss: 0.2692 - accuracy: 0.9589
Epoch 26/200
469/469 - 1s - loss: 0.2717 - accuracy: 0.9581
Epoch 27/200
469/469 - 1s - loss: 0.2689 - accuracy: 0.9596
Epoch 28/200
469/469 - 1s - loss: 0.2612 - accuracy: 0.9586
Epoch 29/200
469/469 - 1s - loss: 0.2577 - accuracy: 0.9606
Epoch 30/200
469/469 - 1s - loss: 0.2621 - accuracy: 0.9598
Epoch 31/200
469/469 - 1s - loss: 0.2576 - accuracy: 0.9606
Epoch 32/200
469/469 - 1s - loss: 0.2533 - accuracy: 0.9605
Epoch 33/200
469/469 - 1s - loss: 0.2556 - accuracy: 0.9607
Epoch 34/200
469/469 - 1s - loss: 0.2557 - accuracy: 0.9614
Epoch 35/200
469/469 - 1s - loss: 0.2510 - accuracy: 0.9611
Epoch 36/200
469/469 - 1s - loss: 0.2484 - accuracy: 0.9616
Epoch 37/200
469/469 - 1s - loss: 0.2484 - accuracy: 0.9622
Epoch 38/200
469/469 - 1s - loss: 0.2441 - accuracy: 0.9623
Epoch 39/200
469/469 - 1s - loss: 0.2432 - accuracy: 0.9625
Epoch 40/200
469/469 - 1s - loss: 0.2411 - accuracy: 0.9621
Epoch 41/200
469/469 - 1s - loss: 0.2445 - accuracy: 0.9614
Epoch 42/200
469/469 - 1s - loss: 0.2412 - accuracy: 0.9632
Epoch 43/200
469/469 - 1s - loss: 0.2432 - accuracy: 0.9614
Epoch 44/200
469/469 - 1s - loss: 0.2452 - accuracy: 0.9628
Epoch 45/200
469/469 - 1s - loss: 0.2462 - accuracy: 0.9617
Epoch 46/200
469/469 - 1s - loss: 0.2394 - accuracy: 0.9629
Epoch 47/200
469/469 - 1s - loss: 0.2418 - accuracy: 0.9633
Epoch 48/200
469/469 - 1s - loss: 0.2394 - accuracy: 0.9625
Epoch 49/200
469/469 - 1s - loss: 0.2381 - accuracy: 0.9632
Epoch 50/200
469/469 - 1s - loss: 0.2339 - accuracy: 0.9641
Epoch 51/200
469/469 - 1s - loss: 0.2364 - accuracy: 0.9625
Epoch 52/200
469/469 - 1s - loss: 0.2322 - accuracy: 0.9636
Epoch 53/200
469/469 - 1s - loss: 0.2343 - accuracy: 0.9636
Epoch 54/200
469/469 - 1s - loss: 0.2326 - accuracy: 0.9636
Epoch 55/200
469/469 - 1s - loss: 0.2340 - accuracy: 0.9638
Epoch 56/200
469/469 - 1s - loss: 0.2290 - accuracy: 0.9650
Epoch 57/200
469/469 - 1s - loss: 0.2299 - accuracy: 0.9638
Epoch 58/200
469/469 - 1s - loss: 0.2349 - accuracy: 0.9637
Epoch 59/200
469/469 - 1s - loss: 0.2310 - accuracy: 0.9640
Epoch 60/200
469/469 - 1s - loss: 0.2341 - accuracy: 0.9647
Epoch 61/200
469/469 - 1s - loss: 0.2390 - accuracy: 0.9622
Epoch 62/200
469/469 - 1s - loss: 0.2199 - accuracy: 0.9670
Epoch 63/200
469/469 - 1s - loss: 0.2292 - accuracy: 0.9648
Epoch 64/200
469/469 - 1s - loss: 0.2315 - accuracy: 0.9642
Epoch 65/200
469/469 - 1s - loss: 0.2274 - accuracy: 0.9658
Epoch 66/200
469/469 - 1s - loss: 0.2261 - accuracy: 0.9640
Epoch 67/200
469/469 - 1s - loss: 0.2265 - accuracy: 0.9649
Epoch 68/200
469/469 - 1s - loss: 0.2280 - accuracy: 0.9645
Epoch 69/200
469/469 - 1s - loss: 0.2307 - accuracy: 0.9633
Epoch 70/200
469/469 - 1s - loss: 0.2268 - accuracy: 0.9653
Epoch 71/200
469/469 - 1s - loss: 0.2268 - accuracy: 0.9639
Epoch 72/200
469/469 - 1s - loss: 0.2313 - accuracy: 0.9645
Epoch 73/200
469/469 - 1s - loss: 0.2280 - accuracy: 0.9645
Epoch 74/200
469/469 - 1s - loss: 0.2320 - accuracy: 0.9643
Epoch 75/200
469/469 - 1s - loss: 0.2299 - accuracy: 0.9643
Epoch 76/200
469/469 - 1s - loss: 0.2202 - accuracy: 0.9652
Epoch 77/200
469/469 - 1s - loss: 0.2277 - accuracy: 0.9652
Epoch 78/200
469/469 - 1s - loss: 0.2294 - accuracy: 0.9645
Epoch 79/200
469/469 - 1s - loss: 0.2280 - accuracy: 0.9654
Epoch 80/200
469/469 - 1s - loss: 0.2260 - accuracy: 0.9647
Epoch 81/200
469/469 - 1s - loss: 0.2256 - accuracy: 0.9656
Epoch 82/200
469/469 - 1s - loss: 0.2233 - accuracy: 0.9657
Epoch 83/200
469/469 - 1s - loss: 0.2252 - accuracy: 0.9655
Epoch 84/200
469/469 - 1s - loss: 0.2192 - accuracy: 0.9664
Epoch 85/200
469/469 - 1s - loss: 0.2272 - accuracy: 0.9655
Epoch 86/200
469/469 - 1s - loss: 0.2259 - accuracy: 0.9644
Epoch 87/200
469/469 - 1s - loss: 0.2207 - accuracy: 0.9661
Epoch 88/200
469/469 - 1s - loss: 0.2247 - accuracy: 0.9652
Epoch 89/200
469/469 - 1s - loss: 0.2270 - accuracy: 0.9647
Epoch 90/200
469/469 - 1s - loss: 0.2246 - accuracy: 0.9663
Epoch 91/200
469/469 - 1s - loss: 0.2248 - accuracy: 0.9656
Epoch 92/200
469/469 - 1s - loss: 0.2232 - accuracy: 0.9655
Epoch 93/200
469/469 - 1s - loss: 0.2184 - accuracy: 0.9664
Epoch 94/200
469/469 - 1s - loss: 0.2237 - accuracy: 0.9640
Epoch 95/200
469/469 - 1s - loss: 0.2201 - accuracy: 0.9665
Epoch 96/200
469/469 - 1s - loss: 0.2210 - accuracy: 0.9666
Epoch 97/200
469/469 - 1s - loss: 0.2289 - accuracy: 0.9641
Epoch 98/200
469/469 - 1s - loss: 0.2196 - accuracy: 0.9654
Epoch 99/200
469/469 - 1s - loss: 0.2215 - accuracy: 0.9648
Epoch 100/200
469/469 - 1s - loss: 0.2220 - accuracy: 0.9650
Epoch 101/200
469/469 - 1s - loss: 0.2172 - accuracy: 0.9666
Epoch 102/200
469/469 - 1s - loss: 0.2234 - accuracy: 0.9653
Epoch 103/200
469/469 - 1s - loss: 0.2203 - accuracy: 0.9663
Epoch 104/200
469/469 - 1s - loss: 0.2166 - accuracy: 0.9655
Epoch 105/200
469/469 - 1s - loss: 0.2237 - accuracy: 0.9650
Epoch 106/200
469/469 - 1s - loss: 0.2183 - accuracy: 0.9671
Epoch 107/200
469/469 - 1s - loss: 0.2172 - accuracy: 0.9655
Epoch 108/200
469/469 - 1s - loss: 0.2172 - accuracy: 0.9663
Epoch 109/200
469/469 - 1s - loss: 0.2175 - accuracy: 0.9661
Epoch 110/200
469/469 - 1s - loss: 0.2137 - accuracy: 0.9665
Epoch 111/200
469/469 - 1s - loss: 0.2166 - accuracy: 0.9670
Epoch 112/200
469/469 - 1s - loss: 0.2170 - accuracy: 0.9661
Epoch 113/200
469/469 - 1s - loss: 0.2171 - accuracy: 0.9659
Epoch 114/200
469/469 - 1s - loss: 0.2198 - accuracy: 0.9650
Epoch 115/200
469/469 - 1s - loss: 0.2200 - accuracy: 0.9650
Epoch 116/200
469/469 - 1s - loss: 0.2161 - accuracy: 0.9667
Epoch 117/200
469/469 - 1s - loss: 0.2187 - accuracy: 0.9655
Epoch 118/200
469/469 - 1s - loss: 0.2178 - accuracy: 0.9663
Epoch 119/200
469/469 - 1s - loss: 0.2128 - accuracy: 0.9651
Epoch 120/200
469/469 - 1s - loss: 0.2127 - accuracy: 0.9666
Epoch 121/200
469/469 - 1s - loss: 0.2161 - accuracy: 0.9669
Epoch 122/200
469/469 - 1s - loss: 0.2171 - accuracy: 0.9658
Epoch 123/200
469/469 - 1s - loss: 0.2102 - accuracy: 0.9670
Epoch 124/200
469/469 - 1s - loss: 0.2122 - accuracy: 0.9668
Epoch 125/200
469/469 - 1s - loss: 0.2144 - accuracy: 0.9659
Epoch 126/200
469/469 - 1s - loss: 0.2109 - accuracy: 0.9674
Epoch 127/200
469/469 - 1s - loss: 0.2144 - accuracy: 0.9659
Epoch 128/200
469/469 - 1s - loss: 0.2119 - accuracy: 0.9670
Epoch 129/200
469/469 - 1s - loss: 0.2134 - accuracy: 0.9669
Epoch 130/200
469/469 - 1s - loss: 0.2154 - accuracy: 0.9657
Epoch 131/200
469/469 - 1s - loss: 0.2152 - accuracy: 0.9660
Epoch 132/200
469/469 - 1s - loss: 0.2135 - accuracy: 0.9667
Epoch 133/200
469/469 - 1s - loss: 0.2094 - accuracy: 0.9667
Epoch 134/200
469/469 - 1s - loss: 0.2131 - accuracy: 0.9665
Epoch 135/200
469/469 - 1s - loss: 0.2138 - accuracy: 0.9671
Epoch 136/200
469/469 - 1s - loss: 0.2170 - accuracy: 0.9659
Epoch 137/200
469/469 - 1s - loss: 0.2105 - accuracy: 0.9670
Epoch 138/200
469/469 - 1s - loss: 0.2126 - accuracy: 0.9671
Epoch 139/200
469/469 - 1s - loss: 0.2148 - accuracy: 0.9661
Epoch 140/200
469/469 - 1s - loss: 0.2110 - accuracy: 0.9668
Epoch 141/200
469/469 - 1s - loss: 0.2142 - accuracy: 0.9665
Epoch 142/200
469/469 - 1s - loss: 0.2116 - accuracy: 0.9661
Epoch 143/200
469/469 - 1s - loss: 0.2075 - accuracy: 0.9677
Epoch 144/200
469/469 - 1s - loss: 0.2055 - accuracy: 0.9681
Epoch 145/200
469/469 - 1s - loss: 0.2081 - accuracy: 0.9674
Epoch 146/200
469/469 - 1s - loss: 0.2113 - accuracy: 0.9662
Epoch 147/200
469/469 - 1s - loss: 0.2127 - accuracy: 0.9657
Epoch 148/200
469/469 - 1s - loss: 0.2061 - accuracy: 0.9680
Epoch 149/200
469/469 - 1s - loss: 0.2119 - accuracy: 0.9666
Epoch 150/200
469/469 - 1s - loss: 0.2042 - accuracy: 0.9672
Epoch 151/200
469/469 - 1s - loss: 0.2112 - accuracy: 0.9668
Epoch 152/200
469/469 - 1s - loss: 0.2025 - accuracy: 0.9688
Epoch 153/200
469/469 - 1s - loss: 0.2069 - accuracy: 0.9669
Epoch 154/200
469/469 - 1s - loss: 0.2104 - accuracy: 0.9676
Epoch 155/200
469/469 - 1s - loss: 0.2056 - accuracy: 0.9676
Epoch 156/200
469/469 - 1s - loss: 0.2141 - accuracy: 0.9666
Epoch 157/200
469/469 - 1s - loss: 0.2095 - accuracy: 0.9662
Epoch 158/200
469/469 - 1s - loss: 0.2070 - accuracy: 0.9663
Epoch 159/200
469/469 - 1s - loss: 0.2068 - accuracy: 0.9671
Epoch 160/200
469/469 - 1s - loss: 0.2078 - accuracy: 0.9667
Epoch 161/200
469/469 - 1s - loss: 0.2084 - accuracy: 0.9664
Epoch 162/200
469/469 - 1s - loss: 0.2105 - accuracy: 0.9659
Epoch 163/200
469/469 - 1s - loss: 0.2050 - accuracy: 0.9669
Epoch 164/200
469/469 - 1s - loss: 0.2070 - accuracy: 0.9673
Epoch 165/200
469/469 - 1s - loss: 0.2054 - accuracy: 0.9675
Epoch 166/200
469/469 - 1s - loss: 0.2007 - accuracy: 0.9680
Epoch 167/200
469/469 - 1s - loss: 0.2073 - accuracy: 0.9653
Epoch 168/200
469/469 - 1s - loss: 0.2073 - accuracy: 0.9670
Epoch 169/200
469/469 - 1s - loss: 0.2062 - accuracy: 0.9671
Epoch 170/200
469/469 - 1s - loss: 0.2043 - accuracy: 0.9677
Epoch 171/200
469/469 - 1s - loss: 0.2093 - accuracy: 0.9661
Epoch 172/200
469/469 - 1s - loss: 0.2042 - accuracy: 0.9671
Epoch 173/200
469/469 - 1s - loss: 0.2050 - accuracy: 0.9677
Epoch 174/200
469/469 - 1s - loss: 0.2053 - accuracy: 0.9673
Epoch 175/200
469/469 - 1s - loss: 0.2014 - accuracy: 0.9679
Epoch 176/200
469/469 - 1s - loss: 0.2043 - accuracy: 0.9680
Epoch 177/200
469/469 - 1s - loss: 0.2040 - accuracy: 0.9676
Epoch 178/200
469/469 - 1s - loss: 0.2018 - accuracy: 0.9678
Epoch 179/200
469/469 - 1s - loss: 0.2029 - accuracy: 0.9671
Epoch 180/200
469/469 - 1s - loss: 0.2010 - accuracy: 0.9675
Epoch 181/200
469/469 - 1s - loss: 0.2037 - accuracy: 0.9668
Epoch 182/200
469/469 - 1s - loss: 0.2042 - accuracy: 0.9676
Epoch 183/200
469/469 - 1s - loss: 0.2032 - accuracy: 0.9676
Epoch 184/200
469/469 - 1s - loss: 0.2044 - accuracy: 0.9668
Epoch 185/200
469/469 - 1s - loss: 0.2003 - accuracy: 0.9680
Epoch 186/200
469/469 - 1s - loss: 0.2037 - accuracy: 0.9671
Epoch 187/200
469/469 - 1s - loss: 0.1976 - accuracy: 0.9681
Epoch 188/200
469/469 - 1s - loss: 0.2001 - accuracy: 0.9682
Epoch 189/200
469/469 - 1s - loss: 0.1983 - accuracy: 0.9676
Epoch 190/200
469/469 - 1s - loss: 0.1994 - accuracy: 0.9679
Epoch 191/200
469/469 - 1s - loss: 0.1982 - accuracy: 0.9683
Epoch 192/200
469/469 - 1s - loss: 0.2054 - accuracy: 0.9674
Epoch 193/200
469/469 - 1s - loss: 0.2042 - accuracy: 0.9672
Epoch 194/200
469/469 - 1s - loss: 0.2026 - accuracy: 0.9668
Epoch 195/200
469/469 - 1s - loss: 0.2034 - accuracy: 0.9678
Epoch 196/200
469/469 - 1s - loss: 0.2048 - accuracy: 0.9675
Epoch 197/200
469/469 - 1s - loss: 0.2054 - accuracy: 0.9669
Epoch 198/200
469/469 - 1s - loss: 0.1963 - accuracy: 0.9691
Epoch 199/200
469/469 - 1s - loss: 0.2049 - accuracy: 0.9672
Epoch 200/200
469/469 - 1s - loss: 0.2040 - accuracy: 0.9679
313/313 [==============================] - 0s 602us/step - loss: 0.2115 - accuracy: 0.9732
test_loss: 0.211515411734581     test_accuracy: 0.9732000231742859

每一次训练的损失也在不断地下降、准确度在不断地上升，下面是第200次训练的数据：

Epoch 200/200
469/469 - 1s - loss: 0.2040 - accuracy: 0.9679

可以看到test_loss为0.2115，测试损失还算行，但是对于咱们的人脸识别程序来说，可就是太低了。

可以看到test_accuracy为0.9732000231742859，测试准确度达到了97.3%

test_loss: 0.211515411734581     test_accuracy: 0.9732000231742859

大家都运行成功了嘛，如果没有运行成功的话，请在评论下方留言啊，不败顽童博主看到啦会及时回复的哟。

3、卷积神经网络识别手写数字

卷积神经网络是一个由卷积层和池化层而组成的神经网络，它的优点在于减少了神经网络的参数。下面我们一起来看下卷积神经网络进行手写数字识别吧：

"""
@author 不败顽童
使用卷积神经网络训练手写0~9数字识别模型
"""
from keras.utils import to_categorical
from keras import models, layers
from keras.optimizers import RMSprop
from keras.datasets import mnist
import matplotlib.pyplot as plt

# 加载数据集
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

train_images = train_images.reshape((60000, 28, 28, 1)).astype('float') / 255
test_images = test_images.reshape((10000, 28, 28, 1)).astype('float') / 255
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)


# 搭建LeNet网络
def LeNet():
    network = models.Sequential()
    network.add(layers.Conv2D(filters=6, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)))
    network.add(layers.AveragePooling2D((2, 2)))
    network.add(layers.Conv2D(filters=16, kernel_size=(3, 3), activation='relu'))
    network.add(layers.AveragePooling2D((2, 2)))
    network.add(layers.Conv2D(filters=120, kernel_size=(3, 3), activation='relu'))
    network.add(layers.Flatten())
    network.add(layers.Dense(84, activation='relu'))
    network.add(layers.Dense(10, activation='softmax'))
    return network


network = LeNet()
network.compile(optimizer=RMSprop(lr=0.001), loss='categorical_crossentropy', metrics=['accuracy'])

# 训练网络，用fit函数, epochs表示训练多少个回合， batch_size表示每次训练给多大的数据
history = network.fit(train_images, train_labels, epochs=30, batch_size=128, verbose=2)

test_loss, test_accuracy = network.evaluate(test_images, test_labels)
print("test_loss:", test_loss, "    test_accuracy:", test_accuracy)

#  使用history将训练集和测试集的loss和acc调出来
acc = history.history['accuracy']  # 训练集准确率
loss = history.history['loss']  # 训练集损失

plt.plot(acc, label='Training Accuracy')
plt.plot(loss, label='Training Loss')
plt.title('Training Accuracy and loss')
plt.legend()
plt.show()

这个大概需要等个2~3分钟的样子，大家不要慌，耐心等待就可以。

接下来我们来看一下运行结果：

D:\develop\PythonProject\venv\Scripts\python.exe D:/develop/PythonProject/DeepLearningWork/hand_write_recognition02/hand_write_recognition_of_CNN.py
2021-04-27 09:45:41.347990: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found
2021-04-27 09:45:41.348136: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
2021-04-27 09:45:45.887816: I tensorflow/compiler/jit/xla_cpu_device.cc:41] Not creating XLA devices, tf_xla_enable_xla_devices not set
2021-04-27 09:45:45.889419: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library nvcuda.dll
2021-04-27 09:45:46.658241: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1720] Found device 0 with properties: 
pciBusID: 0000:01:00.0 name: NVIDIA GeForce GTX 1050 computeCapability: 6.1
coreClock: 1.493GHz coreCount: 5 deviceMemorySize: 4.00GiB deviceMemoryBandwidth: 104.43GiB/s
2021-04-27 09:45:46.665101: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found
2021-04-27 09:45:46.671868: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cublas64_11.dll'; dlerror: cublas64_11.dll not found
2021-04-27 09:45:46.678511: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cublasLt64_11.dll'; dlerror: cublasLt64_11.dll not found
2021-04-27 09:45:46.685557: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cufft64_10.dll'; dlerror: cufft64_10.dll not found
2021-04-27 09:45:46.692338: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'curand64_10.dll'; dlerror: curand64_10.dll not found
2021-04-27 09:45:46.699218: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cusolver64_10.dll'; dlerror: cusolver64_10.dll not found
2021-04-27 09:45:46.706152: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cusparse64_11.dll'; dlerror: cusparse64_11.dll not found
2021-04-27 09:45:46.712747: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudnn64_8.dll'; dlerror: cudnn64_8.dll not found
2021-04-27 09:45:46.712872: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1757] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
2021-04-27 09:45:46.713529: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-04-27 09:45:46.714082: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1261] Device interconnect StreamExecutor with strength 1 edge matrix:
2021-04-27 09:45:46.714275: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1267]      
2021-04-27 09:45:46.714760: I tensorflow/compiler/jit/xla_gpu_device.cc:99] Not creating XLA devices, tf_xla_enable_xla_devices not set
2021-04-27 09:45:46.913314: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:116] None of the MLIR optimization passes are enabled (registered 2)
Epoch 1/30
469/469 - 7s - loss: 0.3500 - accuracy: 0.8952
Epoch 2/30
469/469 - 5s - loss: 0.0916 - accuracy: 0.9723
Epoch 3/30
469/469 - 5s - loss: 0.0593 - accuracy: 0.9816
Epoch 4/30
469/469 - 5s - loss: 0.0447 - accuracy: 0.9861
Epoch 5/30
469/469 - 5s - loss: 0.0369 - accuracy: 0.9888
Epoch 6/30
469/469 - 6s - loss: 0.0307 - accuracy: 0.9904
Epoch 7/30
469/469 - 5s - loss: 0.0260 - accuracy: 0.9918
Epoch 8/30
469/469 - 5s - loss: 0.0225 - accuracy: 0.9932
Epoch 9/30
469/469 - 5s - loss: 0.0190 - accuracy: 0.9941
Epoch 10/30
469/469 - 5s - loss: 0.0163 - accuracy: 0.9948
Epoch 11/30
469/469 - 5s - loss: 0.0149 - accuracy: 0.9957
Epoch 12/30
469/469 - 6s - loss: 0.0132 - accuracy: 0.9962
Epoch 13/30
469/469 - 5s - loss: 0.0120 - accuracy: 0.9964
Epoch 14/30
469/469 - 5s - loss: 0.0110 - accuracy: 0.9966
Epoch 15/30
469/469 - 5s - loss: 0.0095 - accuracy: 0.9969
Epoch 16/30
469/469 - 5s - loss: 0.0088 - accuracy: 0.9973
Epoch 17/30
469/469 - 5s - loss: 0.0080 - accuracy: 0.9975
Epoch 18/30
469/469 - 5s - loss: 0.0070 - accuracy: 0.9978
Epoch 19/30
469/469 - 5s - loss: 0.0071 - accuracy: 0.9977
Epoch 20/30
469/469 - 5s - loss: 0.0063 - accuracy: 0.9982
Epoch 21/30
469/469 - 5s - loss: 0.0062 - accuracy: 0.9981
Epoch 22/30
469/469 - 6s - loss: 0.0049 - accuracy: 0.9983
Epoch 23/30
469/469 - 6s - loss: 0.0052 - accuracy: 0.9982
Epoch 24/30
469/469 - 7s - loss: 0.0050 - accuracy: 0.9984
Epoch 25/30
469/469 - 5s - loss: 0.0043 - accuracy: 0.9985
Epoch 26/30
469/469 - 5s - loss: 0.0041 - accuracy: 0.9986
Epoch 27/30
469/469 - 5s - loss: 0.0036 - accuracy: 0.9989
Epoch 28/30
469/469 - 5s - loss: 0.0038 - accuracy: 0.9988
Epoch 29/30
469/469 - 5s - loss: 0.0033 - accuracy: 0.9989
Epoch 30/30
469/469 - 5s - loss: 0.0023 - accuracy: 0.9992
313/313 [==============================] - 1s 2ms/step - loss: 0.0574 - accuracy: 0.9907
test_loss: 0.05741254240274429     test_accuracy: 0.9907000064849854

可以看到测试准确度比上面的前馈神经网络要精准一点，在测试过程中出现了一点点过拟合，需要大家进行下参数约束。

4、结束语

好的，新一期手写数字识别到此结束啦，如果大家还有什么问题的话，欢迎在评论下方留言，不败顽童博主看到留言会及时进行回复的哟。大家如果有兴趣观看更多有意思的编程项目，可以关注下我哟。

你可能感兴趣的:(深度学习,python,神经网络,卷积,深度学习,tensorflow,人工智能)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
ASM系列四利用Method 组件动态注入方法逻辑 lijingyao8206 字节码技术 jvm AOP 动态代理 ASM
这篇继续结合例子来深入了解下Method组件动态变更方法字节码的实现。通过前面一篇，知道ClassVisitor 的visitMethod()方法可以返回一个MethodVisitor的实例。那么我们也基本可以知道，同ClassVisitor改变类成员一样，MethodVIsistor如果需要改变方法成员，注入逻辑，也可以
java编程思想 --内部类百合不是茶 java 内部类匿名内部类
内部类;了解外部类并能与之通信内部类写出来的代码更加整洁与优雅 1,内部类的创建内部类是创建在类中的 package com.wj.InsideClass; /* * 内部类的创建 */ public class CreateInsideClass { public CreateInsideClass(
web.xml报错 crabdave web.xml
web.xml报错 The content of element type "web-app" must match "(icon?,display- name?,description?,distributable?,context-param*,filter*,filter-mapping*,listener*,servlet*,s
泛型类的自定义麦田的设计者 java android 泛型
为什么要定义泛型类，当类中要操作的引用数据类型不确定的时候。采用泛型类，完成扩展。例如有一个学生类 Student{ Student(){ System.out.println("I'm a student....."); } } 有一个老师类
CSS清除浮动的4中方法 IT独行者 JavaScript UI css
清除浮动这个问题，做前端的应该再熟悉不过了，咱是个新人，所以还是记个笔记，做个积累，努力学习向大神靠近。CSS清除浮动的方法网上一搜，大概有N多种，用过几种，说下个人感受。 1、结尾处加空div标签 clear:both 1 2 3 4 .div 1 { background : #000080 ; border : 1px s
Cygwin使用windows的jdk 配置方法 _wy_ jdk windows cygwin
1.[vim /etc/profile] JAVA_HOME="/cgydrive/d/Java/jdk1.6.0_43" (windows下jdk路径为D:\Java\jdk1.6.0_43) PATH="$JAVA_HOME/bin:${PATH}" CLAS
linux下安装maven 无量 maven linux 安装
Linux下安装maven(转) 1.首先到Maven官网下载安装文件，目前最新版本为3.0.3，下载文件为 apache-maven-3.0.3-bin.tar.gz，下载可以使用wget命令； 2.进入下载文件夹，找到下载的文件，运行如下命令解压 tar -xvf apache-maven-2.2.1-bin.tar.gz 解压后的文件夹
tomcat的https 配置,syslog-ng配置 aichenglong tomcat http跳转到https syslong-ng配置 syslog配置
1) tomcat配置https,以及http自动跳转到https的配置 1)TOMCAT_HOME目录下生成密钥(keytool是jdk中的命令) keytool -genkey -alias tomcat -keyalg RSA -keypass changeit -storepass changeit
关于领号活动总结 alafqq 活动
关于某彩票活动的总结具体需求，每个用户进活动页面，领取一个号码，1000中的一个；活动要求 1，随机性，一定要有随机性； 2，最少中奖概率，如果注数为3200注，则最多中4注 3，效率问题，（不能每个人来都产生一个随机数，这样效率不高）； 4，支持断电（仍然从下一个开始），重启服务；（存数据库有点大材小用，因此不能存放在数据库）解决方案 1，事先产生随机数1000个，并打
java数据结构冒泡排序的遍历与排序百合不是茶 java
java的冒泡排序是一种简单的排序规则冒泡排序的原理：比较两个相邻的数，首先将最大的排在第一个，第二次比较第二个，此后一样；针对所有的元素重复以上的步骤，除了最后一个例题；将int array[]
JS检查输入框输入的是否是数字的一种校验方法 bijian1013 js
如下是JS检查输入框输入的是否是数字的一种校验方法： <form method=post target="_blank"> 数字：<input type="text" name=num onkeypress="checkNum(this.form)"><br> </form>
Test注解的两个属性：expected和timeout bijian1013 java JUnit expected timeout
JUnit4：Test文档中的解释：　　The Test annotation supports two optional parameters. 　　The first, expected, declares that a test method should throw an exception. 　　If it doesn't throw an exception or if it
[Gson二]继承关系的POJO的反序列化 bit1129 POJO
父类 package inheritance.test2; import java.util.Map; public class Model { private String field1; private String field2; private Map<String, String> infoMap
【Spark八十四】Spark零碎知识点记录 bit1129 spark
1. ShuffleMapTask的shuffle数据在什么地方记录到MapOutputTracker中的 ShuffleMapTask的runTask方法负责写数据到shuffle map文件中。当任务执行完成成功，DAGScheduler会收到通知，在DAGScheduler的handleTaskCompletion方法中完成记录到MapOutputTracker中
WAS各种脚本作用大全 ronin47 WAS 脚本
　　　http://www.ibm.com/developerworks/cn/websphere/library/samples/SampleScripts.html 　　　无意中，在WAS官网上发现的各种脚本作用，感觉很有作用，先与各位分享一下　　　获取下载这些示例 jacl 和 Jython 脚本可用于在 WebSphere Application Server 的不同版本中自
java-12.求 1+2+3+..n不能使用乘除法、 for 、 while 、 if 、 else 、 switch 、 case 等关键字以及条件判断语句 bylijinnan switch
借鉴网上的思路，用java实现： public class NoIfWhile { /** * @param args * * find x=1+2+3+....n */ public static void main(String[] args) { int n=10; int re=find(n); System.o
Netty源码学习-ObjectEncoder和ObjectDecoder bylijinnan java netty
Netty中传递对象的思路很直观： Netty中数据的传递是基于ChannelBuffer（也就是byte[]）；那把对象序列化为字节流，就可以在Netty中传递对象了相应的从ChannelBuffer恢复对象，就是反序列化的过程 Netty已经封装好ObjectEncoder和ObjectDecoder 先看ObjectEncoder ObjectEncoder是往外发送
spring 定时任务中cronExpression表达式含义 chicony cronExpression
一个cron表达式有6个必选的元素和一个可选的元素，各个元素之间是以空格分隔的，从左至右，这些元素的含义如下表所示：代表含义是否必须允许的取值范围 &nb
Nutz配置Jndi ctrain JNDI
1、使用JNDI获取指定资源： var ioc = { dao : { type :"org.nutz.dao.impl.NutDao", args : [ {jndi :"jdbc/dataSource"} ] } } 以上方法,仅需要在容器中配置好数据源,注入到NutDao即可.
解决 /bin/sh^M: bad interpreter: No such file or directory daizj shell
在Linux中执行.sh脚本，异常/bin/sh^M: bad interpreter: No such file or directory。分析：这是不同系统编码格式引起的：在windows系统中编辑的.sh文件可能有不可见字符，所以在Linux系统下执行会报以上异常信息。解决： 1）在windows下转换：利用一些编辑器如UltraEdit或EditPlus等工具
[转]for 循环为何可恨？ dcj3sjt126com 程序员读书
Java的闭包(Closure)特征最近成为了一个热门话题。一些精英正在起草一份议案，要在Java将来的版本中加入闭包特征。然而，提议中的闭包语法以及语言上的这种扩充受到了众多Java程序员的猛烈抨击。不久前，出版过数十本编程书籍的大作家Elliotte Rusty Harold发表了对Java中闭包的价值的质疑。尤其是他问道“for 循环为何可恨？”[http://ju
Android实用小技巧 dcj3sjt126com android
1、去掉所有Activity界面的标题栏　　修改AndroidManifest.xml 　　在application 标签中添加android:theme="@android:style/Theme.NoTitleBar" 2、去掉所有Activity界面的TitleBar 和StatusBar 　　修改AndroidManifes
Oracle 复习笔记之序列 eksliang Oracle 序列 sequence Oracle sequence
转载请出自出处：http://eksliang.iteye.com/blog/2098859 1.序列的作用序列是用于生成唯一、连续序号的对象一般用序列来充当数据库表的主键值 2.创建序列语法如下： create sequence s_emp start with 1 --开始值 increment by 1 --増长值 maxval
有“品”的程序员 gongmeitao 工作
完美程序员的10种品质　　完美程序员的每种品质都有一个范围，这个范围取决于具体的问题和背景。没有能解决所有问题的完美程序员（至少在我们这个星球上），并且对于特定问题，完美程序员应该具有以下品质：　　1. 才智非凡- 能够理解问题、能够用清晰可读的代码翻译并表达想法、善于分析并且逻辑思维能力强（范围：用简单方式解决复杂问题）　　
使用KeleyiSQLHelper类进行分页查询 hvt sql .net C#asp.net hovertree
本文适用于sql server单主键表或者视图进行分页查询，支持多字段排序。KeleyiSQLHelper类的最新代码请到http://hovertree.codeplex.com/SourceControl/latest下载整个解决方案源代码查看。或者直接在线查看类的代码：http://hovertree.codeplex.com/SourceControl/latest#HoverTree.D
SVG 教程（三）圆形，椭圆，直线天梯梦 svg
SVG <circle> SVG 圆形 - <circle> <circle> 标签可用来创建一个圆：下面是SVG代码： <svg xmlns="http://www.w3.org/2000/svg" version="1.1"> <circle cx="100" c
链表栈 luyulong java 数据结构
public class Node { private Object object; private Node next; public Node() { this.next = null; this.object = null; } public Object getObject() { return object; } public
基础数据结构和算法十：2-3 search tree sunwinner Algorithm 2-3 search tree
Binary search tree works well for a wide variety of applications, but they have poor worst-case performance. Now we introduce a type of binary search tree where costs are guaranteed to be loga
spring配置定时任务 stunizhengjia spring timer
最近因工作的需要，用到了spring的定时任务的功能,觉得spring还是很智能化的,只需要配置一下配置文件就可以了,在此记录一下，以便以后用到： //------------------------定时任务调用的方法------------------------------ /** * 存储过程定时器 */ publi
ITeye 8月技术图书有奖试读获奖名单公布 ITeye管理员活动
ITeye携手博文视点举办的8月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 8月试读活动回顾： http://webmaster.iteye.com/blog/2102830 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：《跨终端Web》 gleams：http