[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)

Keras

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第1张图片
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第2张图片


Example Application - Handwriting Digit Recognition

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第3张图片


Step 1 : define a set of function

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第4张图片


Step 2 : goodness of function

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第5张图片


Step 3 : pick the best function

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第6张图片


x_train, y_train

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第7张图片


batch_size & epoch

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第8张图片
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第9张图片


Speed

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第10张图片
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第11张图片


Speed - Why mini-batch is faster than stochastic gradient descent?

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第12张图片
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第13张图片
对GPU来说,让它做上述两个运算,所用的时间几乎是一样的,在矩阵相乘中的每一个元素,都是可以并行运算的,所以上面用的时间会变成下面的两倍,所以GPU+mini-batch会使效率大大提升。


Shuffle the training examples for each epoch

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第14张图片


Analysis

[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第15张图片
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第16张图片
[机器学习入门] 李宏毅机器学习笔记-9 (“Hello world” of deep learning;初探深度学习)_第17张图片

你可能感兴趣的:(机器学习,机器学习入门)