《深度学习入门》学习笔记（一）

深度学习 学习笔记

Chp 4 神经网络的学习

section 1 loss function

神经网络以某个指标为线索寻找最有的权重参数， 在寻找过程中， 需要使用loss function来比较使用神经网络根据特定的决策变量预测的值与这些特定的决策变量所对应的实际之的差距。 并使用一定的方法来逐步调整参数， 使得预测值更加的逼近实际值。

Mean Square Error

$$E=\frac{1}{2}\sum _k(y_k-t_k{)}^2$$
其中， $k$表示数据的维度数(dimension)， 其中$y$ 和$t$都是一定维度的向量， $y_k$表示神经网络处理后的输出数据， $t_k$表示$y_k$所对应的实际的值。以下是python代码实现:

cross entropy error

$$E=-\sum _k{t}_{k}log(y_k)$$
数据含义说明与上类似， 以下是python代码实现:

import numpy as np

def CrossEntropError(y, t):
	ans = 0
	if y.size == t.size:
		for i in range(y.size):
			ans = ans - t[i] * np.log(y[i])
	else:
		return 1
	return ans

mini-batch学习

对于神经网络学习的大量数据集， 可能有几百万、 几千万之多， 所以直接通过计算如此多数量的数据集是不现实的。 我们可以通过从中选取合适数量的数据来进行神经网络学习。