神经网络与机器学习第3版学习笔记
-初学者的笔记,记录花时间思考的各种疑惑
第0章 导言
1、第9页
1.1 logistic函数在原点的倾斜率等于a/4?
$\,\,\varphi \left( v \right) =\frac{1}{1+e^{-av}}\Rightarrow \,\,\varphi’\left( v \right) =\frac{ae^{-av}}{\left( 1+e^{-av} \right) ^2}\Rightarrow \varphi \left( 0 \right) =\frac{a}{4}$
※logistic函数 $f\left( x \right) =\frac{1}{1+e^{-x}}$ 相关知识补充。
$\because \,\,f’\left( x \right) =\frac{e^{-x}}{\left( 1+e^{-x} \right) ^2}$
$\therefore \,\,f’\left( x \right) =f\left( x \right) \cdot \left( 1-f\left( x \right) \right) $
1.2 signum函数 $sgn \left( x \right) =\frac{x}{\left| x \right|}$
中文名:正负号函数,又称为符号函数。
※与绝对值函数 $f\left( x \right) =\left| x \right|$ 的关系:$sgn \left( x \right) =f’\left( x \right) $。
2、第11页
2.1 二项式 $\left( 1-wz^{-l} \right) ^{-l}$ 展开结果为 $\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}w^l}z^{-l}$ ?
$\because $广义二项式定理:$\left( x+y \right) ^{\alpha}=\underset{k=0}{\overset{\infty}{\varSigma}}C_{\alpha}^{k}x^{\alpha -k}y^k$
$\therefore \left( 1-x \right) ^{-n}=\frac{1}{\left( 1-x \right) ^n}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}C_{n}^{l}x^l}$
$\therefore \left( 1-wz^{-1} \right) ^{-1}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}C_{1}^{l}\left( wz^{-1} \right) ^l}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}w^l}z^{-l}$
3、第12页
3.1 图14中的输出信号指的是第一次的输入信号所产生的输出,而不是该次的总输出。