【菜菜的CV进阶之路-神经网络的深入理解-十二】Hadamard积-- s⊙t

目录

简介

第一章-使用神经网络识别手写数字             第一节-感知机             第二节-sigmoid神经元             第三节-神经网络的结构             第四节-用简单的神经网络识别手写数字             第五节-通过梯度下降法学习参数             第六节-实现我们的手写体数字分类神经网络             第七节-向深度学习进发！

第二章-反向传播算法工作原理             第一节-热身：一个基于矩阵的快速计算神                            经网络输出的方法             第二节-关于代价函数的两个假设             第三节-Hadamard积--s⊙t             第四节-反向传播背后的四个基本等式             第五节-四个基本方程的证明（自选章节）             第六节-反向传播算法             第七节-反向传播算法代码             第八节-为什么说反向传播算法很高效？             第九节-反向传播：整体描述

注：

                哈工大原版翻译地址：https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/

                文章原版地址：《Neural Networks and Deep Learning》http://neuralnetworksanddeeplearning.com/

---

反向传播算法是以常见线性代数操作为基础——诸如向量加法，向量与矩阵乘法等运算。但其中一个操作相对不是那么常用。具体来讲，假设s和t是两个有相同维数的向量。那么我们用s⊙t来表示两个向量的对应元素(elementwise)相乘。因此s⊙t的元素。例如，

 

这种对应元素相乘有时被称为Hadamard积（Hadamard product）或Schur积(Schur product)。我们将称它为Hadamard积。优秀的矩阵通常会提供Hadamard积的快速实现，这在实现反向传播时将会有用。