Adam Algorithm & First-order moment, Second moment
1.一阶矩估计和二阶矩估计我们首先先明确一下，什么是一阶矩和二阶矩。1.1一阶矩一阶矩就是期望值，换句话说就是平均数(离散随机变量很好理解，连续的可以类比一下)。举例：x-y坐标系中，xxx取大于零的整数，y1,y2,...,yny_1,y_2,\...\,y_ny1,y2,...,yn对应x=1,2,...,nx=1,2,...,nx=1,2,...,n的值，现在我要对yyy求期望，就是所有yy