lstm https://www.jianshu.com/p/9dc9f41f0b29
决定什么值我们将要更新
丢弃掉我们确定需要丢弃的信息
神经网络基础
http://www.cnblogs.com/maybe2030/p/5597716.html
梯度下降和反向传播 https://www.cnblogs.com/softzrp/p/6718909.html
梯度下降 求偏导
反向传播 链式法则
反向传播 http://www.cnblogs.com/charlotte77/p/5629865.html
链式求导
若h(x)=f(g(x))，则h'(x)=f'(g(x))g'(x)
前馈神经网络：前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。
https://baike.baidu.com/item/%E5%89%8D%E9%A6%88%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/7580523?fr=aladdin
全连接： https://blog.csdn.net/gyh_420/article/details/78569225
bptt: back-propagation through time 需要再看
https://www.cnblogs.com/zhbzz2007/p/6339346.html
https://www.cnblogs.com/Determined22/p/6562555.html
Simple RNN之所以有梯度消失是因为误差项之间的相乘关系；如果用LSTM推导，会发现这个相乘关系变成了相加关系，所以可以缓解梯度消失
Skip-Gram模型理解:需要再看
https://www.jianshu.com/p/da235893e4a5
隐马尔科夫模型： https://community.bigquant.com/t/%E9%9A%90%E9%A9%AC%E5%B0%94%E7%A7%91%E5%A4%AB%E6%A8%A1%E5%9E%8B%EF%BC%88HMM%EF%BC%89%E4%B8%80%E5%9F%BA%E6%9C%AC%E6%A8%A1%E5%9E%8B%E4%B8%8E%E4%B8%89%E4%B8%AA%E5%9F%BA%E6%9C%AC%E9%97%AE%E9%A2%98/126042?suanfazu&181016&L2
#######任务##########
自动回归的测试 自动化测试
统计分析 有用，可用 好用
种子用户迭代的目标