笔记

看完论文发现一些之前思考过的问题又忘了，以后稍微记一下笔记，省的再忘

1. 为什么在时序预测模型中最后计算-log p(y|x)作为损失函数时都是用y1+....+yt直接得出的

这里不是强制认为每个点都是独立的，而是通过链式法则，由于计算时使用的是RNN，那么每个输出可以理解为logp(p(yt)|p(y1),p(y2),...,p(yt-1), x) 这样每个点的输出求和之后因为是log域，那么在内部转化为累乘，就可以由链式法则得到logp(y|x)

2. CTC为什么没有显式的计算loss

以为在反向传播时，loss的结果理论上不会影响反向传播的过程，只是提供了一个感官上判断是否收敛的依据。考虑

l = a*x1+b*x2，那么需要调整a 使得 l 减小，整个等式的5个数中，理论上只要知道了a和x1，就足够了，即使x2是x1的函数，也没有关系，也就是只和 l 与 a的偏导有关，实际上loss的大小根本不会影响反向传播的结果