【深度学习】看似不合理实则有效的RNN

1 说明

        这是国外AI工程师卡尔帕西的实验记录，本人很荣幸在千百参考论文中，找到他的杰出笔记，本人在该文中收获很大，这里一并将他的代码库反馈给大家，相信通过此次学习会得到帮助。再次感谢karpathy的奉献。

2 递归神经网络的不合理有效性

递归神经网络的不合理有效性 (karpathy.github.io)

        递归神经网络（RNN）有一些神奇的东西。我仍然记得当我训练我的第一个循环网络进行图像字幕时。在训练我的第一个婴儿模型（具有相当任意选择的超参数）的几十分钟内，开始生成非常漂亮的图像描述，这些图像处于有意义的边缘。有时，你的模型有多简单与你从中获得的结果质量的比率超出了你的预期，这就是其中之一。当时这个结果之所以如此令人震惊，是因为普遍的看法是RNN应该很难训练（随着经验的积累，我实际上得出了相反的结论）。快进大约一年：我一直在训练RNN，我已经多次见证了它们的力量和健壮性，但它们神奇的输出仍然能找到逗我的方法。这篇文章是关于与你分享一些魔力。

我们将训练 R