过去的三年

白驹过隙，三年过去了，又学了一些东西，可是很久没写博客，因为懒。今天突然想吐个槽。

然，语文不好，思维跳跃，想到什么写什么。

 

代数系统：

《抽象代数》-->《泛代数》-->《范畴论》。这些学科最好都学一下，它们不仅在“密码学”，“形式化”中有很多应用，在神经网络中也有不少应用，比如将 Backpropagation 抽象为 functor；比如研究 Symmetry Network 的，可以保持输入数据，在群同构下，输出也差不多的；还有做“图论”与 Dioid， Semiring 联系的，可将图论的算法，推广到更一般的代数系统。而且学习代数，可以偶尔看到上帝的影子。心情浮躁的时候，看几个定理，静下来思考一下，也是一种享受。代数的证明一般比较简短，却很漂亮。（要是想做“理论计算机”，这些还是得必须会的。）

 

分析学（不太好分类，里面也有几何）：

《实变函数》-->《点集拓扑》-->《泛函分析》--> 《代数拓扑》-->《微分流形》-->《共形几何》。

它们在一般的工程领域用的不多。在 learning 里面，涉及比较多。“理论计算机”里也会用。

比如想看懂最近比较火爆 WGAN 的证明，“实变”是必不可少的。

可以用“代数拓扑”的“持久同调”来分析 ANN 的 capacity。

新的数据分析方法 —— TDA（拓扑数据分析），个人比较看好这个，毕竟能揭示数据内在的优秀处理手段，往往比一个好的 learning 算法还要重要。

新的 learning 算法—— 共形学习。

也有人用 GA 算法来解 Banach 不动点的。

这里面很多知识，可以直接在抽象层面上理解，不一定要有很 naive 的例子，当然，要是能有很直观地例子，自然是好事，毕竟是我们是人，图像和几何的信息，更易于接受。

比如，学流形的话，不一定要先学曲线曲面，跳到流形学，也无伤大雅，虽然会有点点内伤。这就好比看 Goldstein 的《经典力学》，里面就没什么 naive 的例子。然，要是学到《热力学》《量子力学》什么的，身为普通人，没有相应实验设备，又不是物理系出生的我们，也看不到什么直观例子，不如从“经典力学”阶段就开始进入抽象阶段。（也有数值领域的用这些，比如做数值泛函或者数值代数拓扑的，这个我就不懂了。）

 

概率：

《测度论》--> 《随机过程》。多用于“统计模拟”和贝叶斯流派的 learning。比如 NN 和高斯过程结合的 neural process。

 

动力系统：

《常微分方程》-->《非线性系统》，神经动力学里的基础。如果不懂这些，理解 Hopfield 网络，BAM 永远像抹了一层雾。

 

剩下两年里，需要学习好的知识：

再打好基础，看看《混沌》。然，《代数几何》就不学了，目测会有内伤。肉吃多了，脂肪会堆积。而且所学需与自身能力匹配。

 

吐槽 PS：做深度学习，不如做神经计算，或传统的神经网络，皮质算法。深度学习更多比的是算力，且理论大多都是基于 BP。