学习笔记（一）：《神经网络与深度学习》（邱锡鹏）（2019.4.14）

改模型调参数的同时，用java和python实现今日的算法，用习惯了C++写算法，真是不习惯用java.

抽时间阅读了邱老师的新书《神经网络与深度学习》，最近会做一些整理。

《神经网络与深度学习》第一章绪论

最初人工智能的idea来自图灵测试，重读图灵测试的核心思想，不得不说，精简的话语撑起了AI的半边天，尤其是自己对GAN深入研究的半年，生成对抗的思想真的是图灵测试最好的诠释。要想使计算机通过图灵测试，计算机必须具备理解语言，学习，记忆，推理，决策等能力，进而引申出了NLP，CV, RL, KG等相关方向。

人工智能的主要领域大体上可以分为以下几个方面：

感知：语音信息处理，计算机视觉

学习：监督学习，无监督学习，强化学习

认知：知识表示，NLP，推理决策等

机器学习：从有限的数据中学习出能够代表一半一般性规律或特征的模型，从而可以预测未来的数据。

常用深度学习框架：

Theano1：蒙特利尔大学的Python 工具包，用来高效地定义、优化和执行
Theano 项目目前已停止维
多维数组数据对应数学表达式。Theano可以透明的使用GPUs和高效的符号 护。
微分。
Caffe2：全称为Convolutional Architecture for Fast Feature Embedding，
是一个卷积网络模型的计算框架，所要实现的网络结构可以在配置文件中指定，
不需要编码。Caffe 是用C++和Python 实现，主要用于计算机视觉。
TensorFlow3：Google 公司开发的Python工具包，可以在任意具备CPU或
者GPU的设备上运行。TensorFlow的计算过程使用数据流图来表示。Tensor-
Flow的名字来源于其计算过程中的操作对象为多维数组，即张量（tensor）。
Chainer4：一个最早采用动态计算图的神经网络框架，其核心开发团队为来
自日本的一家机器学习创业公司Preferred Networks。和Tensorflow、Theano、
Caffe等框架使用的静态计算图相比，动态计算图可以在运行时动态地构建计算
图，因此非常很适合进行一些复杂的决策或推理任务。
PyTorch5：由Facebook、NVIDIA、Twitter 等公司开发维护的深度学习框
架，其前身为Lua 语言的Torch6。PyTorch 也是基于动态计算图的框架，在需
要动态改变神经网络结构的任务中有着明显的优势。