深度学习网络搭建与编程范式

TensorFlow搭建网络时采用static graphs,即先用函数式的编程范式定义网络,再训练,定义网络结构时没有计算,计算全部在训练模块里。搭建网络时,函数作为变量传递给函数。

PyTorch搭建网络时采用dynamic graphs,不事先搭建网络直接计算,计算过程本身就是网络的结构,属于(命令式)面向过程/基于对象的编程范式。这是人们习惯的命令式的”define by run“编程范式。

知乎各种吹捧函数式编程,却又更喜欢PyTorch,因为在Tensorflow中需要把控制流封装成functor很麻烦。还有一个原因是static graphs不能用来实现RNN等网络,TensorFlow Fold中实现了Dynamic Batching算法以实现动态图的功能。

参考文献:
[1] M. Looks, et al. DEEP LEARNING WITH DYNAMIC COMPUTATION GRAPHS, ICLR 2017

你可能感兴趣的:(程序设计)