PyTorch研究(一)

        PyTorch作为深度学习框架的明星产品，目前，不论是在学术界，还是工业界，受到众多学者的青睐。为什么选择PyTorch呢？一方面是因为工作上的需要；另一方面，也是最重要的，喜欢PyTorch的设计。笔者在研究生阶段就从事了NLP方面的研究，期间也学习了其他的深度学习框架Tensorflow、Keras、Theano。对比之后，发现在简洁性、速度、易用性方面，PyTorch都具有很大的优势，这也是一个好的产品应该具备的特性。

        简洁性：相比于Tensorflow而言，PyTorch在设计时，少了很多新的名词，在Tensorflow里面，为大多数人所诟病，如session、graph、name_scope、operation、variable、layer等繁琐的概念，混乱的api不方便我们的研究工作，而在AI领域，python作为主流的AI编程语言，tensorflow的设计与python的简洁优雅是相悖的，这也是最终我抛弃tensorflow的一个主要原因。再来看看PyTorch，从名字上来看，就可以分析出，是pythonic的，而其设计遵循tensor→variable(autograd)→nn.Module三个由低到高的抽象层次，分别代表张量、变量、神经网络，并且这三个紧密联系，更加契合深度学习的特色，代码清晰，易于阅读和理解。

        速度：Huggingface的一名工程师进行过模型推理的实验测试，PyTorch的平均推理时间为0.748s，而Tensorflow的平均推理时间为0.823s，由此可见，PyTorch快于Tensorflow，而且，同一个算法，使用PyTorch相比Tensorflow，更易写出高质量代码。

        易用性：PyTorch是pythonic的，说它是所有的框架中面向对象设计最优雅的，一点也不为过。PyTorch的面向对象的接口设计来源于Torch，而Torch的接口设计以灵活著称，Keras也是受Torch启发而来的。PyTorch的设计也最符合人们的思维，可以让用户专注于实现自己的想法，而无需关注太多非必要的复杂语法，即所思即所得。

        社区：社区非常活跃，从最开始的落后于Tensorflow，到目前用户已经和Tensorflow几乎持平，甚至超越，而且微软公司和元宇宙公司(前身为Facebook)均对PyTorch提供了强力支持。目前各类深度学习问题的研究成果都有PyTorch的开源实现，对于前沿算法的研究，也均以PyTorch作为首选。PyTorch的动态计算图机制也必然是未来深度学习框架技术发展的趋势。