都要2022年了,你还在纠结pytorch还是tensorflow?

PyTorch 和 TensorFlow近几年一直是深度学习领域的两大热门框架。PyTorch 和 TensorFlow都拥有丰富的API、广阔的用户群体,目前也都广泛用于学术研究和商业应用。我们在学习工作中到底应该选择哪个,这可能是很多初学者与从业者要问的问题。

今天我们将从以下几点来帮你更好的进行选择。

  • PyTorchTensorFlow有什么区别
  • 如何根据实际选择最适合的框架

我们将从TensorFlow1.X 开始首先仔细介绍这两个框架,然后介绍一些可以帮助您确定哪种选择最适合您的框架的注意事项。

什么是 TensorFlow?

TensorFlow 由 Google 开发并于 2015 年作为开源发布。它源于 Google 的自主机器学习软件,该软件经过重构和优化以用于生产。

“TensorFlow”这个名字描述了你如何组织和执行数据操作。TensorFlow 和 PyTorch 的基本数据结构都是张量。当您使用 TensorFlow 时,您通过构建有状态的流程图对这些张量中的数据执行操作,有点像记住过去事件的流程图。

谁在使用 TensorFlow?

TensorFlow 以生产级深度学习库而闻名。它拥有庞大而活跃的用户群,以及大量用于训练、部署和服务模型的官方和第三方工具和平台。

2016 年 PyTorch 发布后,TensorFlow 的受欢迎程度有所下降。但在 2019 年底,谷歌发布了TensorFlow 2.0,这是一项重大更新,简化了库并使其更加用户友好,重新引起了机器学习社区的兴趣。

代码风格和功能

在 TensorFlow 2.0 之前,TensorFlow 要求您通过调用 API将图手动拼接在一起,构成流程图。然后通过编译模型来传递一组输出张量,并利用session.run()来调用输入张量。

Session 对象在运行时负责对数据流图进行监督,并且是运行数据流图的主要接口。Session拥有并管理Tensorflow运行时的所有资源,一般可以使用python的上下文管理器来使用Session。

在 TensorFlow 2.0 中,您仍然可以通过这种方式构建模型,但使用Eager Execution更容易,这是 Python 通常的工作方式。可立即评估操作,无需构建图:操作会返回具体的值,而不是构建以后再运行的计算图,因此您可以使用 Python 控制流而不是图形控制流来编写代码。

要查看差异,让我们看看如何使用每种方法将两个张量相乘。这是使用旧的 TensorFlow 1.0 方法的示例:

import tensorflow as tf

tf.compat.v1.disable_eager_execution()

x = tf.compat.v1.placeholder(tf.float32, name = "x")
y = tf.compat.v1.placeholder(tf.float32, name = "y")

multiply = tf.multiply(x, y)

with tf.compat.v1.Session() as session:
    m = session.run(
       multiply, feed_dict={x: [[2., 4., 6.]], y: [[1.], [3.], [5.]]}
    )
    print(m)
[[ 2.  4.  6.]
 [ 6. 12. 18.]
 [10. 20. 30.]]

上面的代码代码使用 TensorFlow 2.x 中的tf.compat API 来访问 TensorFlow 1.x 的方法并禁用 Eager Execution。

首先声明输入张量x并使用tf.compat.v1.placeholder创建张量对象。然后定义要对它们执行的操作。接下来,使用tf.Session对象作为上下文管理器,创建一个容器来封装运行时环境,并通过将带有实际值的feed_dict输入到placeholder. 最后,还是在 session 里面,打印我们的结果。

使用 TensorFlow 2.0 中的 Eager Execution,只需tf.multiply()就可以达到相同的结果:

import tensorflow as tf

x = [[2., 4., 6.]]
y = [[1.], [3.], [5.]]
m = tf.multiply(x, y)
<tf.Tensor: shape=(3, 3), dtype=float32, numpy=
array([[ 2.,  4.,  6.],
       [ 6., 12., 18.],
       [10., 20., 30.]], dtype=float32)>

扩展

TensorFlow 拥有庞大且完善的用户群和大量工具来帮助生产机器学习。对于移动开发,它具有适用于JavaScript和 Swift 的API ,并且TensorFlow Lite可以压缩和优化物联网设备的模型。

由于Google 和第三方提供的大量数据、预训练模型等功能,可以快速上手并使用TensorFlow。

许多流行的机器学习算法和数据集都内置在 TensorFlow 中并且可以立即使用。除了内置数据集,您还可以访问Google Research 数据集或使用 Google 的数据集搜索来查找更多数据。

Keras 可以更轻松地启动和运行模型,因此可以在更短的时间内尝试新技术。事实上,Keras 是Kaggle前五名获胜团队中使用最广泛的深度学习框架。

当然,目前tensorflow还有一个缺点是从 TensorFlow 1.x 到 TensorFlow 2.0 的更新改变了太多功能,对于长期使用TensorFlow1.X。升级代码既乏味又容易出错。许多资源(如教程)可能并没有及时的实现tensorflow2.X的更新。

而PyTorch 没有这样向后兼容性问题,这可能是选择它而不是 TensorFlow 的一个原因。

Tensorflow 生态系统

TensorFlow 的 API、扩展和有用工具的一些亮点包括:

  • TensorFlow Hub,一个可重用机器学习模块的库
  • Model Garden,使用 TensorFlow 高级 API 的官方模型集合
  • Hands-On Machine Learning with Scikit-Learn、Keras 和 TensorFlow,全面介绍使用 TensorFlow 的机器学习

什么是PyTorch?

PyTorch 由 Facebook 开发,并于 2016年首次公开发布。它旨在提供类似于 TensorFlow 的生产优化,同时使模型更易于编写。

由于 Python 程序员发现它使用起来非常自然,PyTorch 迅速获得了大量用户,这促使 TensorFlow 团队在 TensorFlow 2.0 中采用了许多 PyTorch 最受欢迎的功能。

谁在使用 PyTorch?

PyTorch 以在研究中的使用比在生产中的使用更广泛而闻名。然而,自从在 TensorFlow 之后的一年发布以来,PyTorch 的专业开发人员使用量急剧增加。

在2020 Stack Overflow Developer Survey最流行的“其他框架,库和工具”报道,专业开发人员中10.4%选择TensorFlow、4.1%选择PyTorch的名单。而在2018年百分比分别为TensorFlow 7.6%和PyTorch只是1.6%。

PyTorch在研究领域中用户较为广泛,像斯坦福大学等都已经用PyTorch来教授深度学习。

代码风格和功能

PyTorch 基于Torch,这是一个用 C 编写的用于进行快速计算的框架。 Torch 具有用于构建模型的Lua包装器。

PyTorch将相同的 C 后端包装在 Python 接口中。但它不仅仅是一个包装器。开发人员从头开始构建它,使 Python 程序员可以轻松编写模型。底层的低级 C 和 C++ 代码针对运行 Python 代码进行了优化。由于这种紧密集成,使得PyTorch具有以下的优点:

  • 更好的内存和优化
  • 更合理的错误信息
  • 模型结构的细粒度控制
  • 更透明的模型行为
  • 与 NumPy 更好的兼容性

这意味着我们可以直接在 Python 中编写高度自定义的神经网络组件,而无需使用大量低级函数。

PyTorch 的 Eager execution可以立即动态地实现张量操作,并且tensorflow2.X也参造了这一点,因此两者的 API 看起来很相似。

将NumPy对象转换为张量被写入PyTorch的核心数据结构中。这意味着你可以轻松地来回切换torch.tensor对象和numpy.array对象。

例如,你可以创建两个numpy.array对象,使用 PyTorch 的原生支持torch.from_numpy()将 NumPy 数组转换为张量,然后获取它们的元素乘积:

import torch
import numpy as np

x = np.array([[2., 4., 6.]])
y = np.array([[1.], [3.], [5.]])

m = torch.mul(torch.from_numpy(x), torch.from_numpy(y))

m.numpy()
array([[ 2.,  4.,  6.],
       [ 6., 12., 18.],
       [10., 20., 30.]])

使用torch.tensor.numpy()可以打印出矩阵乘法的结果,可以将一个tensor对象作为一个numpy数组打印出来。

torch和numpy之间最重要的区别是torch类中有不同的方法和属性,比如计算梯度的backward()和CUDA兼容性。

扩展

PyTorch在Torch后端添加了一个c++模块用于自微分。自微分可以实现torch神经网络反向传播时自动计算梯度的功能。

默认情况下,PyTorch使用eager模式计算。所以我们可以在构建神经网络时逐行运行它,这使得调试更容易。它也使一些需要条件判断的神经网络构建成为可能。这种动态执行对于大多数Python程序员来说更加直观。

PyTorch 生态系统

PyTorch 扩展的 API、扩展和有用工具的一些亮点包括:

  • fast.ai API,可以非常迅速的建立模型
  • TorchServe,AWS 和 Facebook 合作开发的开源模型服务器
  • TorchElastic,使用Kubernetes大规模训练的深度神经网络
  • PyTorch Hub,一个分享前沿模型的活跃社区

PyTorch vs TensorFlow

那么到底该如何选择这两种深度学习框架呢?使用哪个库取决于我们自己的编码风格、数据、模型以及我们的最终需求。

代码风格

如果你是Python程序员,那么使用PyTorch会很容易。它就像你期望的那样,开箱即用。

另一方面,TensorFlow比PyTorch支持更多的编码语言,比如c++ API。同样你也可以在JavaScript和Swift中使用TensorFlow。同时Keras中已经封装了很多现成的模块与工具,你可以拿来直接用,非常的方便。

数据与模型

当我们在上手一个项目时,可以了解下这两种框架中是否能找到我们需要的预训练模型,如BERT或DeepDream。同时,可能我们在GitHub上找模型的时候,可以关注下别人是用哪种框架进行模型构建的。并且有些时候,PyTorch和TensorFlow数据处理的库也不尽相同,你可以根据你自己的数据,来选择一个更方便的框架。

目标

我们在选择框架的过程中也要根据自己的最终目标来进行综合考量。

就例如在部署模型时,TensorFlow与Google Cloud紧密集成,PyTorch集成到AWS上的TorchServe中,但TensorFlow的TensorFlow Lite和它的Swift API可以方便帮我们在移动设备上部署模型。

总结

今天我们介绍了PyTorch和TensorFlow的选择,对于刚入门的新手,现在可能推荐PyTorch的人会多一些,但TensorFlow在2.X重大改版之后,感觉对新手也很友好。当然,不论是什么框架,只要选择了,我们就应该认真的学下去,而不是把时间浪费在纠结使用哪个框架上。

你可能感兴趣的:(笔记,python,tensorflow,计算机视觉,pytorch,人工智能)