tensorflow graphics详解
详细英文文档地址：
地址1：https://github.com/tensorflow/graphics
地址2：https://tensorflow.google.cn/graphics（自动跳转到 地址1）
说明：因为tensorflow地址大部分无法访问，可以在https://github.com/tensorflow/下找到需要的内容
TensorFlow重磅推出一个全新的图形工具TensorFlow Graphics，结合计算机图形学和计算机视觉技术，以无监督的方式解决复杂3D视觉任务。
近年来，可插入到神经网络架构中的一种新型可微图形层(differentiable graphics layers)开始兴起。
从空间变换器(spatial transformers)到可微图形渲染器，这些新型的神经网络层利用计算机视觉、图形学研究获得的知识来构建新的、更高效的网络架构。它们将几何先验和约束显式地建模到神经网络中，为能够以自监督的方式进行稳健、高效训练的神经网络架构打开了大门。
1.概述（Overview）
从高级层面来说，计算机图形学的pipeline需要3D物体及其在场景中的绝对位置、构成它们的材质的描述、光、以及摄像头。然后，渲染器对这个场景描述进行解释，生成一个合成渲染。
相比之下，计算机视觉系统是从图像开始的，并试图推断出场景的相关参数。也就是说，计算机视觉系统可以预测场景中有哪些物体，它们由什么材料构成，以及它们的3D位置和方向。
训练一个能够解决这些复杂的3D视觉任务的机器学习系统通常需要大量的数据。由于给数据打标签是一个成本高昂而且复杂的过程，因此设计能够理解三维世界、而且无需太多监督的机器学习模型的机制非常重要。
将计算机视觉和计算机图形学技术结合起来，我们得以利用大量现成的无标记数据。
如下图所示，这个过程可以通过合成分析来实现，其中视觉系统提取场景参数，图形系统根据这些参数返回图像。如果渲染结果与原始图像匹配，则说明视觉系统已经准确地提取出场景参数了。
在这种设置中，计算机视觉和计算机图形学相辅相成，形成了一个类似于自动编码器的机器学习系统，能够以一种自监督的方式进行训练。
2.安装 TensorFlow Graphics
地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/install.md
CPU 版：pip install --upgrade tensorflow-graphics
GPU 版：pip install --upgrade tensorflow-graphics-gpu
3.API Documentation
地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/api_docs/python/tfg.md
4.兼容性（Compatibility）
TensorFlow Graphics完全兼容最新发布的稳定版本TensorFlow，tf-nightly和tf-nightly-2.0-preview。 所有功能都与graph and eager execution.兼容。
5.调试（Debugging）
Tensorflow Graphics 严重依赖 L2 normalized tensors,以及处于预定范围内的特定功能的输入，检查所有这些都需要在循环中，因此默认情况下不会激活。建议在特定的训练周期内打开这些检查，以确保一切都按预期运行。
地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/debug_mode.md（该文档提供了启用该功能的说明）
6.Colab 教程
为了帮助您开始使用TF Graphics提供的一些功能，下面提供了一些Colab笔记本，并且大致按顺序排序。涉及大范围的主题，包括物体姿态估计（object pose estimation），插值interpolation，物体材料object materials，照明lighting，非刚性表面变形non-rigid surface deformation，球面谐波 spherical harmonics和网格卷积mesh convolutions。
6.1.入门级（Beginner）
物体姿态估计（ Object pose estimation ）
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/6dof_alignment.ipynb
Camera intrisic optimization
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/intrinsics_optimization.ipynb
| Object pose estimation | Camera intrisic optimization |
|---|---|
|
|
|
6.2.中等难度（Intermediate）
| B-spline and slerp interpolation | Reflectance | Non-rigid surface deformation |
|---|---|---|
 |
 |
 |
B样条和球面线性插值（ B-spline and slerp interpolation）
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/interpolation.ipynb
反射率（Reflectanc）
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/reflectance.ipynb
非刚性表面变形（Non-rigid surface deformation）
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/non_rigid_deformation.ipynb
6.3.高等难度（Advanced）
| Spherical harmonics rendering | Environment map optimization | Semantic mesh segmentation |
|---|---|---|
 |
 |
 |
球面谐波渲染（Spherical harmonics rendering）
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_approximation.ipynb
环境地图优化（Environment map optimization）
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_optimization.ipynb
语义网格分割（Semantic mesh segmentation）
备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb
7.TensorBoard 3D
可视化debug是评估实验是否朝着正确方向进行的一种很好的方法。为此，TensorFlow Graphics提供了一个TensorBoard插件，可以交互式地对3D网格和点云进行可视化。
地址1：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/tensorboard/plugins/
mesh/Mesh_Plugin_Tensorboard.ipynb（插件使用方法）——无法访问
地址1-1.https://github.com/tensorflow/tensorboard/tree/master/tensorboard/plugins/mesh（内容与地址二相同）
说明：因为地址1无法访问，可以在https://github.com/tensorflow/下找到需要的内容
地址2：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/tensorboard.md（安装和配置）
注意：TensorBoard 3D目前与急切执行和TensorFlow 2不兼容。
8.后续更新（Coming next...）
在许多方面，我们希望发布重新采样器，额外的3D卷积和池操作符，以及可区分的光栅化器！
在Twitter上关注我们，了解最新消息！
地址:https://twitter.com/_TFGraphics_ （无法访问）
9.附加信息（Additional Information）
您可以在Apache 2.0许可下使用此软件。
10.社区（Community）
作为TensorFlow的一部分，我们致力于营造一个开放和热情的环境。
Stack Overflow：询问或回答技术问题。地址：https://stackoverflow.com/questions/tagged/tensorflow
GitHub：报告错误或发出功能请求。 地址：https://github.com/tensorflow/graphics/issues
TensorFlow博客：及时了解TensorFlow团队的内容和社区的最佳文章。地址：https://medium.com/tensorflow
Youtube频道：关注TensorFlow节目。 地址：http://youtube.com/tensorflow/
。