GTC 2018

GTC 2018 没有新的消费级显卡发布，这个是一个令人失望的地方。对于有钱人来说，到不是问题。在硬件方面，Nvidia 基于V100的架构上，发布了内存加倍的Quadro GV100显卡，新的Telsa V100. DGX-2 世界上计算能力最强的显卡（2P flops, 512 GB HDM2, 399K$).

图片发自App

图片发自App

其他可圈可点的主要在软件上。

在医疗方面 Clara - Medical Imaging Supercomputer.

琢磨来琢磨去觉得是Nvidia 在DGX workstation 上的software stack, 为了给传统的医疗影像行业注入新的生命力。老黄用了一个超声设备为例子：

• 传统的超声设备。也就是已经在医院里面部署的旧的设备。
• 数据传输到Nvidia Clara医学影像工作站
• 自动心内膜分割 （deep learning, semantic segmentation）
• 射血分数计算（AutoEF）
• 3D 心脏建模和3D绘制 （这个是如何搞得？2D 超声扫描到3D? 还是至少有双平面探头？老黄大概也不懂超声，没有讲明白。）

如果从software stack 来看的话，GPU server 提供硬件计算能力，GPU containers/VGPU 可以让GPU server 在云端scale up， 如果数据的传输不再是瓶颈的话。Cuda 提供通用的高性能计算能力，可以用于传统的医学影像算法。cudnn和tensorrt一起提供AI的推理能力（比如用于semantic segmentation 和建模）。 OpenGL 和RTX 用于3D rendering。 让超声这个传统的成像模式老树发新芽。最后这些能力体现在AutoEF 等等自动测量，和通过3D 帮助医生更好更快的做判断。老黄是想给医院已经大量部署的仪器加点AI的调料，为医生的日常工作提供价值（更快更好的诊断）。

感觉这种把数据采集和数据的处理分开的做法在商业上也可能是一个可行的模式：

• 超声设备的开发硬件较多，开发周期比较长。重点是信噪比高，基础图像质量好。
• GPU 工作站和软件发展迅速。通过把数据采集和处理分离，可以在软件端快速迭代。
• 可以通过多个超声设备共享GPU 工作站降低成本。
• 商业模式需要逐渐从硬件设备（超声仪器），转向软件和服务。通过GPU上的软件升级和功能开发套利。
• 如果网络速度逐渐不是问题（比如5G的大量部署），GPU工作站可以放在云端，那么对公司而言，就是从云端提供服务的商业模式，前端超声设备可以非常便宜的推广到医院，甚至可以不用在超声设备上盈利。
• 比较适合于不是传统设备商的startup, 所以你可以看到老黄这个项目里面有推想科技，以色列的Zebra Medical, 或者加州的Baylabs这些做医疗AI的初创企业/软件公司。

11Untitled.jpg

16Untitled.jpg

10Untitled.jpg

17Untitled.jpg

TensorRT 4.0

TensorRT3.0 说是支持 tensorflow, caffe 模型，其实仔细调研发现功能上还是有不少不完备的。希望TensorRT4.0能够搞定这些问题。目前TensorRT4.0还不能下载，介绍如下：

TensorRT 4 now provides capabilities to accelerate speech recognition, neural machine translation and recommender systems. The native ONNX parser in TensorRT 4 provides an easy path to import models from frameworks such as PyTorch, Caffe2, MxNet, CNTK and Chainer.

Highlights include:

• 45x higher throughput vs. CPU with new layers for Multilayer Perceptrons (MLP) and Recurrent Neural Networks (RNN)
• 50x faster inference performance on V100 vs. CPU-only for ONNX models imported with ONNX parser in TensorRT
• Support for NVIDIA DRIVE™ Xavier - AI Computer for Autonomous Vehicles
• 3x inference speedup for FP16 custom layers with APIs for running on Volta Tensor Cores

觉得特别有用的就是对ONNX的支持。也就是你可以随便用自己喜欢的语言做模型的训练，然后用TensorRT做模型的部署。