Jetson Nano 配置与测试

0.主要任务

主要是测试一下Jetson Nano开发者套件的AI性能。

1.准备硬件

1. 64GB micro SD卡两张（我测试结束后硬盘一共使用了18.4GB）
2. 5V4A 2.1mm圆形电源
3. HDMI接口显示器
4. 键盘鼠标
5. 网线
6. 风扇

2.烧录系统

参考：https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit

• 官网下载镜像https://developer.nvidia.com/jetson-nano-sd-card-image
• 使用SD Card Formatter格式化SD卡
• 使用balenaEtcher把镜像烧录到SD卡里
• 板子接好键盘鼠标显示器网线
• 短接J48，使用2.1mm电源接口
• 插入SD卡，通电开机

3.配置系统

3.1电源管理

1. 查看功率模式
   sudo /usr/sbin/nvpmodel -q
2. 若显示模式ID为0，那已开启10W模式，无需进行下面设置
   #5w模式： sudo /usr/sbin/nvpmodel -m 1
#10w模式：sudo /usr/sbin/nvpmodel -m 0
3. 设置完后运行
   sudo /usr/bin/jetson_clocks

3.2安装pytorch&tensorflow

因为下载的镜像是JP4.4版本，预装了CUDA10.2，所以装pytorch1.6.0，torchvision 0.7.0

度盘下载链接：https://pan.baidu.com/s/1oCJMtHCVKzPAJfvSb-JibQ 提取码：jil5

在安装之前我们需要准备：

1. 环境变量中设置CUDA
   export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export PATH=$PATH:/usr/local/cuda/bin:$PATH
2. apt与pip换源（pip需要自己用apt安装一下）

pytorch

• pip安装numpy1.16.0
• 使用whl包安装1.6版本pytorch
• pip安装pillow 7.2.0
• 源码安装torchvision 0.7.0

tensorflow

• tensorflow下载 https://developer.download.nvidia.cn/compute/redist/jp/v44/tensorflow/
• 安装教程 https://docs.nvidia.com/deeplearning/frameworks/install-tf-jetson-platform-release-notes/tf-jetson-rel.html#tf-jetson-rel

3.3安装jtop

Jetson Nano 没有 nvidia-smi 命令，所以装个jtop来代替

sudo apt-get install libhdf5-serial-dev hdf5-tools libatlas-base-dev gfortran
pip install jetson-stats
登出账户
jtop

3.4关闭图形界面

Jetson Nano 的4GB内存是CPU和GPU共用的，如果我们想跑深度学习的程序，就需要关闭图形界面来降低内存占用

在关闭图形界面前我们需要：

1. 设置好一个固定IP，方便关闭图形界面后使用ssh连接
2. 配置samba服务器，方便传输文件

关闭图形界面
sudo systemctl set-default multi-user.target
sudo reboot

开启图形界面
sudo systemctl set-default graphical.target
sudo reboot

4.备份TF卡

辛苦配置了半天肯定不希望自己一个手滑就把系统给搞崩掉

• 备份
  sudo dd if=/dev/sdb | gzip >/home/workspace/nano.img.gz
• 恢复
  sudo gzip -dc /home/workspace/nano.img.gz | sudo dd of=/dev/sdb

5.测试

终于进入正题了，可以先试试运行pytorch模型，记录下FPS和内存占用情况。采用trt加速，和原本的pytorch模型的记录比较一下。

5.1使用trt加速

说白了就是把pytorch模型转换成trt模型，之后加载trt模型对图像进行预测。

英伟达贴心的提供了torch2trt的工具：https://github.com/NVIDIA-AI-IOT/torch2trt
我试了一下，感觉并不是很好使。一个是有一些层会不支持，另一个是pytorch1.6的版本不支持使用 “/ ”（除法）了，使用起来不方便。

找到另外一个开源工具https://github.com/Media-Smart/volksdep
这个工具支持onnx2trt，很好的绕过了pytorch1.6关于除法的问题。