基于FPGA的CNN算法移植（四）地平线等公司的 ADAS 产品

更多精彩内容，请微信搜索“FPGAer俱乐部”关注我们

 这是一篇对地平线公司产品的猜想博文，本人对地平线充满了无限的仰望和崇拜，绝无冒犯之意。因为对AI芯片设计公司感兴趣所以才分析。为何不分析别家呢？ 因为4月在深圳会展中心的电子信息博览会地平线过来了。商汤，寒武纪，深鉴都没有来参展。  地平线产品：

征程 1.0 只支持一路1080p30fps，而且有检测距离限制。识别200个目标
征程2.0上可以最多支持8路1080p 30fps实时处理而且加入了交通标志牌识别，路况识别

征程1.0 在展会上是一个不通电的样机，销售说1.0效果不怎么好，让我看2.0的效果。 而2.0 是一个用altera A10 挂载7个DDR3做成的demo。

    先看他们的效果图

 

先分析征程 1.0 ：很明显，地平线2015年7月成立，2018年2月初发布征程1.0，从IC研发周期看，这个IC 研发速度还是非常快的。当时是为了尽快融资他们将识别算法迅速用硬件实现，所以还有一些算法残留影子 —— 识别200个目标（谁不知道ADAS只需要识别几个目标就可以了，所以2.0版本上就把这个从算法上拿掉了，精简了算法）。“行人检测可达60m”手册上这句话，个人理解暴露出他们的算法把图像压缩了，压缩之后的图像对小物体检测出现了丢失现象（2.0版本没有这个限制）。目前1.0 主要用在自动泊车

再分析征程 2.0 ，手册上着重强调了他们采用了新型稀疏二值化神经网络，算法上拥有像素级视频语义分割（都到像素级了，所以图像应该没有进行缩小，所以也就没有了1.0中的检测距离限制。分割之后图像中的空白区，蓝天，建筑物都不需要参加运算的吧。），深度评估等功能（这个是用来分析车辆行人下一个动作，至于效果谁知道呢）。

以上是对地平线产品的猜想，如果有不对的地方欢迎大家批评指正。

 

再看看其他公司是怎么实现这种检测的，看看百度，这是百度Apollo 2 在新浪上的视频截图 ，对啊，道路旁边的建筑物，树木都去哪里了 ？

 

最后看看谷歌的 waymo 第二代在腾讯上的视频截图

谷歌的稍微好点。右下方还有一个真实视频显示。主车就是视频中间那个绿色的框框。注意看绿色框框前面有一个小的红色框框。看左下方真实视频里面的右边一点点，里面有一个男生骑着自行车，那个红色框框就是他。

 

国内有太多的公司想做ADAS，展会上随便就可以找出上10家来，可是除了地平线在展会上展示的效果（FPGA demo）不错之外，其他公司应该跑的是GPU上的demo。

理论上CNN 算法移植的FPGA里面可以实现加速，可是实际上CNN 对内存读写数据量太大，GPU 有HBM 技术支持，GTX 1080 对自己内存读写速度就可以达到10G 以上，高端的就更快了。CNN 移植到FPGA，在实验室里可以放个小图像进去跑几层看看效果。真正要实现产品化，图像至少来个720p的，卷积一不小心就是几十层，最终要放到硬件里 难度还是很大的，这个难度主要不在FPGA工程师那里，这个原因我在 这个系列的第一篇 基于FPGA的CNN算法移植（一）概述  里就说的很清楚了。能对CNN ，RNN 能进行优化的算法工程师实在是太少了。深鉴可不可以学习一下吴恩达，把自己变成一个算法优化的培训机构呢？ 哈哈哈，玩笑了。

小公司做这个ADAS项目，那就是个巨坑。FPGA工程师们，共勉吧。

 

由 地平线的产品效果，到百度的产品效果，再到谷歌的产品效果，大家有没有什么启发呢？

本文转载自http://www.cnblogs.com/sepeng/p/8806244.html，如涉及侵权，请私信小编删除。

============华 丽 的 分 割 线============

想加入我们FPGA学习交流群吗？可以长按或扫描以下二维码，审核通过后我们邀请您加入。

这些微信群旨在打造一个提供给FPGA工程开发人员及兴趣爱好者（统称“FPGAer”）进行技术交流、答疑解惑和学习的平台。而且我们也将会通过网络举办FPGA技术讲座，分享相关研究文献。 

了解更多FPGA知识可以长按或扫描以下二维码关注“FPGAer俱乐部”。