人工智能的各个分支中，机器视觉无疑是应用最广泛的方向

　　随着人工智能时代的来临，相应的芯片产品和行业也产生了相应的新方向。
　　在人工智能的各个分支中，机器视觉无疑是应用最广泛的方向，它支撑着诸如人脸检测、工业异常检测、手势识别等诸多重要的应用。顾名思义，机器视觉是使用机器学习/人工智能的方法来分析视觉信号，并且通过人工智能直接产生分析结果。因此，机器视觉天然就需要一个图像传感器来作为输入信号，而随着机器视觉和人工智能的逐渐发展，机器视觉与图像传感器芯片的结合成为“智能图像传感器”也是顺应了技术发展的脉络。
　　如果我们进一步分析智能图像传感器，我们认为又可以分为两类。第一类是图像传感器与人工智能计算相结合，即图像传感器模组除了可以输出图像之外，还可以直接输出人工智能算法计算的结果。这样的智能图像传感器我们可以称之外“人工智能赋能的图像传感器”，它们往往能做到非常低功耗的人工智能分析，因此在物联网和可穿戴式智能设备中有重要应用。
　　而另一类智能图像传感器则是为人工智能应用专门设计的图像传感器，其输出的内容和方式往往与传统的图像传感器有区别。这类智能图像传感器可以称之为“为人工智能赋能的图像传感器”。这类图像传感器中的一种重要图像传感器是事件驱动传感器，它突破了传统图像传感器固定帧率的特性，从而可以为一些重要的工业和智能车应用提供支撑。
　　当然，我们也可以预期会出现同时结合上述两类特性的智能图像传感器，为各类人工智能应用提供硬件支持。目前，Sony是在智能图像传感器领域布局最多的巨头，同时我们也看到了一些初创公司在这个方向持续地探索新的技术和应用。
　　人工智能赋能的图像传感器
　　如前所述，图像传感器为机器视觉这一最重要的机器视觉应用提供输入信号。在传统的机器视觉芯片解决方案中，图像传感和人工智能算法的运行在不同的硬件上完成，图像传感器提供图像信号，而处理器或者AI加速芯片执行人工智能算法。然而，这样的做法在强调低功耗和能效比的移动端或IoT智能设备中，将会造成能量的浪费，并且难以处理一些需要常开（always-on）的应用场景。
　　举例来说，如果拿目前流行的手机端机器视觉解决方案来说，通常的做法是，手机SoC中的主处理器AP打开图像传感器，图像传感器将图像信号发送给SoC，并且由SoC中的处理器，或GPU，或AI加速器来跑人工智能算法，并且输出结果。在这个过程中，能效比有几个瓶颈。首先是图像传感器必须把图像传送给SoC，这期间需要使用MIPI等接口，存在额外功耗开销。其次，是SoC在整个过程必须处于唤醒状态，还通常必须运行整个操作系统，因此即使AI加速器能以很高的能效比运行算法，但是整个过程中能量消耗最大的部分可能并不是人工智能算法，而是SoC处于唤醒状态并且运行整个操作系统带来的额外功耗。
　　这样的功耗开销在手机端只需要偶尔运行机器学习的场景或许可行，但是在IoT和可穿戴设备中，尤其是需要执行常开式机器视觉算法的场合，就成为了瓶颈。
　　人工智能赋能的图像传感器就可以解决这个问题。具体来说，这样的智能图像传感器在图像传感器模组中集成了人工智能算法的运行模块，因此可以直接输出机器视觉算法的结果，而这样运行机器视觉的方法也常被称为“传感器内运算（in-sensor computing）”。通过传感器内计算，机器视觉算法的运行单位从SoC换到了图像传感器，因此在运行机器视觉算法时，SoC无需处于唤醒状态，也无需运行操作系统，而是可以处于低功耗的待机状态。另一方面，传感器内运算由于整个系统比较简单，并没有运行操作系统等额外开销，并且有为机器视觉算法量身定做的加速器芯片模组，因此能效比可以做到很高。最后，在接口方面，通常可以实现由智能图像传感器在检测到重要输出时才去以中断的方式去唤醒SoC，并且只需要传递机器视觉算法运行的结果，因此数据传输的开销也大大降低了。
　　在人工智能赋能的图像传感器中，Sony已经于去年首先发布了带有传感器内计算功能的智能图像传感器IMX500，可望使用在各类需要低功耗高性能边缘机器视觉应用的领域。除此之外，Sony还发布了相应的开发平台Aitrios，能以订阅服务的形式为用户提供用于智能图像传感器的模型开发和部署服务。