基于FPGA的softmax函数优化及实现

文章目录

    • 前言
    • 优化方案
    • 测试数据产生及Matlab结果
    • 处理流程
    • 工程说明
    • 功耗与面积
    • 标准softmax函数功耗与面积
    • 总结

前言

FPGA异构计算是一个趋势,在AI推理、深度学习中广泛使用FPGA进行加速,减小系统延迟。而AI推理中有一个组件被广泛使用,各种网络模型中都有其身影,那就是激活函数。

激活函数中又分很多种,其中softmax是使用最多的一种,但由于其是非线性函数,而FPGA不擅长处理非线性函数,所以如何用更少的资源达到类似的效果,进行激活函数的优化就至关重要。

本文即有标准的基于FPGA的softmax函数实现过程,也有基于FPGA的softmax函数优化实现过程,且给出了两者的资源消耗情况对比。

优化方案

用2代替自然对数e
基于FPGA的softmax函数优化及实现_第1张图片
Softmax函数的定义(以第i个节点输出为例):

你可能感兴趣的:(FPGA进阶,Softmax,Softmax优化,深度学习,FPGA激活函数实现)