Intel FPGA 技术开放日

概要

时间：2023.11.14 全天 （ 9:00 - 16: 20）

地点：北京望京. 凯悦酒店

主题内容：分享交流了Intel FPGA 产品技术优势和落地实践方案。

会议的议程

开场致词：

        FPGA业务，是几年前intel收购而来的（Altera)，并入后属于 PSG(Programmable Solutions Group)，相信当初收购altera，是为了整合数据中心的业务，将Intel的服务端 优势扩大，但结果做得并不好。因此，PSG在明年会分拆独立运营，准备单独IPO（据说是为了更好的收回资金，重建晶元厂）。

        会上宣布，在 2024.3.1 网上会直播 新的PSG第一次公开课。

        注：从Altera并入Intel后，实际业绩一直在下滑（相比 AMD 的 Xilinx），拆开运营估计是要想扭转一下，另外，也可能认为主营业务有些拖了它的后腿。

        * 2014年 Atlera 年销售额 19.3亿 全球占比 38% 同年 Xilinx 占比 50% FPGA全球 50亿

        * 2015年 Intel 167亿美元 收购 Altera，整合数据中心业务，阻击ARM。

        * 2019年，全球占比 34%，Xilinx 占比 52% FPGA 全球 60 亿

        * 2022年，全球占比下滑至 32%，Xilinx 占比 54% 差距拉大 FPGA全球 78 亿

   市场预计，2028年 FPGA全球规模 130亿（2023年 80亿）

2023年，PSG决定今年推出15款新的FPGA，此次会议，宣布了6款新品和平台（完成11款发布）

主题演讲：赋能可编程创新：

        强调了三点：全新的产品组合，增强软件可用性，弹性供应链周期变长（这个我不关注）。

全新的产品组合：

3，5，7，9 全面的，全新的组合，涵概高，中，低端 ，所以可能（9系列面向无线RF）

英特尔® Agilex™ 5 FPGA — 第四季度推出优化的 FPGA 人工智能套件软件支持

Agilex™ 7 FPGA 使用 CXL 提高连接性能，并借助 HBM 加快内存访问速度

CXL（Compute Express Link）高速，高带宽的互联标准。使得FPGA可以有效的与CPU和其它组件协同工作，主要用在数据中心/云计算中心，推动计算和存储性能。

HBM（High Bandwith Memory ）高带宽内存技术。

Nios V Soft Processer: 在FPGA 上的软核 处理器 基于RISC-V的架构。

F2000ipu: A7 和 Intel 至强-D处理器的融合，配合IPDK，进行数据平台和存储性能进行开发。

增强软件的易用性：

重点关注：

        将 AI、C++ 转换为 RTL、RISC-V 和 Arm 工具套 件，就像添加 IP 一样简单。

        与至强® CPU 实现全栈连接。

至于供应链，不是重点，就不说了。

三大关键市场的应用

后面有专门的主题讲解，这里就略过了。

主题演讲：全新的产品组合

产品组合原则：芯片异构化，更大的存储和带宽，AI加速

看看典型芯片的大小：

Intel 7 制程 10纳米Super Fin 技术。

（并不是7纳米，而是 10 纳米，不过，也不用太在意，本来这个计算就很不标准）

对于Agilex有丰富的组合，包括3，5，7，9系列，分别对标低（低功耗，低成本），中，高场景。

对于 9 系列，会上没提，我查了一下官网，实际上主要是针对无线的，添加了RF的支持。

所以，实际上容量最大的还是 7 系列

Intel 最大的逻辑容量是 3.8M，和AMD比，算是一个量级，但小了不少。AMD最大容量是 Versal P1920 的 5.6M。

另外，3，5，7，9系列都是有SoC产品的，只不过它搭戴的都是 A 核 ，并没有 R 核 ，这和AMD是有区别的，具体原因，不是很清楚，或者与Intel的市场定位或者AE的实施方案有关？

A5 四季度推出人工智能开发套件，值得关注！

主题演讲：Quartus设计软件——简单易用

性能，UI/UE，社区支持 三个层面的支持

软件栈——对于开放式FPGA开发栈是不是有疑惑？后面再讲。

对于AI的开发套件，需要重点关注：OpenNIVO 是不是就是针对 FPGA 的重要的模型压缩/适配？

这里提到一个数字化的概念，也就是将一切可度量。把看似不可测的指标进行量化，达到持续改进的效果。

主题演讲：FPGA针对人工智能应用中的核心价值 

好了，到了重点了。人工智能！！！！

AI的挑战——低延时，安全，数据量，计算成本，新兴模型！

这个意思嘛 ，就是要引入边缘计算层

对于边缘层，可能有更多的想象空间。

插播一个广告——A5 For AI 即将推出

这个图非常重要，说明了几种AI处理场景，

当然，不一定是唯一的解决方案。

场景一：完成数据预处理和数据推理的全过程。完全可以完成一个边缘侧场景。比如一个工业相机，可以完成数据采集，预处理，图像识别，识别后的控制。

场景二：数据并不需要实时处理，是在端侧采集和简单处理后，传回电脑/CPU进行最终的分析处理。属于非实时的场景。这种没有用到ARM处理器。但是数据不能丢，需要有很好的传输通道，当然，最好做一些预处理，可以减少数据量（但又不丢失信息）。

场景三：数据并不做预处理，而是给回CPU，可能是一个多步处理的场景。

场景四：DLA IP独立完成AI工作，CPU只负责必要的调度。适用于HPC的场景。

注：对于DLA IP 需要有一定的了解，才能理解上面的场景。

这里想表达的是，AI的应用会有多种组合（并且其中一部分也是辅助AI）

进一步表达，助力降低成本，实际上是在完成整个AI工程全流程（不仅仅是AI推理阶段）

这是AI开发的全流程：个人觉得没太看懂（因为没有实际使用过）

AI建模过程——这是一个通用的过程。并不限于最终使用什么解决方案。当然，因为知道是在受限设备运行，可能会选用tiny ML。

缺失和步预——我认为是缺失的，一定会有量化，压缩的过程，因为要在FPGA上运行。模型的容量是必须要处理的。否则，在后期处理，代价很大。

适配FPGA——我理解这是EDA工具链要做的。具体要看实现的架构。如果使用的是纯PL，那就是考虑如何将算子和计算流在LUTS,DSP中实现，需要相应的IP来支撑（预置的），然后配置这个通用的IP。

OpenVINO——这个软件鹕实没有用过，我理解是不是将高级的模型，直接转换。但如果直接转换后就直接到FPGA中运行，我觉得跨度有点大。按理应该要有一些通过IP 来支持。否则，太不可控，没有调整的空间。想想太难。对于 Xilinx的VITIS AI 在这块是做了很多工作的，并且，它们还主要针对AIE这种专用AI引擎来完成（难度降低）。

这块需要实际去做项目，在项目中学习，否则不太能理解。

AI 解决方案，也关注数据分类，过滤，传输，收集等，看似与AI无关的事情，但实际上，这类应用不在少数。

下午是平行的三个分论坛，我参加了一部分，其它没有参加的，因为开放日的视频和资料已经公开，我也补看了一下，也一并列出来，供懒人查看。

嵌入式分论坛：

机器人与人工智能助力工业边缘变革

这是工业自动化的全流程——AI可能会改变某些环节，并且会造成最多的融合。

IT 在纵向（南北向），OT在横向（东西向），两者会产生融合。

下面提到的这些点，恰恰都是FPGA比较擅长的。

工业4.0重要的2项技术——机器人 & 人工智能

机器人领域的intel psg 解决方案

MPC技术优于传统的PID技术

这里比较详细的写明了工业领域用到的人工智能技术

【展示】PIB传感器融合演示

提取有价值信息或做进一步的统计分析。

【展示】工业缺陷检测实训平台

FGA 视频解决方案：

关键点：视频连接处理 + 视频处理

视频连接处理——视频信号的输入/输出，如何从一个设备传到另一个设备。处理数据传输层和物理层的事情：数据的打包，编码，解码，时钟同步（数据是要按时间排列的），信号放大。

视频处理——调整分辨率，格式，颜色，图象增强等…… 需要复杂的数学运算。

常见的，能支持8K的视频接口。USB之类的肯定是不行的了。注意：MIPI是一种全新连接方式。

注意：VVP是全新的，提供A7和5D支持的技术，专门针对8K的。

重点讲了VVP的处理细节：具体就不讲了。

现场有看到相关的展示：

【展示】编解码器（KCL-100）

0延时，视觉无损，轻压缩IP传输编解码器。

公司：广州柯维数码——专注音视频解码底层技术与实现技术的研究

【展示】天文冷冻相机

CMOS相机，处理传感器的原始数据，实时数据处理，提高曝光期的图像质量，可针对特定的观测目标或实验条件进行编程。信号同步。

【展示】（LILMON5）摄影监视

  4K高亮 1000尼特单反微单摄影机HDMI监督。

  FPGA应用点：实现H.264或H.265的视频压缩，运动检测，识别跟踪画面中移动的图像。可以实现人脸识别，处理多通道的视频流，实现多画面监控。

【展示】Intel图像处理 IP

【展示】ISP-Intel图像处理IP

【展示】DLP静脉成像算法

DLP静脉成像——高精度的安全的生物识别技术

【展示】Linux桌面

让视觉无限延伸

好了，一定会扯到元宇宙的。

有这么一个新技术，我理解就有点象祼眼3D。

这算是一个广告吧，说实话，我觉得效果一般。之前在深圳见过这么一家企业在做，效果不好。现场好象也有展示：

【展示】祼眼3D显示屏技术

        使用FPGA完成大量的数据运算，光线，位置，不同的算法（可能变更），低延迟（可以获得更好的观看体验）。能效比：相比CPU和GPU，FPGA在运算时，能耗比更低，更加节能，并且可以维持更长的时间。当然，FPGA还需要和GPU进行协同运算，达到更好的效果。

网络与云分论坛

蓬勃兴起的网络转型

RDU 5G一体化基站解决方案

RU：接收/发送无线电波，与RF相关        

DU：信号解调，编码，解码功R能，处理和准备数据。

【展示】RDU 5G 一体化基站解决方案

FPGA助力数据中心演进

这是Intel的强项，在持续发展中…… （2015 年，MS 开始 智能网卡，AI加速）

加速包括两方面：

        一方面：对于数据中心基础设施加速（计算，存储，网络资源）（用户不可见）

        另一方面：应用加速（AI，计算，大数据）

数据中心应用的几个场景

1：计算优化型实例 ——FPGA实现 高效并行运算，网络/存储虚拟化（网络存储，网络防火墙，负载均衡等功能，将网络/安全/存储进行处理） （IPU，DPU，SmartNCard）

2：存储优化——把存储盘进行虚拟化，冗余/容错管理，进行一些运算（加密/压缩），把存储挂在FPGA上来进行管理（数据传输过程中，可以预处理数据）

3：内存优化——这个比较新一点。和硬盘一样，将内存解藕。服务器中的内存容量不可弹性。FPGA进行内存管理（内存扩展，内存池，通过CXL与CPU相连），内存池化（加一个内存盒，内存可动态分配和分收，与存储类似的处理），（增加内存节点，或者GPU的加速节点）。

4：存储阵列，内存池——实际上是把存储和内存虚拟化。变成可弹性使用。

方法一：存储服务器来处理（CPU和网卡）。方法二：FPGA直接挂盘（完成控制和网络传输），没有CPU。

5：存储控制——存储池在异地，需要做控制。冗余运算，分配等处理。

6：AI 应用——完成机器学习，搜索，数据分析等专用的计算。需要IPU，推理，训练（训练大多还是在GPU中完成）。对于GPU的集群管理，可以使用FPGA（服务器与服务器之间的联系）。

实际上，对于数据中心的增强，一直是intel的优势 ，因为它本身还有CPU的优势 ，它可以把CPU和FPGA之间的数据交换和指令交换做得更加极致。

主打低延时和高吞吐量，适用于金融的实时交易领域。

进行实时的机器学习的推理运算。

对内存进行池化，最大化利用，使用CXL优化速度。

基于FPGA的DPU智能网卡解决方案

这一节更象是广告，主要是介绍星云智联这家公司的产品。

【展示】Net ACC- RegX V2.0 加速卡

功能：用在防火墙方案，DFM5000高性能通用网络安全平台。国产2U防火墙硬件平台

原理：采用复合存储及并行和流水技术，把预处理和状态机设计成二级存储模型，充分利用FPGA并行优势，对正则表达式的运算进行加速，利用FPGA低延迟的特点。

  使用 CPU- FPGA异构设计 Intel凌动处理器 和 Intel Stratix FPGA

性能指标：此加速卡处理性能高达100Gbps。意味着可以满足数据中心的安全防火墙的数据吞吐量。

【展示】10G，100G Smart NIC 卡（锐文科技）

支持P4 编程，基于Intel Agilex 推出 200G/400G 智能网卡。虚拟化OvS数据平台卸载。

公司：锐文科技——智能网卡及智能网卡解决方案

【演示】云脉芯联高性能智能网卡/DPU

【展示】高清IPG网关

这应该是应用到视频会议和其它视频数据高速传输和转换的场景。

IPG网关——协议转换，路由，转发，防火墙安全策略，连接管理……

【展示】800GE IP 演示

使用AI实现5G RAN CSI 压缩算法

提供端 到端 的工作流—— AI 数据准备，AI建模，仿真，测试，集成/部署

AI套件：

构建——使用已有网络。TensorFlow,Pytorch。

优化——使用OPENVINO进行优化，通用框架，可以异构部署。

部署——可以要求资源限制，生成IP，使用 Quartus进行集成。（DSP Builder也是可以进行预处理，与AI环境进行集成）（也可以部署到CPU上）

可以定制IP（灵活）。

可支持多款FPGA的系列。

开放式框架——支持深度学习框，可进行优化，提供RTL支持。

训练—— 解码， 信道模型，CSI编码 闭环支持。

除了OpenVINO，还可以使用 MathWorks 进行生成和部署。

Mathwork的流程：

提供了IP核（实现了一些基本功能）

基于IP进行简单几行代码的编程（如下）

软件与解决方案分论坛

OFS 与 OneAPI 助力加速FPGA应用开发

OFS是什么？是Intel开源的FPGA开发平台。github地址：https://github.com/ofs

支持的硬件除了Intel的芯片，还有一些。并且支持多家的开发板。

硬件开发——RTL编写，仿真，

软件开发——驱动开发。

软硬件协同开发——

这里注意，对OSV操作系统原生支持，指的是intel将驱动的支持直接内置入了常见的操作系统 。用户不需要做相应的驱动开发。

模块化——DDR，以太网，PCIe,HPS，这些都是可选的，可组合的模块。可以构建自已的子系统。不需要对驱动做什么改动。API接口也不需要改动。

从一个器件移到另一个器件，没有什么需要做的工作。

硬件——AFU（应用逻辑），FIM（接口管理，网表文件，时钟管理，接口管理），BMC（远程加载），ASP（在OFS框架下使用OneAPI）

OPAE库——(Open Programmable Acceleration Engine) 库提供了一组抽象的高级API，使得开发者可以更容易地在Intel FPGA上实现和部署加速工作负载，特别是在数据中心环境中

OFS提供了UVM的支持。

第一步：选择硬件平台/器件（根据需求）

第二步：硬件开发

可以定制 FIM——量身定制。

AFU——PR过程

测试程序——主机测试

oneAPI——可以使能相应的工具套件。

使用标准的AIX接口。

第三步：软件开发

内核 驱动程序——OS支持，将驱动直接内置。

用户工具——显示FPGA信息，还可以远程更新

用户空间库——API 和库。

第四步：验证和测试

UVM验证——UVM验证测试工具 （仿真 VCS）

AFU模拟环境——软硬件联调

在线调试工具——Signal Tap等……

行业变化——硬件加速器需求越来越多

这是OFS目前的生态——板卡，工作负载（FAAS，数据管理，金融科技……）

1：CPU，GPU，FPGA工具链打通。

2：使用C++ 开发。

3：支持在线调试。

提供一键加速（进行性能调优，这么神奇！）

可以在不同器件间进行切换。

两条开发路径：

一：OFS 参考平台。N6000，Intel推荐

二：三方板卡

OFS：RTL   OneAPI: C++  需要选择合适的路径。

FIM使用——多个子系统 可以配置/组合

FPGA为系统保驾护航

主要讲信息安全，数据安全。如何对数据进行保护，对抗逆向工程。

实际上Intel提供了很多安全相关的功能，并没有多少人使用，这里想做个推广。

FPGA与数据的关联：chiplet的小芯片架构，导致 内置的IP 的逻辑量越来越大。

SDM——硬核来管理配置，保证安全，相当于一个MCU

PUF——物理不可克隆，实际上是通过物理特性不同来生成唯一标识。

高级BKP——黑钥分配，一种密钥分发机制。具体不清楚。

MACsecIP ——一种新的网络安全协议。

三类防护：

硬件——

软件——主要是添加SDM。签名，加密，身份验证。对Bit流进行签名和验证。

应用——通用的加密服务

SDM：3个MCU做三重表决验证。（安全和配置中心）

云端 ——偏应用的保护（数据中心，更在意软件的防护）

网络——数据传输

边缘数据——更靠近传感器，物联网设备。需要更多的硬件的防护。

从应用的角度，主要的处理方案是：签名 + 身份验证！！！！

随着技术的发展，对安全的影响——AI，量子计算……

加速卡与OFS解决方案

这又是一个广告（菲数科技）——异构加速应用方案供应商（FPGA的解决方案）

专注于OpenCL，2019年开始试用OFS，

为intel打广告（提供了更多的API，和板卡管理，驱动更完善）

提供了更多的模块（封装了IP，提供了更多的管理模块）

广告开始：菲数提供的板卡。支持openCL的板卡

可替换相应的Intel停产的板卡

适合于通用应用。 

这是定制化的方案（如：金融业的需求，低延时）

添加了开源算法

最新版卡，基于最新Agilex系列

DDR是异构的。

支持PCIe5.0，CXL

【展示】Wiswave LSA 1.0

本地存储加速解决方案——PCIe4.0X16，虑拟盘，云原生加密。

芯潮流——珠海公司，专注于高速 SerDes IP 研发，授权及芯片定制化服务，面向数据中心，网络，汽车电子和特联网。

【展示】菲数科技中高端FPGA加速卡

Agilex 5 SOM卡

这实际上是一个大广告，是一个新产品。（骏荣科技）

5 属于中端产品，模块产品主要是使用5系列。

E系列特点——功耗优化。arm用到了A76，支持MIPI接口。

特点：功耗低，性能提升。接口灵活，A55,A76ARM, INTEL 7 制程

使用656K逻辑容量的B系列，封装 32 * 32 

PCIe的卡 

TypeB——面向中高端 。

A——工业，机器人应用         B——光口提升，图像处理

对应intel的芯片配置

支持TSN网络。

X86+FPGA平台实现传感器融合

工业底版，有X86的片子，有PCIe接口。客户可以自定义，作为工控机的产品，方便定制。

4个LVDS摄像头（可以长线），还有MIPI，有以太网（4组），…… 

CPU Card在右面，有大量的接口。

适合工业使用。

两者结合，FPGA captue data，传给CPU处理。如下是一个感知的应用，然后还可以再控制。

一个小型的中控系统，可以认为是边缘，也可以认为是端。

机器人，工业互联网，机器视觉（AI），控制

感知（取代或增强激光雷达），可以了解细节（通过照片），需要强时间同步保证激光雷达数据和照片数据关联（可以使用）。变成超级传感器，需要处理最好的相位差（10us以下，符合自动驾驶的需求）。

数据上行到PC

FPGA工作——UDP解包（激光雷达数据），控制像机进行拍照（只能由FPGA来指令，10us延时），做到强时间同步。

传送带时间戳的数据，软件进行隔离的处理。

这是一个演示的例子。

差不多大会的内容就这么多了，还是有一定参考价值，当然，我这个整理很乱，也只能做一下参考。

总的来说，国内的FPGA还处于很初级的阶段，也就是纯硬件开发环节，整体水平可能差了5-10年，追赶需要多久，不好说。有很多东西，需要积累，非朝夕之功。但有些错误的路线，我们确实也可以避免，可能弯道超车。通过对 Intel 和 AMD 产品的详细/认真了解。就拿AI来说，Xilinx的 VItis AI 看似红红火火，但其实没啥应用，可以说业绩惨淡，这背后一定是有原因的，可能是技术不成熟，可能是不接地气（和应用没有深入集成），国内的产品在涉足这一块时，应该要认真思考一下，这一定是有机会的。