基于FPGA的PCIE设计

PCIE基本原理简单概述

  • 项目简述

  • PCIE简介

  • Root Port简要介绍

  • PCIE协议简述

  • PCIE的地址空间

  • PCIE TLP包的数据类型

  • PCIE的路由类型

  • PCIE点对点的传输框图

  • PCIE的中断类型

  • PCIE的理论带宽

  • TLP包格式简述

  • Memory Write TLP Header格式

  • Memory Read TLP Header格式

  • Completions TLPs格式

  • Message/Message with Data TLP格式

  • PCIE IP核配置需要的注意点

  • 参考文献

  • 总结

项目简述

PCIE技术在FPGA中的应用已经非常普遍,也是同学们学习的一个难点。我们会在本篇博客中讲解PCIE的理论知识,供大家了解PCIE在下一篇博客中讲解PCIE在VIVADO中的应用,这里使用简单的方式,即XDMA。或许直接使用XDMA便可以不用了解PCIE的基础知识,但是为了知识的完整性,我们还是先在这篇博客中简要介绍PCIE。

PCIE简介

PCI Express 是用来互联计算机和外围设备的高速接口总线,是一种能够应用于移动设备,台式电脑,工作站,服务器,嵌入式计算机和通信平台等。

PCIe的两个设备之间可以实现点对点的通信串行通信,如果是多台设备需要通过交换器(Switch)进行互联,这样一个系统可以连接多个设备。

PCIe总线作为处理器系统的局部总线,其作用与PCI总线类似,主要目的是为了连接处理器系统中的外部设备,当然PCIe总线也可以连接其他处理器系统。在不同的处理器系统中, PCIe体系结构的实现方法略有不同。但是在大多数处理器系统中,都使用了RC、 Switch和PCIe-to-PCI桥这些基本模块连接PCIe和PCI设备。在PCIe总线中,基于PCIe总线的设备,也被称为EP(Endpoint)。

计算机通信平台中 , PCI Express体系结构代表作高性能的外围组件互联方法

1、 由PCI 和PCI-X 体系结构演变而来architectures

2、 PCI Express 以一种串行的点对点的方式互联两个设备

3、 信息传输基于数据包协议实现

4、 PCI Express 互联中可实现单通道或多通道的数据传输

5、 PCI Express 协议目前已经发布4个版本

基于FPGA的PCIE设计_第1张图片

PCIE的特性如下:

1、点对点传输

2、 串行总线意味着使用更少的引脚

3、 通道数可选择: x1, x2, x4, x8, x12, x16, x32

4、 全双工通信

5、 2.5Gbps / 5.0Gbps

6、 基于数据包的传输协议

计算机体系结构中PCIe的应用架构如下:

基于FPGA的PCIE设计_第2张图片

从上面我们可以看出PCIE应用架构主要包括四部分:

1、FSB总线CPU交互总线:FSB总线(Front Side Bus)是CPU和DDR内存交互的总线

2、Root Complex:RC (Root complex)是PCIe结构体系中的一个重要的结构部件, RC的提出跟X86系统架构密切相关,实际上只有在x86架构中才有标准的RC规范定义,而在其他系统中并不存在标准定义的RC的全部功能。例如X86的架构中包含DDR控制器和FSB to PCIe的桥, 而ZynqSoc芯片架构中包含AXI to PCIe的桥和DDR控制器,PowerPc只包含一个PCIe总线控制器。这里需要注意Root complex包括root port。

3、PCIe Switch:Switch PCIe链路通过Switch进行链路扩展

4、PCIe End point:即常见的PCIE终端设备,FPGA最常用的也是End point。

FPGA在PCIE中可以成为Root Complex、Switch和 End point:

基于FPGA的PCIE设计_第3张图片

PCIe总线层次结构主要包括三层主要是事务层、数据链路层、物理层。

1、事务层:PCIe总线层次结构的最高层,该层次将接收PCIe设备核心层的数据请求,并将其转换为PCIe总线事务, PCIe总线使用的这些总线事务在TLP头中定义。PCIe总线使用的数据报文首先在事务层中形成, 这个数据报文也被称之为事务层数据报

文,即TLP。(解释:主要意思也就是事务层将数据封装成TLP包发给下层使用

2、数据连路层:TLP在经过数据链路层时被加上Sequence Number前缀和CRC后缀,然后发向物理层。

3、物理层:PCIe的电气特性、电路等。在PCIe链路可以正常工作之前,需要对PCIe链路进行链路训练,在这个过程中,就会用。

LTSSM状态机。 LTSSM全称是Link Training and Status State Machine。这个状态机在PCIe总线的物理层之中。状态转移图如下:

基于FPGA的PCIE设计_第4张图片

Detect状态是PCIe链路训练的开端。此外, Detect,顾名思义,需要实现检测工作。因为在这个状态时,发送端TX需要检测接收端RX是否存在且可以正常工作,如果检测正常,才能进入其他状态。判断RX是否存在的逻辑比较简单,就是通过一个“Detect logic”电路比较RC时间常数的大小。

基于FPGA的PCIE设计_第5张图片

从上图可以发现PCIe终端连接上,时间常数会变大。多以也就以此决定Detect状态是否进入下一个状态。

Polling 状态的目的是"对暗号",实现无障碍沟通。进入这个状态后, TX和RX之间通过发送TS1、 TS2 OS序列来确定Bit Lock, Symbol Lock以及解决Lane极性反转的问题。

Bit Lock: 在Bit传输过程中, RX PLL锁定TX Clock频率,这个过程称为RX实现"Bit Lock。(解释:也就是位同步

Symbol Lock: RX端串并转化器知道如何区别一个有效的10-bit Symbol,这个过程称为“Symbol Lock”. 这里用到的是COM控制符。(解释:也就是帧同步)

基于FPGA的PCIE设计_第6张图片

常见的视频方案如下:

基于FPGA的PCIE设计_第7张图片

FPGA中PCIE的实现:

1、7系列FPGA支持实现Gen1与Gen2的PCIE协议

2、Virtex-7 FPGA支持实现Gen3的PCIE协议

3、UltraScale与UltraScale+支持Gen3的PCIE协议

4、支持x1,x2,x4,x8,x16lanes的通路

5、PCIE的硬核使用了GTP接口用来串行传输数据

PCIE的速度传输速度如下:

基于FPGA的PCIE设计_第8张图片

FPGA中PCIE硬核的介绍,整体框图如下:

基于FPGA的PCIE设计_第9张图片

1、该硬核PCIE支持Endpoint和Root Port

2、支持AXI4-Stream用户接口:

x1, x2, x4, 和x8 lanes; 64-bit 和128-bit位宽

Root Port简要介绍

Xilinx FPGAs支持硬核root port,但是没有硬核root complex。root complex包括一个或多个root port、内存,IO子系统等等。root port只是提供给switch或者endpoint连接的端口。二者之间的关系如下:

基于FPGA的PCIE设计_第10张图片

root port经常使用在简单的设计中,比如与单个的endpoint相连。root complex则有配套的软件环境与复杂的设计。

FPGA构建root port的常见案例如下:

基于FPGA的PCIE设计_第11张图片

FPGA构建root complex的常见案例如下:

基于FPGA的PCIE设计_第12张图片

root port与endpoint也有许多不同点。root port使用Type 1配置头空间。endpoint使用Type 0配置头空间。两者主要的区别如下:

基于FPGA的PCIE设计_第13张图片

PCIE协议简述

PCIE的地址空间

PCI Express实现了四种地址空间:

1、 PCIe配置空间(多达4KB)

– 必须有,每个PCI设备都有其映射到内存上的配置空间

– 前256字节与PCI兼容

2、 PCIe内存映射空间

– 可选的,根据设备功能选择是否需要映射内存空间

3、 PCIe IO映射空间

– 可选的

4、PCIe消息空间

其中PCIe消息空间主要用于中断的使用,内存映射空间用于大量数据的传输,IO映射空间用于少量数据的传输。

基于FPGA的PCIE设计_第14张图片

Type0型:

– 用于配置端点设备

– 由根复合体发起,配置预定义的PCI系统端点设备头部区域

– 设备号/ID号

– BAR

Type1型

– 用于配置Switches/Bridges/end point

PCIE TLP包的数据类型

上面已经讲解PCIE分别包括事务层、数据链路层、物理层,每一层对TLP包的作用如下:

基于FPGA的PCIE设计_第15张图片

这里的3DW与4DW其实是与地址是32位还是64位挂钩。

具体TLP包在每层协议的情况如下:

基于FPGA的PCIE设计_第16张图片

PCIE中TLP包的类型如下:

基于FPGA的PCIE设计_第17张图片

PCIE的路由类型

PCIE每一种请求或者完成报文头都会有类型标注,每个数据包的路由都基于以下三种方式:

1、 地址路由

2、 ID 路由

3、 隐含式路由

端点的地址路由

端点设备检查TLP包中的地址与BAR中所有地址进行比较,如果不属于本端点范围,则拒绝。

端点的ID路由

端点设备检查TLP包里的 总线 ID 和 设备 ID 功能ID是否与本端点一致,这些信息在Type0的配置信息里可以捕获。

不同类型的TLP包与路由类型的对应关系如下:

基于FPGA的PCIE设计_第18张图片

PCIE点对点的传输框图

1、配置IO传输

基于FPGA的PCIE设计_第19张图片

2、DMA传输

基于FPGA的PCIE设计_第20张图片

3、end point与end piont之间的传输

基于FPGA的PCIE设计_第21张图片

PCIE的中断类型

PCIE的中断类型主要有两种:

1、MSI:消息中断

2、INTx:引脚中断

真正的PCIe设备:必须使用MSI发送中断,可选择性地支持INTx消息。

PCI设备:必须支持INTx消息

基于FPGA的PCIE设计_第22张图片

PCIE的理论带宽

Gen2单向链路速率5Gbps

1、 使用8B/10B编码,产生20%的数据开销

2、 理论带宽=链路速率 80% 通道数

3、 对于单通道:

– Gen1: 2.5Gbps0.8=250MBps

– Gen2: 5Gbps0.8=500MBps

– Gen3: 8Gbps*1=1GBps

4、 更多的开销是由协议导致

– 数据头

– 校验位

– 链路训练

– 错误通信

TLP包格式简述

上面我们已经讲解了TLP包常见的类型,那么这部分内容讲解每种TLP包的具体格式。

一个TLP包的格式如下:

基于FPGA的PCIE设计_第23张图片

每位的详细信息如下:

基于FPGA的PCIE设计_第24张图片

接下来对上面的每一位进行粗略的介绍。

1、Fmt :用来指明TLP包是3DW还是4DW

2、Type :用来确定TLP包的类型,

Memory read or write

Completion packet

Configuration packet

Message

3、Traffic Class:除了MemoryRead/Write TLPs必须是零,一般情况是默认为0

4、Attr :包含有关处理事务时核心行为的特定信息

5、TD :当该位位1是,TLP包中包括CRC检验,为零时不包括CRC校验

6、EP :指示此TLP包含错误且应忽略

7、AT :地址类型,一般默认为零即可。

Default/Untranslated (00)

Translation Request (10)

Translated (11)

8、Length Field :描述TLP包种有效数据的长度,注意单位时DW,最大长度时1024个DW长度

9、First/Last Byte Enables:四位中的每一位分别对应TLP包中的第一个DW和最后一个DW中的每个字节是否有效。一个DW正好也是4个字节。

Memory Write TLP Header格式

Memory Write TLP Header格式如下:

3DW的TLP包头:

基于FPGA的PCIE设计_第25张图片

4DW的TLP包头:

基于FPGA的PCIE设计_第26张图片

1、Requester ID:包括bus, device, and function numbers这些在ID路由的时候时必备信息

2、Tag :由用户定义,具体的内容与作用,用户进行商议。

3、Address:byte address,最低的两位总是零对齐到DWord寻址。

Memory Read TLP Header格式

Memory Read TLP Header格式如下:

3DW的TLP包头:

基于FPGA的PCIE设计_第27张图片

4DW的TLP包头:

基于FPGA的PCIE设计_第28张图片

1、Tag – 这里得Tag主要用于返回得CplDs包得重组,因为饭回来得完成包不一定是按照顺序返回的。

这里没有什么新的位介绍,在前面我们已经介绍完毕。

Memory Read 是 Non‐Posted:

Non‐Posted的请求总是生成一个完成包来回应。除非出现错误,否则Posted的请求永远不会生成完成包。一般的MRd会产生一个带有数据包的完成。一个读请求可以生成一个或多个完成包。

Completions TLPs格式

基于FPGA的PCIE设计_第29张图片

1、Tag :这里需要注意Tag标志主要是为了接收端按照发送的顺序组包

2、Lower Address : 指示第一个启用的数据字节的字节地址的低位,较低的地址和长度不能跨越一个RCB

RCB: Read Completion Boundary

3、Byte count :表示在满足请求之前剩余的字节数

4、Completion status :只是完成包的状态:

Successful completion (“000”)

Unsupported request (“001”)

Configuration request retry status (“010”)

Completer abort (“100”)

5、Requester ID : 请求CplD的设备的ID(bus, device, function)

6、Completer ID : 正在构建CplD的设备的ID(bus, device, function)

返回的时候必须是RCB的整数倍。而且第一个要与RCB对齐,且不能超过MPS,这里给出一个官方的示例:

示例1:

基于FPGA的PCIE设计_第30张图片

示例2:

题目:

基于FPGA的PCIE设计_第31张图片

解答:

基于FPGA的PCIE设计_第32张图片

基于FPGA的PCIE设计_第33张图片
基于FPGA的PCIE设计_第34张图片

Message/Message with Data TLP格式

基于FPGA的PCIE设计_第35张图片

因为一般用不到我们进行手动组信息包,所以这里我们也就不详细介绍。

PCIE IP核配置需要的注意点

这里简单介绍一下PCIE核配置过程中的注意点,这次我们先不使用XDMA IP,使用下面的PCIE IP:

基于FPGA的PCIE设计_第36张图片

为了尽可能多的了解PCIE IP中的细节,我们选择高级IP定制:

基于FPGA的PCIE设计_第37张图片

1、选择高级IP定制,供用户选择的功能增多

2、这里可以选择这个PCIE IP核是当作endpoint还是root port来使用

3、这是指明这个PCIE IP再硬件中的位置编号

4、指明PCIE的lanes数目

5、指明一条lanes的最大通信速度

6、将PCIE转换成AXI4协议的时钟

7、将PCIE转换成AXI4协议的数据位宽

8、PCIE IP的参考频率

基于FPGA的PCIE设计_第38张图片

1、厂商ID,专属于Xilinx的PCIE的ID,是固定的。

2、设备ID,与厂商ID一起指明数据的类型,被使用选择PCIE上位机的软件驱动。

3、版本ID,指明使用该PCIE IP进行设置的版本

4、子厂商ID,用来更近一步的区分Xilinx旗下的厂商

5、子系统ID,用来识别板卡的的ID

上面的值一般默认即可,不需要做太多的处理

基于FPGA的PCIE设计_第39张图片

1、选择使能Bar空间。这里需要注意的是,root port对于endpoint的访问只能访问bar空间,而endpoint对root port的读写操作可以访问整个内存。

2、选择Bar的地址是32位还是64位,空间大小一般选择1K即可,只是用来传输一些命令。其值的大小与空间大小有关,具体的关系这里不清楚。

上面整个设置,再PCIE的头配置空间中均有体现:

基于FPGA的PCIE设计_第40张图片

基于FPGA的PCIE设计_第41张图片

1、这里可以加上buffer进行优化,其余的默认即可。

基于FPGA的PCIE设计_第42张图片

1、这里我们一般不选择共享逻辑

基于FPGA的PCIE设计_第43张图片

1、引脚中断,传统意义下的中断,在PCIE中基本上不再使用

2、消息中断,在PCIE中较为常用

基于FPGA的PCIE设计_第44张图片

你可能感兴趣的:(模拟电路,fpga开发)