CNA, FCoE, TOE, RDMA, iWARP, iSCSI等概念及 Chelsio T5 产品介绍

鉴于研究所的需求，最近开始研究Chelsio T5（终结者5），本篇博文对相关技术的基础概念做了罗列，并给了一些扩展学习链接。后续自己将针对RDMA技术做进一步学习和研究！

核心基础概念

1. FCoE：以太网光纤通道 (Fibre Channel Over Ethernet)
   
   • 它是一个存储网络协议，允许在以太网上发送光纤通道帧， 且IP通信和光纤通道通信使用相同的以太网端口。
2. HBA：host bus adapter，主机总线适配器
   
   • 它是连接主机计算机到网络/存储设备的可插拔式卡，支持多种存储网络协议，HBA通常是扩展卡，如PCI Express卡，它插入主机计算机的总线传送iSCSI或FC协议。
3. OEM： 原始设备制造商（original equipment manufacturer）
4. CNA：Converged network adapter，融合网路适配器，也称C-NIC
   
   • 作为计算机输入/输出设备，其融合了HBA和网络适配器的功能。简言之，通过CNA可同时访问SAN（存储区域网络）和传统的计算机网络。
   • 如单一万兆以太网适配器端口上同时运行TCP/IP，iSCSI和光纤通道以太网数据流a
     
5. TOE：TCP Offlod Engine，TCP负荷减轻引擎，也称TCP卸载引擎。
   
   • TOE一般由软硬件构成，将传统的TCP/延伸，把网络数流量的处理工作全部转到网卡上的集成硬件中进行，服务器只承担TCP/IP控制信息的处理决策任务
     
6. ASIC：特定用途集成电路（Application Specific Integrated Circuit）

7. InfiniBand：InfiniBand架构是一种支持多并发链接的”转换线缆”技术，是一种长缆线的连接方式，具有高速、低延迟的传输特性。
   

   • 主要是用于在服务器集群，系统之间的互联。
   • 发展
     

   需要说明的是，即使在系统之间的互联，InfiniBand也还面临着竞争对手，这是因为自英特尔、微软退出IBTA之后，IBM、惠普也在不久后退出，并在第二年提出RDMA(Remote Direct Memory Access，远程直接内存存取)技术，期望用10 Gbps Ethernet搭配TOE(TCP/IP Offload Engine，TCP/IP负荷卸载引擎)的硬件加速设计，以更标准、低廉的方式与InfiniBand进行竞争。此外，由Broadcom、Chelsio、惠普、NetApp和微软等厂商推动的iWarp，一种用于远程直接内存访问、远程直接数据放置的保护协议，它淘汰了两端的网卡，也是一种标准的协议。另外，英特尔的I/O加速技术也与InfiniBand具有一定的竞争关系。

8. RDMA: Remote Direct Memory Access，远程直接内存存取

   • RDMA原理
9. iWARP: Internet Wide Area RDMA Protocol 一种用于远程直接内存访问、远程直接数据放置的保护协议，它淘汰了两端的网卡，也是一种标准的协议。
   
   • 一种通过以太网做RDMA的解决方案，其能够试下同Infiniband同样的RDMA特性
10. Cut-though：直通转发技术 (Cut-through)又叫快速转发。
11. SCSI：Small Computer System Interface，小型计算机系统接口
    
    • 一种用于计算机和智能设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准。
    • 是一种智能的通用接口标准。
      
12. iSCSI：Internet 小型计算机系统接口 （iSCSI：Internet Small Computer System Interface）
    
    • iSCSI技术是一种新储存技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结合，使服务器可与使用IP网络的储存装置互相交换数据
    • 是一种基于 TCP/IP的协议，用来建立和管理 IP 存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。
13. SMB：Server Message Block 服务信息块，又称Common Internet File System（CIFS）A
    
    • 由微软、英特尔开发的一种软件程序级的网络传输协议，主要用来使得一个网络上的机器共享计算机文件、打印机、串行端口和通讯等资源。它也提供认证的行程间通讯机能。
    • SMB 是在会话层（session layer）和表示层（presentation layer）以及小部分应用层（application layer）的协议。SMB使用了NetBIOS的应用程序接口
    • 它主要用在装有Microsoft Windows的机器上，在这样的机器上被称为Microsoft Windows Network。
14. RoCE：RDMA over Converged Ethernet

15. iSER：iSCSI Extensions for RDMA

    • 对iSCSI协议进行了RDMA扩展的计算机网络协议。
    • 支持RDMA的包括：基于TCP的RDMA服务（iWARP)，不基于TCP的RoCE协议，以及InfiniBand技术。
    • iSER允许直接在SCSI计算机内存缓冲区中进行数据的传输，无需中间层的数据拷贝和过多的CPU干预。
    • 读命令的执行
      
    • 写命令的执行
      

16. SR‐IOV：single‐root I/O virtualization；PF：physical function；VFs ： multiple virtual functions ；VI Virtual Interfaces

Chelsio产品

TCP Offload at 40Gbps

• 原文链接：TCP Offload at 40Gbps
• TOE技术特点。
  This opens the way for very powerful extensions to pure protocol offload, including:
  
  1. Direct Data Placement (DDP), which addresses the memory subsystem bottleneck problem on receive
  2. Direct Data Sourcing (DDS), which addresses the memory subsystem bottleneck problem on send
  3. Application layer data integrity check (CRC) offload, typically used in data critical applications, which are not satisfied with the relatively weak Internet checksum protection(e.g. iSCSI header and payload digests)
  4. Reliable remote direct memory to memory access with RDMA
  5. Further application layer offload, such as application layer payload recovery security protocol offload
  6. Per connection TCP level traffic management and quality of service

Terminator 5 ASICA（终结者T5）

1. T5 is a highly integrated, hyper- virtualized 10/40GbE controller built around a programmable
   protocol-processing engine, with full offload of a complete Unified Wire solution comprising
   NIC, TOE, iWARP RDMA, ISCSI, FCoE and NAT support.

2. T5 ASIC 体现了Chelsio公司的，第五代TOE设计技术，第四代iSCSI设计技术，第三代iWARP RDMA实现技术

3. T5-Based Unified Adapter
   

4. T5 Capability Overview
   

5. Storage Value Propositon
   

6. High Performance RDMA

   • 1.5 µsec latency, line rate bandwidth
   • iWARP support on Linux OFED
   • Network Direct support
   • Socket user\space I/O (TCP and UDP, raw Ethernet)
   • Transport for Microsoft SMB\Direct (SMB 3.0)

参考及扩展阅读

1. 融合网络适配器(CNA)：网络整合之王
2. SAN架构、FC与FCoE
3. FCoE基本原理
4. 关于TOE技术的发展及概况的研究–2005年
5. TOE-Technical-Briefi:TCP Offload at 40Gbps
6. Chelsio 白皮书系列
7. RDMA原理