关于以太网PAUSE的一点研究

在学习自动协商时，发现有以太网PAUSE帧这个东西，很网上资料很少，有讲到的也是很简略，似乎这是一个神秘的不想让人知道的东西。这里将自己对PAUSE帧的一些研究，对于太术语的方面，直接参考网上资料，不在这里提及。

疑惑

在使用ethtool查看网卡信息中，有一个比较疑惑的地方，它就是“Advertised pause frame use:”，有的是"No"，有的是“ Symmetric”，不同芯片平台信息不同，在ARM上，一般是No，而在x86上，一般是Symmetric，以此信息搜索，网络资料少得可怜，甚至说没有，没法，只能跟踪代码。

下面就是ethtool的一个比较经典的输出：

root@latelee:~# ethtool eth0
Settings for eth0:
        Supported ports: [ TP AUI BNC MII FIBRE ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised pause frame use: Symmetric Receive-only
        Advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: MII
        PHYAD: 0
        Transceiver: external
        Auto-negotiation: on
        Current message level: 0x00000000 (0)
                              
        Link detected: yes

可以看到，这回变成“Symmetric Receive-only”了。

首先找到ethtool源码，以前写有文章讲过，但那时使用的版本旧，我担心版本的问题，于是找到新的版本的官网：https://www.kernel.org/pub/software/network/ethtool/，网址是Linux内核官网上的。最新的版本是3.18。我对比旧的和新的版本，发现在打印“Advertised pause frame use:”所用的代码是相同的。如下：

     fprintf(stdout, "     %s pause frame use: ", prefix);
     if (mask & ADVERTISED_Pause) {
          fprintf(stdout, "Symmetric");
          if (mask & ADVERTISED_Asym_Pause)
               fprintf(stdout, " Receive-only");
          fprintf(stdout, "\n");
     } else {
          if (mask & ADVERTISED_Asym_Pause)
               fprintf(stdout, "Transmit-only\n");
          else
               fprintf(stdout, "No\n");
     }

其中mask是ethtool_cmd结构体的advertising成员，ADVERTISED_Pause和ADVERTISED_Asym_Pause定义如下：

#define ADVERTISED_Pause		(1 << 13)
#define ADVERTISED_Asym_Pause		(1 << 14)

可以得到如下结论：

ADVERTISED_Pause	ADVERTISED_Asym_Pause	结果
0	0	No
0	1	Symmetric Transmit-only
1	0	Symmetric
1	1	Symmetric Receive-only

至于ethtool为什么会如此打印，这方面资料也少，幸好，在无意中，看到802.3标志有关于PAUSE的描述。但还是有人对标准文档的描述有疑问的：

后来又查了下，发现关于此解释有新版本了，见附录。

标准

在跟踪内核代码之前，先了解802.3标准有关描述。在标准中，关于PAUSE主要有PAUSE和ASM_DIR两个标志，分别对应于PS1和PS2。如下图所示：

右侧说的4.7和4.8似乎说的是PHY的第4个寄存器，在看PHY芯片时，发现对应不上来，但寄存器4的确有相关的位说明，因此认为上图所说的和寄存器是对应的关系。下面是Intel一款PHY芯片手册的截图：

描述如下：

从描述上看到，PAUSE和ASM_DIR的不同取值，将影响PAUSE的表现。在这里，当PAUSE和ASM_DIR分别取0和1时，表示从本地设备到对端的异步暂停，亦即“Transmit-only”，至于最后一项，ethtool打印的和标准文档所说的有点出入，我暂时还没有研究透。在某些角度上说，好像是可以得到结论：PAUSE、ASM_DIR和ethtool（内核定义）使用的ADVERTISED_Pause和ADVERTISED_Asym_Pause是一一对应的关系。

关于本地设备(即网卡)和对端设备(如交换机)的详细关系如下：

驱动

在看以太网流控方面的资料时，发现3.17版本内核打印网络状态函数新增了flow control的信息，如下：

void phy_print_status(struct phy_device *phydev)
{
     if (phydev->link) {
          netdev_info(phydev->attached_dev,
               "Link is Up - %s/%s - flow control %s\n",
               phy_speed_to_str(phydev->speed),
               DUPLEX_FULL == phydev->duplex ? "Full" : "Half",
               phydev->pause ? "rx/tx" : "off");
     } else     {
          netdev_info(phydev->attached_dev, "Link is Down\n");
     }
}

只判断pause值为1即认为流控为rx/tx，否则为off，目前我还不知道为什么是这样判断。

而赋值相关的代码在genphy_read_status函数中，如下：

          lpa = phy_read(phydev, MII_LPA);
          if (lpa < 0)
               return lpa;

          phydev->lp_advertising |= mii_lpa_to_ethtool_lpa_t(lpa);

          adv = phy_read(phydev, MII_ADVERTISE);
          if (adv < 0)
               return adv;

          common_adv = lpa & adv;

          phydev->speed = SPEED_10;
          phydev->duplex = DUPLEX_HALF;
          phydev->pause = 0;
          phydev->asym_pause = 0;

          if (common_adv_gb & (LPA_1000FULL | LPA_1000HALF)) {
               phydev->speed = SPEED_1000;

               if (common_adv_gb & LPA_1000FULL)
                    phydev->duplex = DUPLEX_FULL;
          } else if (common_adv & (LPA_100FULL | LPA_100HALF)) {
               phydev->speed = SPEED_100;

               if (common_adv & LPA_100FULL)
                    phydev->duplex = DUPLEX_FULL;
          } else
               if (common_adv & LPA_10FULL)
                    phydev->duplex = DUPLEX_FULL;

          if (phydev->duplex == DUPLEX_FULL) {
               phydev->pause = lpa & LPA_PAUSE_CAP ? 1 : 0;
               phydev->asym_pause = lpa & LPA_PAUSE_ASYM ? 1 : 0;
          }

根据第5个寄存器MII_LPA的值判断对端(如交换机)的情况，如果对端支持LPA_PAUSE_CAP、LPA_PAUSE_ASYM就分别赋值到pause、asym_pause。从上面的分析可以知道，这两个可以和寄存器4的值对应起来，也可以和标准文档说的PAUSE和ASM_DIR对应起来。
再回到前面ethtool代码出现的ADVERTISED_Pause和ADVERTISED_Asym_Pause。内核定义了许多ADVERTISED_XXX的宏，它表示接口通告的能力(这个有点难理解，我还不太应该怎么描述，感觉就是在自动协商时，将“能力”告诉对端，让对方知道你具备哪些能力)，对应寄存器4(MII_ADVERTISE)。相应的，有SUPPORTED_XXX宏定义，它表示接口所支持的能力、特性。

PHY在自动协商时会调用到genphy_config_advert函数(注意！该函数不对PAUSE标志ADVERTISE_PAUSE_CAP进行特别处理，只是根据phydev->advertising来判断)：

static int genphy_config_advert(struct phy_device *phydev)
{
	u32 advertise;
	int oldadv, adv, bmsr;
	int err, changed = 0;

	/* Only allow advertising what this PHY supports */
	phydev->advertising &= phydev->supported; // 先获取本地网卡所支持的特性
	advertise = phydev->advertising;

	/* Setup standard advertisement */
	adv = phy_read(phydev, MII_ADVERTISE); // 读取寄存器4的值
	if (adv < 0)
		return adv;

	oldadv = adv;
	adv &= ~(ADVERTISE_ALL | ADVERTISE_100BASE4 | ADVERTISE_PAUSE_CAP |
		 ADVERTISE_PAUSE_ASYM);
	adv |= ethtool_adv_to_mii_adv_t(advertise); // 将内核支持特性的格式转换成PHY芯片识别的，因为adv要写到寄存器

	if (adv != oldadv) {
		err = phy_write(phydev, MII_ADVERTISE, adv);

		if (err < 0)
			return err;
		changed = 1;
	}

    // ...
}

该函数调用了ethtool_adv_to_mii_adv_t，在这个函数里面判断特性，相关代码如下：

static inline u32 ethtool_adv_to_mii_adv_t(u32 ethadv)
{
	u32 result = 0;

	if (ethadv & ADVERTISED_10baseT_Half)
		result |= ADVERTISE_10HALF;
	if (ethadv & ADVERTISED_10baseT_Full)
		result |= ADVERTISE_10FULL;
	if (ethadv & ADVERTISED_100baseT_Half)
		result |= ADVERTISE_100HALF;
	if (ethadv & ADVERTISED_100baseT_Full)
		result |= ADVERTISE_100FULL;
	if (ethadv & ADVERTISED_Pause)
		result |= ADVERTISE_PAUSE_CAP;
	if (ethadv & ADVERTISED_Asym_Pause)
		result |= ADVERTISE_PAUSE_ASYM;

	return result;
}

为了和文章开头对应，最后跟踪一下advertising值。

ethtool获取网卡信息：

phy_ethtool_gset
-> cmd->advertising = phydev->advertising;

PHY驱动定义：

static struct phy_driver genphy_driver[] = 
{
	.phy_id		= 0xffffffff,
	.phy_id_mask	= 0xffffffff,
	.name		= "Generic PHY",
	.soft_reset	= genphy_soft_reset,
	.config_init	= genphy_config_init,
	.features	= PHY_GBIT_FEATURES | SUPPORTED_MII |
			  SUPPORTED_AUI | SUPPORTED_FIBRE |
			  SUPPORTED_BNC,
}

在phy_probe会赋值，但后面的函数会将其覆盖掉：

phy_probe
-> phydev->supported = phydrv->features;
-> phydev->advertising = phydev->supported;

在phy初始化时，会调用genphy_config_init：

int genphy_config_init(struct phy_device *phydev)
{
	int val;
	u32 features;

	features = (SUPPORTED_TP | SUPPORTED_MII
			| SUPPORTED_AUI | SUPPORTED_FIBRE |
			SUPPORTED_BNC);

	/* Do we support autonegotiation? */
	val = phy_read(phydev, MII_BMSR);
	if (val < 0)
		return val;

	if (val & BMSR_ANEGCAPABLE)
		features |= SUPPORTED_Autoneg;

	if (val & BMSR_100FULL)
		features |= SUPPORTED_100baseT_Full;
	if (val & BMSR_100HALF)
		features |= SUPPORTED_100baseT_Half;
	if (val & BMSR_10FULL)
		features |= SUPPORTED_10baseT_Full;
	if (val & BMSR_10HALF)
		features |= SUPPORTED_10baseT_Half;

	if (val & BMSR_ESTATEN) {
		val = phy_read(phydev, MII_ESTATUS);
		if (val < 0)
			return val;

		if (val & ESTATUS_1000_TFULL)
			features |= SUPPORTED_1000baseT_Full;
		if (val & ESTATUS_1000_THALF)
			features |= SUPPORTED_1000baseT_Half;
	}

	phydev->supported &= features;
	phydev->advertising &= features;

	return 0;
}

从代码跟踪来看，通用的PHY驱动没有开启PAUSE功能。为了全面性，又跟踪了Intel的igb驱动，获取网卡信息在igb_get_settings函数中，对于暂停帧处理代码如下：

switch (hw->fc.requested_mode) {
	case e1000_fc_full:
		ecmd->advertising |= ADVERTISED_Pause;
		break;
	case e1000_fc_rx_pause:
		ecmd->advertising |= (ADVERTISED_Pause |
				      ADVERTISED_Asym_Pause);
		break;
	case e1000_fc_tx_pause:
		ecmd->advertising |=  ADVERTISED_Asym_Pause;
		break;
	default:
		ecmd->advertising &= ~(ADVERTISED_Pause |
				       ADVERTISED_Asym_Pause);
	}

可以看到，如果为fc_full时，就只赋值ADVERTISED_Pause。这在一定程度上对PAUSE和ASM_DIR的取值进行了验证。

附录

千兆PAUSE优先级解释：

http://www.ieee802.org/3/interp/interp-1-1104.pdf

对PAUSE和ASM_DIR讨论的文章：

http://www.juniper.net/techpubs/en_US/junos13.2/topics/concept/cos-qfx-series-congestion-notification-understanding.html

http://www.tomshardware.com/forum/19497-42-weird-asymmetric-pause-autoconfiguration-code

e1000驱动关于标准文档PAUSE/ASM_DIR的值的说明(约2219行)：

http://lxr.oss.org.cn/source//drivers/net/ethernet/intel/e1000/e1000_hw.c?v=3.17



李迟 2015.4.11