【Linux4.1.12源码分析】VXLAN之remcsum实现分析

根据之前VXLAN之csum和remcsum实现分析（发包）的分析，由csum配置决定发送端是否计算UDP层的csum。 remcsum会在vxlan头中保存相关信息，然后在接收端进行处理，先看发送端如何构造vxlan头信息。

vxlan_xmit_skb函数（片段，发送方向）

	if (type & SKB_GSO_TUNNEL_REMCSUM) {				//配置remcsum场景
		u16 hdrlen = sizeof(struct vxlanhdr);			//vxlan头长度
		u32 data = (skb_checksum_start_offset(skb) - hdrlen) >>	//内层mac+ip头长度再除2， 长度值为偶数，除2信息不会丢失。 减去vxlan头
			   VXLAN_RCO_SHIFT;			        //是因为当前的报文已经增加了vxlan头，所以要减去。

		if (skb->csum_offset == offsetof(struct udphdr, check))	//判断是否为UDP报文，data与上0x80
			data |= VXLAN_RCO_UDP;

		vxh->vx_vni |= htonl(data);			//data值为低8位值
		vxh->vx_flags |= htonl(VXLAN_HF_RCO);		//vxlan头的flag增加VXLAN_HF_RCO标记

		if (!skb_is_gso(skb)) {
			skb->ip_summed = CHECKSUM_NONE;		//如果是非gso报文，那么硬件不需做csum计算
#if LINUX_VERSION_CODE >= KERNEL_VERSION(3,8,0)
			skb->encapsulation = 0;
#endif
		}
	}

vxlan_gro_receive函数（片段，收包）

	if ((flags & VXLAN_HF_RCO) && (vs->flags & VXLAN_F_REMCSUM_RX)) { //即发送方携带SKB_GSO_TUNNEL_REMCSUM标记，本地要配置VXLAN_F_REMCSUM_RX
		vh = vxlan_gro_remcsum(skb, off_vx, vh, sizeof(struct vxlanhdr),	//remcsum校验和刷新
				       ntohl(vh->vx_vni), &grc,
				       !!(vs->flags &
					  VXLAN_F_REMCSUM_NOPARTIAL));

		if (!vh)		//校验不通过，提交当前报文到协议栈
			goto out;
	}

vxlan_gro_remcsum函数

static struct vxlanhdr *vxlan_gro_remcsum(struct sk_buff *skb,
					  unsigned int off,
					  struct vxlanhdr *vh, size_t hdrlen,
					  u32 data, struct gro_remcsum *grc,
					  bool nopartial)
{
	size_t start, offset, plen;

	if (skb->remcsum_offload)	//如果remcsum_offload为真，则返回NULL，即提交报文到协议栈
		return NULL;

	if (!NAPI_GRO_CB(skb)->csum_valid)	//csum_valid为0，则返回NULL，即提交报文到协议栈
		return NULL;

	start = (data & VXLAN_RCO_MASK) << VXLAN_RCO_SHIFT;	//得到内层mac+ip头的长度，即内层的传输层header的offset
	offset = start + ((data & VXLAN_RCO_UDP) ?		//check的相对offset
			  offsetof(struct udphdr, check) :
			  offsetof(struct tcphdr, check));

	plen = hdrlen + offset + sizeof(u16);	//vxlan头长度+check的offset+2字节，为什么要加上vxlan头？

	/* Pull checksum that will be written */
	if (skb_gro_header_hard(skb, off + plen)) {		//检测下一层报文头
		vh = skb_gro_header_slow(skb, off + plen, off);
		if (!vh)
			return NULL;
	}

	skb_gro_remcsum_process(skb, (void *)vh + hdrlen,
				start, offset, grc, nopartial);		//进入内层前，需要刷新csum值，确保内层的csum校验能够通过

	skb->remcsum_offload = 1;	//remcsum_offload，避免第二次进入

	return vh;
}

skb_gro_remcsum_process函数

static inline void skb_gro_remcsum_process(struct sk_buff *skb, void *ptr,
					   int start, int offset,
					   struct gro_remcsum *grc,
					   bool nopartial)
{
	__wsum delta;

	BUG_ON(!NAPI_GRO_CB(skb)->csum_valid);

	if (!nopartial) {	//如果没有设置nopartial，那么设置重新计算gro_remcsum_start值
		NAPI_GRO_CB(skb)->gro_remcsum_start =
		    ((unsigned char *)ptr + start) - skb->head;
		return;
	}

	delta = remcsum_adjust(ptr, NAPI_GRO_CB(skb)->csum, start, offset);  //计算delta值，通过改制可以计算新的csum值

	/* Adjust skb->csum since we changed the packet */
	NAPI_GRO_CB(skb)->csum = csum_add(NAPI_GRO_CB(skb)->csum, delta); //重新计算csum值，减掉了内层的mac和ip 校验和

	grc->offset = (ptr + offset) - (void *)skb->head;
	grc->delta = delta;
}

remcsum_adjust函数

static inline __wsum remcsum_adjust(void *ptr, __wsum csum,
				    int start, int offset)
{
	__sum16 *psum = (__sum16 *)(ptr + offset);	//psum指向传输层的check
	__wsum delta;

	/* Subtract out checksum up to start */
	csum = csum_sub(csum, csum_partial(ptr, start, 0));  //csum值减掉内层的mac和ip头，等效于skb_checksum+伪首部

	/* Set derived checksum in packet */
	delta = csum_sub(csum_fold(csum), *psum);	//delta为check值的差值，差异为与内层报文的csum之差。
	*psum = csum_fold(csum); //确保传输csum校验通过，意味着内层报文仅计算伪首部，只需做最外层的csum计算即可。

	return delta;
}

从效果上看，vxlan设置remcsum后，内层报文的不需要进行checksum计算，vxlan报文切换到内层报文校验时，可以根据内层报文的check值，重新计算csum值，确保checksum校验通过，说明内层的check值可以是不正确的值，vxlan_gro_remcsum函数中会矫正。 可以改善发送端的开销，一般硬件可以计算出整个报文的csum值，如果整报文的csum值正确，内层报文csum值是错误的几率比较低，所以可以无视内层报文的check值。