Linux内核分析 - 网络[五]：vlan协议-802.1q

内核版本：2.6.34

802.1q

1. 注册vlan网络系统子空间，

err = register_pernet_subsys(&vlan_net_ops);
static struct pernet_operations vlan_net_ops = {
 .init = vlan_init_net,
 .exit = vlan_exit_net,
 .id   = &vlan_net_id,
 .size = sizeof(struct vlan_net),
};

        每个子空间注册成功都会分配一个ID，在register_pernet_subsys() -> register_pernet_operations() -> ida_get_new_above()获得，而vlan_net_ops中的vlan_net_id记录了这个ID。注册子空间的最后会调用子空间的初始化函数vlan_init_net()，它会把vlan_net(有关vlan的proc文件系统信息)加到全局的net->gen->ptr数组中去，下标为之前分配的ID。这样，通过vlan_net_id便可随时查到vlan_net的信息，主要与proc有关。

2. 注册vlan_notifier_block

err = register_netdevice_notifier(&vlan_notifier_block);
static struct notifier_block vlan_notifier_block __read_mostly = {
 .notifier_call = vlan_device_event,
};

        关于register_netdevice_notifier()做的工作并不复杂，首先会注册vlan_notifier_block到netdev_chain：

err = raw_notifier_chain_register(&netdev_chain, nb);

        然后通知事件NETDEV_REGISTER和NETDEV_UP事件到网络系统的中的每个设备：

for_each_net(net) {
 for_each_netdev(net, dev) {
  err = nb->notifier_call(nb, NETDEV_REGISTER, dev);
  err = notifier_to_errno(err);
  if (err)
   goto rollback;

  if (!(dev->flags & IFF_UP))
   continue;

  nb->notifier_call(nb, NETDEV_UP, dev);
 }
}

        此时nb就是vlan_notifier_block，调用通知函数vlan_device_event()。假设此时主机上拥有设备lo[环回接口], eth1[网卡], eth1.1[虚拟接口]，来看vlan_device_event()函数：
         判断是否为vlan虚拟接口，则执行__vlan_device_event()，这个函数的作用就是在proc文件系统中添加或删除vlan虚拟设备的相应项。显然，符合条件的是eth1.1，而事件NETDEV_REGISTER会在/proc/net目录下创建eth1.1的文件。

if (is_vlan_dev(dev))
 __vlan_device_event(dev, event);

        然后判断dev是否在vlan_group_hash表中[参考最后”vlan设备组织结构”]，它以dev->ifindex为hash值，显然，只有eth1才有正确的ifindex，lo和eth1.1会因查询失败而退出vlan_device_event。

grp = __vlan_find_group(dev);
if (!grp)
 goto out;

        下面的事件处理只有eth1会执行，以NETDEV_UP为例，通过vlan_group_hash表可以根据eth1查到所有在其上创建的虚拟网卡接口，如果这些网卡接口没有开启，则开启它，这里开启用到的是dev_change_flags(vlandev, flgs | IFF_UP)。跟踪该函数可以发现它仅仅是修改flags后，通知NETDEV_UP事件，等待设备去处理。这里的含义可以这样理解，如果ifconfig eth1 up，则在eth1上创建的所有vlan网卡接口都会被up。

case NETDEV_UP:
 /* Put all VLANs for this dev in the up state too.  */
 for (i = 0; i < VLAN_GROUP_ARRAY_LEN; i++) {
  vlandev = vlan_group_get_device(grp, i);
  if (!vlandev)
   continue;

  flgs = vlandev->flags;
  if (flgs & IFF_UP)
   continue;

  vlan = vlan_dev_info(vlandev);
  if (!(vlan->flags & VLAN_FLAG_LOOSE_BINDING))
   dev_change_flags(vlandev, flgs | IFF_UP);
  netif_stacked_transfer_operstate(dev, vlandev);
 }
 break;

        可以看出，vlan_device_event最后都是操作的vlan虚拟接口，这点是很重要的，不要越权处理其它设备。

3. 添加协议模块vlan_packet_type到ptype_base中        

dev_add_pack(&vlan_packet_type);

        在[net\8021q]目录，主要是关于报文接收的

static struct packet_type vlan_packet_type __read_mostly = {
 .type = cpu_to_be16(ETH_P_8021Q),
 .func = vlan_skb_recv, /* VLAN receive method */
};

        vlan_skb_recv() [net\8021q\vlan.c]
        检查skb是否被多个协议模块引用，如果是则拷贝一份，并递减计数，必要时释放skb，这部分要和netif_receive_skb()中的pt_prev连起来理解，就明白为什么要使用pt_prev而不是直接使用ptype。如果使用ptype，则会多出一次拷贝。

skb = skb_share_check(skb, GFP_ATOMIC);
static inline struct sk_buff *skb_share_check(struct sk_buff *skb, gfp_t pri)
{
 might_sleep_if(pri & __GFP_WAIT);
 if (skb_shared(skb)) {
  struct sk_buff *nskb = skb_clone(skb, pri);
  kfree_skb(skb);
  skb = nskb;
 }
 return skb;
}

         skb_share_check()会调用3个函数：skb_sharde(), skb_clone(), kfree_skb()，都很重要。
         skb_shared()检查skb->users数目是否为1，不为1则表示有多个协议栈模块要处理它，此时就需要使用skb_clone()来复制一份skb；kfree_skb()并不一定释放skb，只有当skb->users为1时，才会释放；否则只是递减skb->users。

        这一步是核心，此时skb->dev为真正的设备，经过vlan处理后，报文应该被上层协议看作是由vlan虚拟设备接收的，因此这里设置skb->dev为虚拟的vlan设备。

skb->dev = __find_vlan_dev(dev, vlan_id);

       以收到ARP请求报文后回应为例，看下skb->dev的变化，使得报文在协议栈中流转：
 

        更新网卡接收报文的信息：

rx_stats->rx_packets++;
rx_stats->rx_bytes += skb->len;

        设置skb->len和skb->data指针，从而跑过vlan标签，而对skb->csum的计算会忽略，因为在网卡驱动收到报文时，skb->ip_summed== CHECKSUM_NONE。

skb_pull_rcsum(skb, VLAN_HLEN);

        重置skb->protocol为vlan标签后面接的协议类型，之前的protocol为0x8100(即ETH_P_8021Q)

vlan_set_encap_proto(skb, vhdr);

        最后调用netif_rx()，它会将skb重新放入接收队列中，让skb在协议栈中继续向上走。要注意的是这时候skb->protocol已经是vlan标签后的协议标识，因此重新进入netif_receive_skb()时会被更上一层的ptype处理掉。

netif_rx(skb);

        此时协议模块802.1q已经处理完，此时skb会被释放掉，此时skb->users是1。

kfree_skb(skb);

         netif_rx()这个函数很重要，可以说是各个协议模块之前报文流向的纽带，这里详细讲解下：
         获取当前CPU的softnet_data结构体

queue = &__get_cpu_var(softnet_data);

         softnet_data这个结构体在设备初始化时会被赋值，见[net\core\dev.c中net_dev_init()]；对于每个CPU，都会分配一个softnet_data，里面重要的是backlog.poll = process_backlog；在软中断处理中，会调用poll_list链表上的poll方法，在稍后会看到加入poll_list链表的是queue->backlog，因此当再次在软中断中处理该报文时，会使用process_backlog()函数；作为对比，可以看在网卡驱动中加入poll_list链表的是bp->napi，这时候的poll方法是网卡驱动自己的b44_poll()。

for_each_possible_cpu(i) {
 struct softnet_data *queue;
 queue = &per_cpu(softnet_data, i);
 skb_queue_head_init(&queue->input_pkt_queue);
 queue->completion_queue = NULL;
 INIT_LIST_HEAD(&queue->poll_list);
 queue->backlog.poll = process_backlog;
 queue->backlog.weight = weight_p;
 queue->backlog.gro_list = NULL;
 queue->backlog.gro_count = 0;
}

        判断input_pkt_queue队列长度，如果长度为0，则将queue->backlog加入poll_list中，并触发软中断，同时也将skb加入input_pkt_queue队列；如果长度>=1，则表明input_pkt_queue队列中还有未处理的skb，并且队列头的skb已经触发了软中断，只是还未被处理，因此此时只需将skb加入input_pkt_queue队列，而不用再次触发软中断。
这里有两个地方要注意，第一是skb加入的链队是input_pkt_queue，但加入poll_list的却是backlog，这是因为在软中断中调用的是backlog.poll方法，而它会处理input_pkt_queue；第二是软中断的触发只在队列为空时再发生，因为每次软中断net_rx_action()中，不只是处理一个skb，而是队列上所有的skb：while (!list_empty(list))。

 if (queue->input_pkt_queue.qlen) {
enqueue:
  __skb_queue_tail(&queue->input_pkt_queue, skb);
  local_irq_restore(flags);
  return NET_RX_SUCCESS;
 }

 napi_schedule(&queue->backlog);
 goto enqueue;

        整体流程如图所示： 

 4. 添加ioctl供用户空间调用        

vlan_ioctl_set(vlan_ioctl_handler);

        添加IOCTL选 项，供用户空间进行内核的vlan配置，比如ADD_VLAN_CMD会创建vlan虚拟接口；DEL_VLAN_CMD会删除vlan虚拟接口。

        VLAN设备的组织结构
        如果只是vlan模块的接收与发送，那了解到vlan_skb_recv()与vlan_dev_hard_start_xmit()函数就可以了。但vlan的实现考虑的要多很多，比如：新创建的eth1.1存储在哪里？eth1.1和eth1如果进行关联？这些都是下面要讲的。
数据结构vlan_group_hash是vlan虚拟网卡存储与关联的核心结构：
static struct hlist_head vlan_group_hash[VLAN_GRP_HASH_SIZE]; [net\8021q\vlan.c]
当通过vconfig创建了eth1.1, eth1.2, eth1.100三个虚拟网卡后，vlan_group_hash的整体结构如图所示，先有个整体印象： 

         vlan_group_hash是大小为32的hash表，所用的hash函数是：

static inline unsigned int vlan_grp_hashfn(unsigned int idx)
{
 return ((idx >> VLAN_GRP_HASH_SHIFT) ^ idx) & VLAN_GRP_HASH_MASK;
}

        而传入参数idx就是dev->ifindex，比如eth1的就是1。因此可以这样理解，vlan_group_hash表插入的是真实网卡设备信息(eth1)。对于一般主机来说，网卡不会太多，32个表项的hash表是完全足够的。
在添加vlan时，会创建新的vlan虚拟网卡：
        register_vlan_device() -> register_vlan_dev()

        首先查找网卡是否已存在，这里的real_dev一般是真实的网卡如eth1等。以real_dev->ifindex值作hash，取出vlan_group_hash的表项，由于可能存在多个网卡的hash值相同，因此还要匹配表项的real_dev是否与real_dev相同。

grp = __vlan_find_group(real_dev);

        如果不存在相应的表项，则分配表项struct vlan_group，并加入vlan_group_hash：

ngrp = grp = vlan_group_alloc(real_dev);

        结构定义如下，它可以代表在vlan下真实网卡的信息。real_dev指向真实网卡如eth1；nr_vlans表示网卡下创建的vlan数；vlan_devices_arrays用于存储创建的vlan虚拟网卡：

struct vlan_group {
 struct net_device *real_dev;
 unsigned int  nr_vlans;
 int   killall;
 struct hlist_node hlist; /* linked list */
 struct net_device **vlan_devices_arrays[VLAN_GROUP_ARRAY_SPLIT_PARTS];
 struct rcu_head  rcu;
};

       创建完表项vlan_group，紧接初始化vlan_devices_arrays二维数组中相应元素

err = vlan_group_prealloc_vid(grp, vlan_id);

        最后，设置vlan_devices_arrays相应元素指向创建的vlan虚拟网卡(如eth1.1)的struct net_device。这里值得注意的是vlan_devices_arrays是二维数组，内核支持的最大vlan数是4096，为了查找效率，应用了二级目录的概念。vlan_devices_arrays指向大小512的数组，数组中每个再指向大小8的数组，像eth1.100则位于第12组的第5个(vlan_devices_arrays[11][4])。

vlan_group_set_device(grp, vlan_id, dev);

        以一个例子来说明，当主机收到报文，交由vlan协议模块处理后(vlan_rcv)，此时需要更换skb->dev所指向的设备，以使上层协议认为报文是来自于虚拟网卡(比如eth1.1)，而不知道网卡eth1的存在。更换设备就需要知道skb->dev更换的目标。这由两个因素决定：skb->dev和vlan_id。skb->dev即报文来自主机的哪个网卡，如来自eth1，则skb->dev->name=”eth1”；vlan_id即vlan号，这在报文中的vlan报文中可以提取出。有了这两个信息，从vlan_group_hash出发，首先根据skb->dev->ifindex查找vlan_group_hash的相应项(eth1)，取出vlan_group；然后，根据vlan_id，在vlan_devices_array中查找到虚拟网卡设备(eth1.1)。
一般支持的最大vlan数是4096，为了查询效率，vlan_devices_array并不是一个4096的数组，而是二维数组，将每8个vlan分为一组，共512组，像eth1.100则位于第12组的第5个。