网络子系统在链路层的收发过程剖析(一)

1），Skb_buff


/* To allow 64K frame to be packed as single skb without frag_list */
#define MAX_SKB_FRAGS (65536/PAGE_SIZE + 2)

typedef struct skb_frag_struct skb_frag_t;

struct skb_frag_struct {
       struct page *page;
       __u16 page_offset;
       __u16 size;
};

/* This data is invariant across clones and lives at
* the end of the header data, ie. at skb->end.
*/
struct skb_shared_info {
       atomic_t  dataref;
       unsigned short       nr_frags;
       unsigned short       gso_size;
       /* Warning: this field is not always filled in (UFO)! */
       unsigned short       gso_segs;
       unsigned short  gso_type;
       unsigned int    ip6_frag_id;
       struct sk_buff *frag_list;
       skb_frag_t      frags[MAX_SKB_FRAGS];
};


Skb比较复杂的部分在于skb_shared_info部分，alloc_skb()在为数据分配空间的时候，会在这个数据的末尾加上一个skb_shared_info结构，这个结构就是用于scatter/gather IO的实现的。它主要用于提高性能，避免数据的多次拷贝。例如，当用户用sendmsg分送一个数组结构的数据时，这些数据在物理可能是不连续的（大多数情况），在不支持scatter/gather IO的网卡上，它只能通过重新拷贝，将它重装成连续的skb（skb_linearize）,才可以进行DMA操作。而在支持S/G IO上，它就省去了这次拷贝。






2），网卡（PCI设备的注册）
       系统启动的时候，pci会扫描所有的PCI设备然后根据注册驱动的id_table，找到相匹配的驱动，实现关联。当找到匹配的驱动时，它会执行相关驱动程序中的probe函数，而网卡的net_device就是在这个函数里面初始化的并注册到内核的。


3），网卡链路状态检测
       当网卡链路状态变化时（如断开或连上），网卡会通知驱动程序或者由驱动程序去查询网卡的相关寄存器位（例如在timeout时去查询这些位），然后由netif_carrier_on/off去通知内核这个变化。

void netif_carrier_on(struct net_device *dev)
{   // test_and_clear_bit - Clear a bit and return its old value
       if (test_and_clear_bit(__LINK_STATE_NOCARRIER, &dev->state))
              linkwatch_fire_event(dev);
       if (netif_running(dev))
              __netdev_watchdog_up(dev);
}

static inline netif_carrier_off(struct net_device *dev)
{
//test_and_set_bit - Set a bit and return its old value
    if (!test_and_set_bit(_ _LINK_STATE_NOCARRIER, &dev->state))
        linkwatch_fire_event(dev);
}

这样，netif_carrier_on会调用linkwatch_fire_event，它会创建一个lw_event结构：

       struct lw_event {
       struct list_head list;
       struct net_device *dev;
};
并将这个结构初始化后（event->dev = dev;）加入到事件队列中：
              spin_lock_irqsave(&lweventlist_lock, flags);
              list_add_tail(&event->list, &lweventlist);
              spin_unlock_irqrestore(&lweventlist_lock, flags);

然后它调用schedule_work(&linkwatch_work)由内核线程去处理这些事件。它最终由linkwatch_run_queue(void)去完成这些处理工作：

list_for_each_safe(n, next, &head) {
              struct lw_event *event = list_entry(n, struct lw_event, list);
              struct net_device *dev = event->dev;
       …
              if (dev->flags & IFF_UP) {
                     if (netif_carrier_ok(dev)) {
                            dev_activate(dev);
                     } else
                            dev_deactivate(dev);
                     netdev_state_change(dev);
              }
}

可以看到，它的最主要工作之一就是netdev_state_change(dev)：
void netdev_state_change(struct net_device *dev)
{
       if (dev->flags & IFF_UP) {
              raw_notifier_call_chain(&netdev_chain,
                            NETDEV_CHANGE, dev);
              rtmsg_ifinfo(RTM_NEWLINK, dev, 0);
       }
}

这个函数通知注册到netdev_chain链表的所有子系统，这个网卡的链路状态有了变化。就是说，如果某个子系统对网卡的链路状态变化感兴趣，它就可以注册到进这个链表，在变化产生时，内核便会通知这些子系统。

注意：a. 它只会在网卡状态为UP时，才会发出通知，因为，如果状态为DOWN，网卡链路的状态改变也没什么意义。
         b. 每个见网卡的这些状态变化的事件lw_event是不会队列的，即每个网卡只有一个事件的实例在队列中。还有由上面看到的lw_event结构，它只是包含发生状态变化的网卡设备，而没有包含它是链上或是断开的状状参数。