Open vSwitch从接收数据包开始分析

一、工作流程（datapath数据路径）

ovs数据包处理流程图.png

• 一般的数据包在linux网络协议栈中的流向为黑色箭头流向：从网卡eth0上接收到数据包后层层往上分析，最后离开内核态，把数据传送到用户态。当然也有些数据包只是在内核网络协议栈中操作，然后再从某个网卡发出去。
• 【以下代码分析基于Open vSwitch 2.5.0版本】
• 但当其中有Open Vswitch时，数据包的流向就不一样了。首先是创建一个网桥：ovs-vsctl add-br br0——底层实现原理是调用datapath/datapath.c中的ovs_dp_cmd_new函数和new_vport函数去初始化一个datapath对象和vport对象。
  然后是绑定某个网卡：绑定网卡：ovs-vsctl add-port br0 eth0；这里绑定了eth0网卡。
• linux内核通过netif_receive_skb()函数从网卡eth0收到的一个数据包struct sk_buff *skb的流向是从网卡eth0上转到Open Vswitch的端口vport上进入Open Vswitch中，首先是调用的datapath/vport-netdev.c中的struct sk_buff *netdev_frame_hook(struct sk_buff *skb)函数并再调用void netdev_port_receive(struct sk_buff *skb, struct ip_tunnel_info *tun_info)函数，对数据包做一些检查，
• 然后调用datapath/vport.c中的int ovs_vport_receive(struct vport *vport, struct sk_buff *skb, const struct ip_tunnel_info *tun_info)函数，调用ovs_flow_extract函数基于skb生成key值，并检查是否有错。
• 然后转到调用datapath/datapath.c中的void ovs_dp_process_packet(struct sk_buff *skb, struct sw_flow_key *key)函数来处理数据包是根据key值调用ovs_flow_tbl_lookup_stats函数进行流表的匹配。如果匹配成功，则根据流表中对应的action找到其对应的操作方法，调用ovs_execute_actions执行对应的action完成相应的动作（这个动作有可能是把数据包从其他端口发出去，也有可能是直接丢弃，也可以自己设计action）；如果匹配不成功，则调用ovs_dp_upcall上传至用户空间的vswitchd守护进程进行处理，该进程又和sdn控制器直接进行通信。
  
  

  数据包匹配流表走向

*【具体函数定义如下】

void ovs_dp_process_packet(struct sk_buff *skb, struct sw_flow_key *key)
{
    const struct vport *p = OVS_CB(skb)->input_vport;
    struct datapath *dp = p->dp;
    struct sw_flow *flow;
    struct sw_flow_actions *sf_acts;
    struct dp_stats_percpu *stats;
    u64 *stats_counter;
    u32 n_mask_hit;

    stats = this_cpu_ptr(dp->stats_percpu);

    /* Look up flow. */
    flow = ovs_flow_tbl_lookup_stats(&dp->table, key, skb_get_hash(skb),
                     &n_mask_hit);  //查找匹配的流表
    if (unlikely(!flow)) {          //匹配不成功
        struct dp_upcall_info upcall;
        int error;

        memset(&upcall, 0, sizeof(upcall));
        upcall.cmd = OVS_PACKET_CMD_MISS;
        upcall.portid = ovs_vport_find_upcall_portid(p, skb);
        upcall.mru = OVS_CB(skb)->mru;
        error = ovs_dp_upcall(dp, skb, key, &upcall);  //转到上层用户空间处理
        if (unlikely(error))
            kfree_skb(skb);
        else
            consume_skb(skb);
        stats_counter = &stats->n_missed;
        goto out;
    }
    //匹配成功
    ovs_flow_stats_update(flow, key->tp.flags, skb);
    sf_acts = rcu_dereference(flow->sf_acts);    //获取流表动作集
    ovs_execute_actions(dp, skb, sf_acts, key);  //执行流表的动作

    stats_counter = &stats->n_hit;

out:
    /* Update datapath statistics. */
    u64_stats_update_begin(&stats->syncp);
    (*stats_counter)++;
    stats->n_mask_hit += n_mask_hit;
    u64_stats_update_end(&stats->syncp);
}

二、数据包struct sk_buff *skb的内容

• skb数据包是由linux内核从网卡接收，该结构体也由linux内核定义，结构体中包含的信息很丰富，若是在上一节列出的某个处理接收数据包的函数中对数据包进行解析统计一条流（五元组匹配确定）的信息，可用于构建用于分类识别的流量数据集。

struct sk_buff {
    /* These two members must be first. */
    struct sk_buff      *next;  //因为sk_buff结构体是双向链表，所以有前驱后继。
    struct sk_buff      *prev;  //这是指向前一个sk_buff结构体指针
 //2.6版本以前应该还有个字段：sk_buff_head *list 即每个sk_buff结构都有个指针指向头节点
    struct sock         *sk;  // 指向拥有此缓冲的套接字sock结构体
    ktime_t         tstamp;  // 时间戳，表示这个skb的接收到的时间，
                            //一般是在包从驱动中往二层发送的接口函数中设置
    struct net_device   *dev;  // 表示一个网络设备
    unsigned long   _skb_dst;  // 主要用于路由子系统，保存路由有关的东西
    char            cb[48];  // 保存每层的控制信息,每一层的私有信息
    unsigned int    len,  // 表示数据区的长度(tail - data)与分片结构体数据区的长度之和。
                              //其实这个len中数据区长度是个有效长度，
      // 因为不删除协议头，所以只计算有效协议头和包内容。如：当在L3时，不会计算L2的协议头长度。
            data_len;  // 只表示分片结构体数据区的长度，所以len = (tail - data) + data_len；
    __u16           mac_len,  // mac报头的长度
                hdr_len;  // 用于clone时，表示clone的skb的头长度
    // 接下来是校验相关域
    __u32           priority;  // 优先级，主要用于QOS
    kmemcheck_bitfield_begin(flags1);
    __u8            local_df:1,  // 是否可以本地切片的标志
                cloned:1,  // 为1表示该结构被克隆，或者自己是个克隆的结构体；
                          //同理被克隆时，自身skb和克隆skb的cloned都要置1
                ip_summed:2, 
                nohdr:1,  // nohdr标识payload是否被单独引用，不存在协议首部。
// 如果被引用，则决不能再修改协议首部，也不能通过skb->data来访问协议首部。
                nfctinfo:3;
    __u8            pkt_type:3,  // 标记帧的类型
                fclone:2,   // 这个成员字段是克隆时使用，表示克隆状态
                ipvs_property:1,
                peeked:1,
                nf_trace:1;
    __be16          protocol:16;  // 这是包的协议类型，标识是IP包还是ARP包或者其他数据包。
    kmemcheck_bitfield_end(flags1);
    void    (*destructor)(struct sk_buff *skb);  //这是析构函数，后期在skb内存销毁时会用到
#if defined(CONFIG_NF_CONNTRACK) || defined(CONFIG_NF_CONNTRACK_MODULE)
    struct nf_conntrack *nfct;
    struct sk_buff      *nfct_reasm;
#endif
#ifdef CONFIG_BRIDGE_NETFILTER
    struct nf_bridge_info   *nf_bridge;
#endif
    int         iif;  // 接受设备的index
#ifdef CONFIG_NET_SCHED
    __u16           tc_index;   /* traffic control index */
#ifdef CONFIG_NET_CLS_ACT
    __u16           tc_verd;    /* traffic control verdict */
#endif
#endif
    kmemcheck_bitfield_begin(flags2);
    __u16           queue_mapping:16;
#ifdef CONFIG_IPV6_NDISC_NODETYPE
    __u8            ndisc_nodetype:2;
#endif
    kmemcheck_bitfield_end(flags2);
    /* 0/14 bit hole */
#ifdef CONFIG_NET_DMA
    dma_cookie_t        dma_cookie;
#endif
#ifdef CONFIG_NETWORK_SECMARK
    __u32           secmark;
#endif
    __u32           mark;
    __u16           vlan_tci;
    sk_buff_data_t      transport_header;    // 指向四层帧头结构体指针
    sk_buff_data_t      network_header;      // 指向三层IP头结构体指针
    sk_buff_data_t      mac_header;        // 指向二层mac头的头
    /* These elements must be at the end, see alloc_skb() for details.  */
    sk_buff_data_t      tail;   // 指向数据区中实际数据结束的位置
    sk_buff_data_t      end;    // 指向数据区中结束的位置（非实际数据区域结束位置）
    unsigned char       *head,  // 指向数据区中开始的位置（非实际数据区域开始位置）
                *data;            // 指向数据区中实际数据开始的位置            
    unsigned int truesize; //表示总长度包括sk_buff自身长度和数据区以及分片结构体的数据区长度
    atomic_t        users;    // skb被克隆引用的次数，在内存申请和克隆时会用到
};   //end sk_buff