CNI 与 CNM 网络模型

CNM 模型

CNM 模型主要通过 Network Sanbox , Endpoint 和 Network 这三个朱建进行实现

Network Sanbox: 容器内部的网络栈, 包括网络接口,路由表, dns 等配置,一个 network sanbox 可以包含多个 endpoint
endpoint: 用于将容器内的sanbox 与外部网络相关联的网络接口. 可用使用veth ovs , 内部port 等技术实现
network: 可以直接互联的endpoint 集合. 可以通过linux 网桥, vlan等技术实现.

image.png

CNI 模型

image.png

CNI 的规范比较小巧。它规定了一个容器runtime和网络插件之间的简单的契约。这个契约通过JSON的语法定义了CNI插件所需要提供的输入和输出。

一个容器可以被加入到被不同插件所驱动的多个网络之中。一个网络有自己对应的插件和唯一的名称。CNI 插件需要提供两个命令：一个用来将网络接口加入到指定网络，另一个用来将其移除。这两个接口分别在容器被创建和销毁的时候被调用。

CNI 规范

CNI 模型只涉及2个概念: 容器和网络

容器: 用于独立 linux 网络命名空间的环境
网络: 表示可以互联的一组实体, 这些实体拥有各自独立且唯一的 IP 地址, 可以是容器, 物理机, 或者其他网络设备等

对网络的设置通过插件进行实现, CNI 包括 CNI Plugin 和 IPAM ( IP address management) Plugin 两类插件. CNI Plugin 负责为容器配置网络资源, IPAM plugin 负责对容器的IP 地址进行分配和管理 IPAM Plugin 作为 CNI plugin 的一部分, 与CNI plugin 一起工作.

CNI 插件详解

CNI plugin 包括三个基本的接口定义, add check, version 这些接口的具体实现要求插件提供一个可执行的程序,在容器网络添加或删除时进行调用, 以完成具体操作

1 add 接口参数定义如下

Version: CNI 版本号
Container ID
Network namespace path : 容器网络命名空间路径例如 /proc/pid/ns/net
Network configuration: 网络配置json文档
Extra arguments: 其他参数
Name of the interface inside the container : 容器内的网卡名

返回信息如下

interfaces list: 网卡列表
ip assgined to interface : ip 4 /6 地址网关地址,路由信息等
DNS

2 删除接口参数如下

Version: CNI 版本号
Container ID
Network namespace path : 容器网络命名空间路径例如 /proc/pid/ns/net
Network configuration: 网络配置json文档
Extra arguments: 其他参数
Name of the interface inside the container : 容器内的网卡名

3 检查接口参数如下

Container ID
Network namespace path : 容器网络命名空间路径例如 /proc/pid/ns/net
Network configuration: 网络配置json文档
Extra arguments: 其他参数
Name of the interface inside the container : 容器内的网卡名

CNI plugin 可以支持环境变量映射到对应的参数

CNI_COMMAND: 接口方法, 包括 ADD DEL VERSION
CNI_CONTAINERID
CIN_NETNS: 网络命名空间路径
CNI_IFNAME: 待设置的网络接口名称
CNI_ARGS: 其他参数为KEY=VALUE格式,多个参数间用逗号分隔.
CNI_PATH: 可执行文件的查找路径

json 配置文件的格式说明

{
    cniVersion(string):cni平版本号,
    name(string): 网络名称,
    type(string): CNI插件的可执行文件名称
    args(map): 其他参数
    ipMasq(boolean): 是否设置 IP masquerade(需插件支持)
    ipam(object): ip地址管理的相关配置{
        type(string): IPAM 可执行文件名
    },
    dns(object): DNS相关配置{
        nameservers (string list):名字服务器列表,可以使用IP地址,
        domain(string): 本地域名,用于段主机名查询,
        search(string list): 按优先级排序的域名查询列表
        options(string list): 传递给resolver的选项列表
    }
}

例子

{
    cniVersion: "0.4.0",
    name: "dbnet",
    type: "bridge",
    bridge: "cni0"
    ipam: {
        type: "host-local",
        "subnet": "10.1.0.0/16"
        "gateway": "10.1.0.1"
    },
    dns{
        nameservers: ["10.1.0.1"]
    }
}

IPAM Plugin 详解

IPAM 可执行程序也处理传递给CNI plugin的参数,并返回包含ips routes dns 三段内容的结果

多网络插件

一个容器可以运行多个CNI plugin, 多个plugin 按照配置文件中定义的先后顺序从前到后执行, 删除时, 则反序执行, 最后执行的plugin, 最先被删除, 多网络配置的json 格式为

{
    cniVersion: CNI版本号
    name: 网络名称,应在一个管理域内唯一
    plugins(object list): [{
        type: "bridge",
    bridge: "cni0" //args,
    args:{
        labels:{
        verions: 1.0
    }
    }
    ipam: {
        type: "host-local",
        "subnet": "10.1.0.0/16"
        "gateway": "10.1.0.1"
    },
    dns{
        nameservers: ["10.1.0.1"]
    }
    }]
}

在 K8S 中使用网络插件

K8S 目前支持两种网络插件的实现

CNI 插件
kubenet插件: 使用 bridge 和 hostlocal CNI 插件实现一个基本的cbr0

启用插件的命令, 字启动kubelet 服务的启动参数上设置下面的参数

--network-plugin-dir: kubelet 启动时扫描网络插件的目录
--network-plugin: 网络插件名称, 对于 CNI 插件, 设置为cni即可, 无序关注 --network-plugin-dir 的路径, 对于 kubenet, 设置为 kubenet

在--network-plugin 为 cni 时, 还需下面两个参数

--cni-conf-dir CNI 插件的配置文件目录, 默认为 /etc/cni/net.d 该目录下配置文件的内容需符合 CNI 规范
--cni-bin-dir CNI插件的可执行文件目录, 默认为 /opt/cni/bin

目前开源的cni 插件有 calico canal cilium contiv flannel 等
如果文章对您有帮助,请点一下下面的 "喜欢"

K8S 网络详解 3 CNI 与 CNM 网络模型