翻江倒海一条鱼
翻江倒海一条鱼

使用iptables规则链分析在docker+calico环境下数据包的流向

一、背景介绍

    在docker+calico环境下，分析数据包都经过了哪些iptables规则链。
分析目的：

  • 了解数据包的走向
  • 为接下来重点分析kubernetes+calico+docker环境下，数据包的走向打下基础

    本文分析使用iptables规则链，也就是分析数据包在网络层是如何走的，ebtables规则链暂不考虑。
    主要使用nat表，filter表。

二、环境介绍

2.1 物理环境介绍

系统类型 IP role cpu memory hostname
CentOS 7.4.1708 172.16.91.195 master 4 2G master
CentOS 7.4.1708 172.16.91.196 worker 2 1G slave1
CentOS 7.4.1708 172.16.91.197 worker 2 1G slave2

2.2 运行服务介绍

  1. docker 版本介绍

    使用iptables规则链分析在docker+calico环境下数据包的流向_第1张图片
    docker版本

  2. calico 版本介绍

    使用iptables规则链分析在docker+calico环境下数据包的流向_第2张图片
    calico版本

  3. etcd 版本介绍

    使用iptables规则链分析在docker+calico环境下数据包的流向_第3张图片
    etcd版本

  4. ip路由转发规则要开启

    • 经测试，如果不开启的话，calico集群的其他节点不当访问当前节点上的容器
    • 不开启的话，本节点访问当前节点上的容器是没有问题的。
    • sysctl -a | grep net.ipv4.ip_forward 如果为1，说明开启了。
    • vim /etc/sysctl.conf
      • 添加net.ipv4.ip_forward = 1
      • sysctl -p (保存即可了)

三、准备工作

3.1 设置iptables调试日志(master节电，slave1节点)

步骤一 设置iptables规则

iptables -t raw -A OUTPUT -p icmp -j LOG  
iptables -t raw -A PREROUTING -p icmp -j LOG 

iptables -t raw -A OUTPUT -p icmp -j TRACE   
iptables -t raw -A PREROUTING -p icmp -j TRACE

设置iptables

备注：

  • 不知道为什么，我这里必须同时设置LOG,TRACE这两个动作，调式日志才能打印出来
  • 重启虚拟机后，这些规则会消失

步骤二

设置日志存储路径

vim /etc/rsyslog.conf    
kern.*  /var/log/iptables.log

步骤三

重启rsyslog服务

service rsyslog status  
service rsyslog restart

3.2 镜像准备

  1. 创建Dockerfile

    vim Dockerfile

    FROM nginx
RUN apt-get update 
RUN apt-get install -y iputils-ping iproute2 wget

  2. 构建镜像

    docker build -t mybusybox .

3.3 创建测试容器

  1. 创建calico网络net1(master节点) 
    docker network create --driver calico --ipam-driver calico-ipam net1
  2. 创建容器(master节点) 
    docker run --net net1 --name web1 -itd  mybusybox    
docker run --net net1 --name web2 -itd  mybusybox
  3. 创建容器(slave1节点) 
    docker run --net net1 --name web3 -itd  mybusybox

四、测试

下图展示了iptables规则链的方向:

使用iptables规则链分析在docker+calico环境下数据包的流向_第4张图片
iptables规则链

我的困惑是，在calico+docker环境下，数据包是如何在网卡之间进行通信的，方向是什么？
所以才有了下面的场景测试，希望通过这些测试，了解数据包的走向。
为什么，要了解一下呢？
好多上层应用功能的实现，底层几乎都是 iptables规则链来实现的。如:

  • kubernetes中的networkpolicy
  • calico中的profile
  • kubernetes中的kube-proxy的原理
    如果对iptables，ipset有了深入的了解，假如线上生产环境出了相关问题，知道如何去排查。

接下来，从以下场景进行测试:

  • 容器与宿主机之间的通信
  • 容器与calico集群中非宿主机之间的通信
  • 同节点上，不同容器之间的通信
  • 跨节点环境下，不同容器之间的通信

4.1 场景一: 从宿主机到容器

  1. 展示图：
    使用iptables规则链分析在docker+calico环境下数据包的流向_第5张图片
    从宿主机到容器
  2. ping -c 1 172.20.219.80
    使用iptables规则链分析在docker+calico环境下数据包的流向_第6张图片
    ping
  3. 查看ens33, 以及web1容器对应的网卡
    使用iptables规则链分析在docker+calico环境下数据包的流向_第7张图片
    ens33网卡

    使用iptables规则链分析在docker+calico环境下数据包的流向_第8张图片
    web1网卡
  4. tai -f /var/log/iptables
    调试日志，很多，只留下nat，filter表日志，其他表日志删除。
Dec  1 03:35:44 localhost kernel: TRACE: nat:OUTPUT:rule:1 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DF PROTO8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-OUTPUT:rule:1 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DF TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-fip-dnat:return:1 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708CMP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-OUTPUT:return:2 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:OUTPUT:policy:3 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DF PROE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 

Dec  1 03:35:44 localhost kernel: TRACE: filter:OUTPUT:rule:1 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DF PRPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: filter:cali-OUTPUT:rule:2 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 MP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: filter:OUTPUT:policy:2 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DF TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 

Dec  1 03:35:44 localhost kernel: TRACE: nat:POSTROUTING:rule:1 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DF TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-POSTROUTING:rule:1 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=4570ICMP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-fip-snat:return:1 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708CMP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-POSTROUTING:rule:2 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=4570ICMP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-nat-outgoing:return:2 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=4TO=ICMP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:cali-POSTROUTING:return:3 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45O=ICMP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 
Dec  1 03:35:44 localhost kernel: TRACE: nat:POSTROUTING:policy:3 IN= OUT=calid55c454dfaa SRC=172.16.91.225 DST=172.20.219.80 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45708 DP TYPE=8 CODE=0 ID=3584 SEQ=1 UID=0 GID=0 

Dec  1 03:35:44 localhost kernel: TRACE: filter:INPUT:rule:1 IN=calid55c454dfaa OUT= MAC=d6:c3:32:3b:a6:bb:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.80 DST=172.16.91.225 LE00 PREC=0x00 TTL=64 ID=29622 PROTO=ICMP TYPE=0 CODE=0 ID=3584 SEQ=1 MARK=0x4000000 
Dec  1 03:35:44 localhost kernel: TRACE: filter:cali-INPUT:rule:2 IN=calid55c454dfaa OUT= MAC=d6:c3:32:3b:a6:bb:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.80 DST=172.16.91.2OS=0x00 PREC=0x00 TTL=64 ID=29622 PROTO=ICMP TYPE=0 CODE=0 ID=3584 SEQ=1 MARK=0x4000000 
Dec  1 03:35:44 localhost kernel: TRACE: filter:cali-wl-to-host:rule:1 IN=calid55c454dfaa OUT= MAC=d6:c3:32:3b:a6:bb:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.80 DST=172.16=84 TOS=0x00 PREC=0x00 TTL=64 ID=29622 PROTO=ICMP TYPE=0 CODE=0 ID=3584 SEQ=1 MARK=0x4000000 
Dec  1 03:35:44 localhost kernel: TRACE: filter:cali-from-wl-dispatch:rule:10 IN=calid55c454dfaa OUT= MAC=d6:c3:32:3b:a6:bb:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.80 DST225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=29622 PROTO=ICMP TYPE=0 CODE=0 ID=3584 SEQ=1 MARK=0x4000000 
Dec  1 03:35:44 localhost kernel: TRACE: filter:cali-from-wl-dispatch-d:rule:1 IN=calid55c454dfaa OUT= MAC=d6:c3:32:3b:a6:bb:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.80 DS.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=29622 PROTO=ICMP TYPE=0 CODE=0 ID=3584 SEQ=1 MARK=0x4000000 
Dec  1 03:35:44 localhost kernel: TRACE: filter:cali-fw-calid55c454dfaa:rule:1 IN=calid55c454dfaa OUT= MAC=d6:c3:32:3b:a6:bb:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.80 DS.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=29622 PROTO=ICMP TYPE=0 CODE=0 ID=3584 SEQ=1 MARK=0x4000000
使用iptables规则链分析在docker+calico环境下数据包的流向_第9张图片
TYPE=8 CODE=0与TYPE=0 CODE=0说明

将上面的iptables 日志，转换成下面的流向图:

使用iptables规则链分析在docker+calico环境下数据包的流向_第10张图片
从宿主机到容器的数据包

iptables日志格式说明

使用iptables规则链分析在docker+calico环境下数据包的流向_第11张图片
iptables日志格式说明

https://blog.csdn.net/liukuan73/article/details/78635655
使用iptables规则链分析在docker+calico环境下数据包的流向_第12张图片
iptables日志格式说明

  1. 总结(从宿主机到容器的数据包流向图):
  • 从宿主机到容器 走的是OUTPUT ---> POSTROUTING
  • 容器给宿主机的答复，走的是 INPUT链
  • 只能是主链之间的跳转，不能是子链调主链

4.2 场景二：从容器到宿主机

  1. 数据包流向图:

    使用iptables规则链分析在docker+calico环境下数据包的流向_第13张图片
    从容器到宿主机数据包流向图

  2. docker exec -it web1 ping -c 1 172.16.91.225


    使用iptables规则链分析在docker+calico环境下数据包的流向_第14张图片
    ping

  3. tail -f iptables.log

Dec  2 03:10:15 master kernel: TRACE: nat:PREROUTING:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: nat:cali-PREROUTING:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: nat:cali-fip-dnat:return:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: nat:cali-PREROUTING:return:2 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: nat:PREROUTING:rule:2 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: nat:DOCKER:return:2 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: nat:PREROUTING:policy:3 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 


Dec  2 03:10:15 master kernel: TRACE: filter:INPUT:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-INPUT:rule:2 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-wl-to-host:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-from-wl-dispatch:rule:3 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-from-wl-dispatch-2:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-fw-cali282b0776936:rule:3 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-fw-cali282b0776936:rule:4 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-pro-net1:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x4000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-pro-net1:rule:2 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x5000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-fw-cali282b0776936:rule:5 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x5000000 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-wl-to-host:rule:2 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x5000000 

Dec  2 03:10:15 master kernel: TRACE: nat:INPUT:policy:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45306 DF PROTO=ICMP TYPE=8 CODE=0 ID=12 SEQ=1 MARK=0x5000000 

Dec  2 03:10:15 master kernel: TRACE: filter:OUTPUT:rule:1 IN= OUT=cali282b0776936 SRC=172.16.91.225 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=20759 PROTO=ICMP TYPE=0 CODE=0 ID=12 SEQ=1 
Dec  2 03:10:15 master kernel: TRACE: filter:cali-OUTPUT:rule:2 IN= OUT=cali282b0776936 SRC=172.16.91.225 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=20759 PROTO=ICMP TYPE=0 CODE=0 ID=12 SEQ=1 
Dec  2 03:10:15 master kernel: TRACE: filter:OUTPUT:policy:2 IN= OUT=cali282b0776936 SRC=172.16.91.225 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=20759 PROTO=ICMP TYPE=0 CODE=0 ID=12 SEQ=1
使用iptables规则链分析在docker+calico环境下数据包的流向_第15张图片
iptables规则说明

  1. 将上面的日志，转换成下面的流向图

    使用iptables规则链分析在docker+calico环境下数据包的流向_第16张图片
    流向图说明

  2. 总结(从容器到宿主机数据包流向图)

  • 从容器到宿主机走的是路线是: PREOUTING ---> INPUT
  • 宿主机 答复 容器的 走的路线是: OUTPUT

4.3 场景三：从容器访问calico集群中的非宿主机

  1. 数据包流向图:

    使用iptables规则链分析在docker+calico环境下数据包的流向_第17张图片
    从容器到宿主机数据包流向图

  2. docker exec -it web1 ping -c 1 172.16.91.226


    使用iptables规则链分析在docker+calico环境下数据包的流向_第18张图片
    web1容器 ping slave1

  3. tail -f iptables.log
    master节点上iptables的日志

Dec  2 03:38:09 master kernel: TRACE: nat:PREROUTING:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: nat:cali-PREROUTING:rule:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: nat:cali-fip-dnat:return:1 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: nat:cali-PREROUTING:return:2 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: nat:PREROUTING:policy:3 IN=cali282b0776936 OUT= MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 

Dec  2 03:38:09 master kernel: TRACE: filter:FORWARD:rule:1 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-FORWARD:rule:1 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-from-wl-dispatch:rule:3 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-from-wl-dispatch-2:rule:1 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-fw-cali282b0776936:rule:3 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-fw-cali282b0776936:rule:4 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-pro-net1:rule:1 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x4000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-pro-net1:rule:2 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-fw-cali282b0776936:rule:5 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-FORWARD:rule:3 IN=cali282b0776936 OUT=ens33 MAC=4a:0c:7a:74:5d:26:ee:ee:ee:ee:ee:ee:08:00 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 

Dec  2 03:38:09 master kernel: TRACE: nat:POSTROUTING:rule:1 IN= OUT=ens33 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 
Dec  2 03:38:09 master kernel: TRACE: nat:cali-POSTROUTING:rule:1 IN= OUT=ens33 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 
Dec  2 03:38:09 master kernel: TRACE: nat:cali-fip-snat:return:1 IN= OUT=ens33 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 
Dec  2 03:38:09 master kernel: TRACE: nat:cali-POSTROUTING:rule:2 IN= OUT=ens33 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 
Dec  2 03:38:09 master kernel: TRACE: nat:cali-nat-outgoing:rule:1 IN= OUT=ens33 SRC=172.20.219.81 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 MARK=0x5000000 

Dec  2 03:38:09 master kernel: TRACE: filter:FORWARD:rule:1 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-FORWARD:rule:2 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-to-wl-dispatch:rule:3 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-to-wl-dispatch-2:rule:1 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 master kernel: TRACE: filter:cali-tw-cali282b0776936:rule:1 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1

slave1节点上iptables的日志

Dec  2 03:38:09 slave1 kernel: TRACE: nat:PREROUTING:rule:1 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: nat:cali-PREROUTING:rule:1 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: nat:cali-fip-dnat:return:1 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: nat:cali-PREROUTING:return:2 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: nat:PREROUTING:rule:2 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: nat:DOCKER:return:2 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: nat:PREROUTING:policy:3 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 

Dec  2 03:38:09 slave1 kernel: TRACE: filter:INPUT:rule:1 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-INPUT:rule:3 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-INPUT:rule:4 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-from-host-endpoint:return:1 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-INPUT:return:6 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:INPUT:policy:2 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: nat:INPUT:policy:1 IN=ens33 OUT= MAC=00:0c:29:5e:b2:88:00:0c:29:2e:0f:7b:08:00 SRC=172.16.91.225 DST=172.16.91.226 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=13891 DF PROTO=ICMP TYPE=8 CODE=0 ID=17 SEQ=1 

Dec  2 03:38:09 slave1 kernel: TRACE: filter:OUTPUT:rule:1 IN= OUT=ens33 SRC=172.16.91.226 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-OUTPUT:rule:3 IN= OUT=ens33 SRC=172.16.91.226 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-OUTPUT:rule:4 IN= OUT=ens33 SRC=172.16.91.226 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-to-host-endpoint:return:1 IN= OUT=ens33 SRC=172.16.91.226 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:cali-OUTPUT:return:6 IN= OUT=ens33 SRC=172.16.91.226 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1 
Dec  2 03:38:09 slave1 kernel: TRACE: filter:OUTPUT:policy:2 IN= OUT=ens33 SRC=172.16.91.226 DST=172.16.91.225 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=45474 PROTO=ICMP TYPE=0 CODE=0 ID=17 SEQ=1

  1. 将上面的日志，转换成下面的流向图

    使用iptables规则链分析在docker+calico环境下数据包的流向_第19张图片
    master节点流向图说明

    使用iptables规则链分析在docker+calico环境下数据包的流向_第20张图片
    slave1节点流向图说明

  2. 总结(从容器到宿主机数据包流向图)

  • 从web1容器到slave1宿主机走的是路线是:
    • master节点
      • PREROUTING ---> FORWARD ---> POSTROUTING
    • slave1节点上
      • PREROUTING ---> INPUT
  • slave1宿主机 答复 web1容器的 走的路线是:
    • slave1节点上
      • OUTPUT
    • master节点上
      • FORWARD

4.4 场景四：从calico集群中非宿主机访问容器

  1. 数据包流向图:

    使用iptables规则链分析在docker+calico环境下数据包的流向_第21张图片
    从容器到宿主机数据包流向图

  2. ping -c 1 172.20.219.81

    使用iptables规则链分析在docker+calico环境下数据包的流向_第22张图片
    slave1 ping web1

    默认情况下，是ping不通的
    使用iptables规则链分析在docker+calico环境下数据包的流向_第23张图片
    slave1网卡ens33

  3. 将上面的日志，转换成下面的流向图

    使用iptables规则链分析在docker+calico环境下数据包的流向_第24张图片
    slave1节点流向图说明

    使用iptables规则链分析在docker+calico环境下数据包的流向_第25张图片
    master节点流向图说明

  4. 总结(从容器到宿主机数据包流向图)

  • 从slave1宿主机 到 web1容器走的是路线是:
    • slave1节点上
      • OUTPUT ---> POSTROUTING
    • master节点上
      • PREROUTING ---> FORWARD
  1. 解析下，为什么默认情况下，slave1节点ping不同master节点上的web容器
    默认情况下profile策略里规定了进入容器的规则里，含有标签net1，也就是同一个calico网络里的容器才能访问，而slave1节点不属于net1网络，因此进不去。
    使用iptables规则链分析在docker+calico环境下数据包的流向_第26张图片
    profile

    下面从iptables规则链里查看原因？
    master节点上，查看iptables的日志，如下:
Dec  2 04:20:14 master kernel: TRACE: nat:PREROUTING:rule:1 IN=ens33 OUT= MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: nat:cali-PREROUTING:rule:1 IN=ens33 OUT= MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: nat:cali-fip-dnat:return:1 IN=ens33 OUT= MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: nat:cali-PREROUTING:return:2 IN=ens33 OUT= MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: nat:PREROUTING:policy:3 IN=ens33 OUT= MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 

Dec  2 04:20:14 master kernel: TRACE: filter:FORWARD:rule:1 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: filter:cali-FORWARD:rule:2 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: filter:cali-to-wl-dispatch:rule:3 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: filter:cali-to-wl-dispatch-2:rule:1 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: filter:cali-tw-cali282b0776936:rule:3 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: filter:cali-tw-cali282b0776936:rule:4 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: filter:cali-pri-net1:return:3 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1 
Dec  2 04:20:14 master kernel: TRACE: filter:cali-tw-cali282b0776936:rule:6 IN=ens33 OUT=cali282b0776936 MAC=00:0c:29:2e:0f:7b:00:0c:29:5e:b2:88:08:00 SRC=172.16.91.226 DST=172.20.219.81 LEN=84 TOS=0x00 PREC=0x00 TTL=63 ID=21102 DF PROTO=ICMP TYPE=8 CODE=0 ID=2916 SEQ=1

我们重点看下filter表里的规则链

使用iptables规则链分析在docker+calico环境下数据包的流向_第27张图片
master节点上分析iptables规则链1

使用iptables规则链分析在docker+calico环境下数据包的流向_第28张图片
master节点上分析iptables规则链2

使用iptables规则链分析在docker+calico环境下数据包的流向_第29张图片
master节点上分析iptables规则链3

使用iptables规则链分析在docker+calico环境下数据包的流向_第30张图片
master节点上分析iptables规则链4

使用iptables规则链分析在docker+calico环境下数据包的流向_第31张图片
master节点上分析iptables规则链5

使用iptables规则链分析在docker+calico环境下数据包的流向_第32张图片
master节点上分析iptables规则链6

使用iptables规则链分析在docker+calico环境下数据包的流向_第33张图片
master节点上分析iptables规则链7

使用iptables规则链分析在docker+calico环境下数据包的流向_第34张图片
master节点上分析iptables规则链8

使用iptables规则链分析在docker+calico环境下数据包的流向_第35张图片
master节点上分析iptables规则链9

profile文件中source属性里的tag 是由ipset模块来控制的
可以通过删除tag，添加tag来观察不同之处
source属性

4.5 场景五：同节点上，不同容器之间的访问

  1. 数据包流向图:

    使用iptables规则链分析在docker+calico环境下数据包的流向_第36张图片
    从容器到宿主机数据包流向图

  2. docker exec -it web1 ping -c 1 172.20.219.84


    使用iptables规则链分析在docker+calico环境下数据包的流向_第37张图片
    同节点上不同容器之间的ping

  3. tail -f iptables.log
    日志太多了，就不贴了。

  4. 将上面的日志，转换成下面的流向图

    使用iptables规则链分析在docker+calico环境下数据包的流向_第38张图片
    流向图说明

  5. 总结(从容器到宿主机数据包流向图)

  • 从web1容器到web2容器走的是路线是:
    • PREROUTING ---> FORWARD ---> POSTROUTING
  • web2容器 答复 web1容器的 走的路线是:
    • FORWARD

4.6 场景六：跨节点，容器间互相访问

  1. 数据包流向图:

    使用iptables规则链分析在docker+calico环境下数据包的流向_第39张图片
    从web1容器到web3容器数据包流向图

  2. docker exec -it web1 ping -c 1 web3


    使用iptables规则链分析在docker+calico环境下数据包的流向_第40张图片
    跨节点容器ping测试

  3. tail -f iptables.log
    日志太多，不上传了。

  4. 将上面的日志，转换成下面的流向图

    使用iptables规则链分析在docker+calico环境下数据包的流向_第41张图片
    master节点流向图说明

    使用iptables规则链分析在docker+calico环境下数据包的流向_第42张图片
    slave1节点流向图说明

  5. 总结(从容器到宿主机数据包流向图)

  • master节点上 从web1容器到web3容器走的是路线是:
    • PREROUTING ---> FORWARD ---> POSTROUTING
    • FORWARD
  • slave1节点上 走的路线是:
    • PREROUTING ---> FORWARD ---> POSTROUTING
    • FORWARD

你可能感兴趣的:(使用iptables规则链分析在docker+calico环境下数据包的流向)

  • android Camera 的进化 消失的旧时光-1943 音视频android
    引言Android的camera发展经历了3个阶段：camera1-》camera2-》cameraX。正文Camera1Camera1的开发中，打开相机，设置参数的过程是同步的，就跟用户实际使用camera的操作步骤一样。但是如果有耗时情况发生时，会导致整个调用线程等待；存在的限制：开发者如果想要个性化设置camera效果，无法手动设置调整参数，需要依靠第三方算法对于回调的数据进行处理（NV21
  • 微服务02：如何解决或者说降低架构复杂度？ 爆炸糖_Alex 微服务架构微服务云原生
    1.什么是CAPCAP定理，也被称为Brewer定理，是分布式计算中的一个重要概念。它由计算机科学家EricBrewer于2000年提出，并由SethGilbert和NancyLynch于2002年正式证明。CAP定理强调了分布式系统中三个关键属性之间的固有权衡，这三个属性分别是：一致性（Consistency）可用性（Availability）分区容忍性（PartitionTolerance）以
  • 【2024年华为OD机试】(B卷,200分)- 字符串化繁为简 （JavaScript&Java & Python&C/C++） 妄北y 算法汇集笔记总结(保姆级)华为odjavascriptjavac语言python
    一、问题描述题目描述给定一个输入字符串，字符串只可能由英文字母（‘a’~‘z’、‘A’~‘Z’）和左右小括号（‘(’、‘)’）组成。当字符里存在小括号时，小括号是成对的，可以有一个或多个小括号对，小括号对不会嵌套，小括号对内可以包含1个或多个英文字母，也可以不包含英文字母。当小括号对内包含多个英文字母时，这些字母之间是相互等效的关系，而且等效关系可以在不同的小括号对之间传递。即当存在‘a’和‘b’
  • Armv8&Armv9架构入门指南 牧雁照
    Armv8&Armv9架构入门指南【下载地址】Armv8Armv9架构入门指南分享Armv8&Armv9架构入门指南欢迎阅读《Armv8&Armv9架构入门指南》，本指南专为对ARM处理器架构感兴趣的开发者、研究人员以及技术爱好者设计项目地址:https://gitcode.com/Open-source-documentation-tutorial/27e07欢迎阅读《Armv8&Armv9架构
  • 爬虫基础（六）代理简述 A.sir啊 网络爬虫必备知识点网络协议爬虫python
    目录一、什么是代理二、基本原理三、代理分类一、什么是代理爬虫一般是自动化的，当我们自动运行时爬虫自动抓取数据，但一会就出现了错误：如，您的访问频率过高！这是因为网站的反爬措施，如果频繁访问，则会被禁止，即封IP为解决这种情况，我们需要把自己的IP伪装一下，即代理所谓代理，就是代理服务器。二、基本原理正常来说：客户发送请求给服务器然后服务器将响应传给客户而代理的话：相当于在客户和服务器之间加一个代理
  • Android Jetpack Compose快速上手 xiangzhihong8 深入Android应用开发androidandroidjetpack
    一、JetpackCompose简介JetpackCompose是Google推出的一个用于构建原生Android界面的工具包，旨在帮助开发者更快、更轻松地在Android平台上构建原生客户端应用。同时，作为全新的声明式的UI框架，JetpackCompose可以使用声明式KotlinAPI取代Android传统的xml布局。那什么是声明式呢？要搞清楚这个问题，我们需要布局开发中的另外一个概念：命
  • NumPy 字符串函数 wjs2024 开发语言
    NumPy字符串函数引言NumPy是Python中一个强大的科学计算库，它提供了高效的数值计算功能。除了强大的数值处理能力外，NumPy还提供了一系列用于字符串处理的函数，这些函数对于数据清洗和预处理非常有用。本文将详细介绍NumPy中常用的字符串函数，帮助您更好地理解和运用这些函数。NumPy字符串函数概述NumPy字符串函数主要分为以下几类：字符串连接与分割字符串搜索与替换字符串转换与格式化字
  • Eclipse 编译项目 wjs2024 开发语言
    Eclipse编译项目Eclipse是一个广泛使用的集成开发环境（IDE），它支持多种编程语言，包括Java、C/C++和Python。在Eclipse中编译项目是一个基本但重要的过程，确保代码的正确性和运行效率。本文将详细介绍在Eclipse中编译项目的步骤，包括配置、常见问题及其解决方案。1.配置Eclipse环境在开始编译项目之前，确保您的Eclipse环境已经正确配置。这包括安装适当的编程
  • Django 模型 wjs2024 开发语言
    Django模型Django模型是Django框架的核心组件之一，它用于定义应用程序的数据结构。在Django中，模型是Python类，通常继承自django.db.models.Model。每个模型类代表数据库中的一个表，模型类的属性对应表中的字段。1.创建模型创建Django模型非常简单。首先，你需要定义一个继承自django.db.models.Model的类，然后在类中定义模型字段。例如，
  • WebForms DataList 深入解析 wjs2024 开发语言
    WebFormsDataList深入解析引言在Web开发领域，控件是构建用户界面（UI）的核心组件。ASP.NETWebForms框架提供了丰富的控件，其中DataList控件是一个灵活且强大的数据绑定控件。本文将深入探讨WebFormsDataList控件的功能、用法以及在实际开发中的应用。DataList控件概述1.1什么是DataList控件DataList控件是ASP.NETWebForm
  • 如何使用Spark Streaming 会探索的小学生 spark大数据分布式
    一、什么叫SparkStreaming基于SparkCore，大规模、高吞吐量、容错的实时数据流的处理二、SparkStreaming依赖org.apache.sparkspark-streaming_2.112.1.2三、什么叫DStreamDStream：DiscretizedStream离散流，这是SparkStreaming对内部持续的实时数据流的抽象描述，即我们处理的一个实时数据流，在S
  • 本地部署DeepSeek-R1 1.5B 狂笑韦恩 大模型deepseek
    第一步，下载ollama:ollama然后安装ollama然后打开windowspowershell然后输入ollamarundeepseek-r1:1.5b等待ollama下载完模型，就是可以使用了ollamarundeepseek-r1:1.5bpullingmanifestpullingaabd4debf0c8…89%▕████████████████████████████████████
  • 数据库--oracle--如何在Ubuntu上安装Oracle cuijr_leaf oracle数据库
    写在前面：下面的内容是国外的一篇教程，我跟着做了一遍，没有什么问题，所以翻译过来供大家参考。环境：oracle12cubuntu18.04（我是在Ubuntu16.04上装的，也没什么问题）正文：欢迎你！这篇教程会教你如何一步步地在Ubuntu18.04服务器上安装Oracle12cR2数据库。这篇教程中包含所有你必须要执行的命令以及部分截图。整个过程可能有点儿难，所以需要你对shell命令有一定
  • Camera to NDI 局域网视频传输的高效之选 weixin_41951035 信号处理windows视频编解码实时音视频webrtc
    探索CameratoNDI：局域网视频传输的高效之选前言`在视频技术不断革新的当下，对于低延迟、高质量的局域网视频传输需求日益增长。CameratoNDI这款以NDI协议为核心的视频传输软件应运而生，为众多用户提供了出色的解决方案，而我（爱折腾的木匠）有幸参与了它部分代码的开发。NDI（NetworkDeviceInterface）协议是一种专门用于网络视频传输的标准，它能够在局域网络环境中实现极
  • MVC 模式与javaEE三层架构 剥包谷 javajavaWeb-mvc三层架构
    MVC设计模式mvc这种设计模式，不光运用于Web领域，而且也能用于非Web领域；可以特指一种表现层设计模式，不限于Java语言；JavaWeb应用中应用的最广泛的设计模式便是MVC模式，目前的主流Web框架大多也是基于MVC设计模式所编写的。MVC模式主要分为以下三个基础模块：Model模型：主要负责、javaBean封装数据、业务逻辑以及数据库的交互View视图：主要用于显示数据和提交数据Co
  • DeepSeek R1 Ollama本地化部署全攻略：三步实现企业级私有化大模型部署 Coderabo DeepSeekR1Ollama
    前言Ollama作为当前最受欢迎的本地大模型运行框架，为DeepSeekR1的私有化部署提供了便捷高效的解决方案。本文将深入讲解如何将HuggingFace格式的DeepSeekR1模型转换为Ollama支持的GGUF格式，并实现企业级的高可用部署方案。文章包含完整的量化配置、API服务集成和性能优化技巧。—一、基础环境搭建1.1系统环境要求操作系统：Ubuntu22.04LTS或CentOS8+
  • 使用高德地图MapView 明月照松雪 android
    跳过导入高德地图，导入包，直接到使用一、在Activity中使用1、在布局中使用mapview2、在Actvity中初始化地图遇到过的问题：（1）没有在onCreate中调用MapView.onCreate，导致地图是空白（2）onPause里使用了MapView.OnPause，onResume里没有使用MapView.OnResume，导致mapview卡住一动不动（移动地图，缩放手势都不起作
  • 如何更改Jupyter保存位置、路径 nebula-AI jupyteridepython
    前言Jupyter的文件默认保存在C盘的文档中，而本人习惯将文件都放在其它盘，故将Jupyter的保存位置更改到E盘。配置：Anaconda3(64-bit)中的jupyternotebook具体步骤一：找到配置文件在开始菜单栏中找到Anaconda3文件夹，打开AnacondaPrompt在打开的命令行窗口输入命令jupyternotebook--generate-config按y回车确定配置文
  • DNS原理介绍 不方便，你要方便吗？ DNS简单介绍网络服务器
    目录1.DNS简介2.常见的dns记录类型A记录AAAA记录CNAME记录DNAME记录CAA记录CERT记录MX记录NS记录SOA记录PTR记录SPF记录SRV记录别名记录NSEC记录URLFWD记录TXT记录1.DNS简介DNS(domainnamesystem）是一种域名解析协议。dns查询通常有三种·：递归查询，迭代查询，反向查询。1.递归查询：客户端向dns服务器询问答案，服务器返回最佳
  • hot100_21. 合并两个有序链表 TTXS123456789ABC BS_算法链表数据结构
    将两个升序链表合并为一个新的升序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。示例1：输入：l1=[1,2,4],l2=[1,3,4]输出：[1,1,2,3,4,4]示例2：输入：l1=[],l2=[]输出：[]示例3：输入：l1=[],l2=[0]输出：[0]迭代思路我们可以用迭代的方法来实现上述算法。当l1和l2都不是空链表时，判断l1和l2哪一个链表的头节点的值更小，将较小值的
  • MYSQL8+CENTOS7.6 主从+keepalived搭建总结 CRMEB定制开发 数据库centoslinuxmysqljava
    一、环境准备总共3个IP地址：2个物理机IP，1个VIPMASTER：10.18.96.15SLAVE:10.18.96.16VIP：10.18.96.17操作系统：CENTOS7.6数据库：MYSQL8.0.20我的硬件资源是8核16GMYSQL8下载地址：依赖下载地址：（CMAKE如果使用YUM源安装了CMAKE3，也可以不下载了）二、依赖安装在安装MYSQL8之前，得先有前置准备，否则就是各
  • nvm安装 node版本报错npm命令不存在 m0_67265654 前端htmllinux运维服务器
    因为项目需要用低版本的node，所以采用了nvm来切换node版本，想装v10.13.0版本的node，但是直接nvminstallv10.13.0时，报以下错误（已经没有截图了），如下：ErrorwhilecreatingC:ProgramFiles(x86)vm14.exe-openC:ProgramFiles(x86)vm10.13.0ode64.exe:Accessisdenied.Cou
  • 【Html.js——范围判定】偷梁换柱（蓝桥杯真题-2332）【合集】 Rossy Yan 蓝桥杯真题Html.jsJavaScripthtmljavascript蓝桥杯前端开发语言实训合集
    目录背景介绍准备步骤目标效果要求规定判分标准通关代码✔️代码解析一、Html部分二、JavaScript部分三、工作流程▶️测试结果背景介绍随着医疗水平的进步，人的平均寿命在慢慢提升。现在全球平均预期寿命是73.2岁，而在1950年则只有47岁。那么人类的寿命有极限吗？根据最新的研究，人类寿命或超过120岁，达到150岁。因此，有关年龄的应用普遍将当今人类的合理年龄范围设置在0-150岁之间。那么
  • Spark 任务与 Spark Streaming 任务的差异详解 goTsHgo spark-streaming分布式大数据sparkstreaming大数据分布式
    Spark任务与SparkStreaming任务的主要差异源自于两者的应用场景不同：Spark主要处理静态的大数据集，而SparkStreaming处理的是实时流数据。这些差异体现在任务的调度、执行、容错、数据处理模式等方面。接下来，我们将从底层原理和源代码的角度详细解析Spark任务和SparkStreaming任务的差别。1.任务调度模型差异1.1Spark任务的调度模型Spark的任务调度基
  • 吴晓波 历代经济变革得失@简明“中国经济史” - 读书笔记 喝醉酒的小白 破万卷成长
    目录《历代经济变革得失》读书笔记一、核心观点二、主要内容（一）导论（二）春秋战国时期（三）汉代（四）北宋（五）明清时期（六）近现代（七）结语三、金句书摘四、阅读感悟《历代经济变革得失》读书笔记一、核心观点本书以中国历史上重要的经济变革为脉络，深入探讨了从春秋战国到改革开放时期经济发展的得失，揭示了统一文化、分权均富、国有经济等因素在中国经济变革中的关键作用，以及对当下经济发展的启示。二、主要内容（
  • Python连接Oracle数据库：cx_Oracle与oracledb库的比较与选择 码上富贵 数据库pythonoracle
    文章目录一、概述cx_Oracleoracledb二、安装OracleInstantclient三、Python测试cx_Oracle：oracledb：一、概述Python访问Oracle可以通过两种Oracle官方库：旧驱动：cx_Oracle（需要安装OracleInstantclient）新驱动：oracledb（Oracle数据库12.1或更高版本不需要安装OracleInstantcl
  • C语言：整型提升 南玖yy c语言开发语言
    一，整型提升C语⾔中整型算术运算总是⾄少以缺省（默认）整型类型的精度来进⾏的。为了获得这个精度，表达式中的字符和短整型操作数在使⽤之前被转换为普通整型，这种转换称为整型提升。整型提升的意义：表达式的整型运算要在CPU的相应运算器件内执⾏，CPU内整型运算器(ALU)的操作数的字节⻓度⼀般就是int的字节⻓度，同时也是CPU的通⽤寄存器的⻓度。因此，即使两个char类型的相加，在CPU执⾏时实际上也
  • 数据库管理-第287期 Oracle DB 23.7新特性一览（20250124） 胖头鱼的鱼缸（尹海文） Oracle数据库oracle
    数据库管理287期2025-01-24数据库管理-第287期OracleDB23.7新特性一览（20250124）1AI向量搜索：算术和聚合运算2更改Compatible至23.6.0，以使用23.6或更高版本中的新AI向量搜索功能3CloudDeveloper包4DBMS_DEVELOPER.GET_METADATA：用于检索数据库对象元数据的API5PL/SQL中的维度算法支持6二元性视图放宽
  • Mac m1,m2,m3芯片使用nvm安装node14报错 李小苶 工具nodejsmacos
    使用nvm安装了node12/16/18都没有问题，到14就报错了。第一次看到这个报错有点懵，查询资料发现是Mac芯片的问题。Issue上提供了两个方案：1、为了在arm64的Mac上安装node14，需要使用Rosseta，可以通过以下命令安装/usr/sbin/softwareupdate--install-rosetta--agree-to-license2、更改arch后即可安装arch-
  • 4 Spark Streaming TTXS123456789ABC #Sparksparkajax大数据
    4SparkStreaming一级目录1.整体流程2.数据抽象3.DStream相关操作4.SparkStreaming完成实时需求1)WordCount2)updateStateByKey3)reduceByKeyAndWindow一级目录SparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行实时的处理，具有高吞吐量和容错能力强等特点。S
  • java杨辉三角 3213213333332132 java基础
    package com.algorithm; /** * @Description 杨辉三角 * @author FuJianyong * 2015-1-22上午10:10:59 */ public class YangHui { public static void main(String[] args) { //初始化二维数组长度 int[][] y
  • 《大话重构》之大布局的辛酸历史 白糖_ 重构
    《大话重构》中提到“大布局你伤不起”，如果企图重构一个陈旧的大型系统是有非常大的风险，重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”，下面我就分享这个“大布局”项目经验给大家。   背景         公司专注于企业级管理产品软件，企业有大中小之分，在2000年初公司用JSP/Servlet开发了一套针对中
  • 电驴链接在线视频播放源码 dubinwei 源码电驴播放器视频ed2k
    本项目是个搜索电驴（ed2k）链接的应用,借助于磁力视频播放器（官网： http://loveandroid.duapp.com/ 开放平台），可以实现在线播放视频，也可以用迅雷或者其他下载工具下载。 项目源码： http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。 项目源码依赖于两个库项目，库项目一链接： http://git.oschina.
  • Javascript中函数的toString()方法 周凡杨 JavaScriptjstoStringfunctionobject
    简述     The toString() method returns a string representing the source code of the function.     简译之，Javascript的toString()方法返回一个代表函数源代码的字符串。 句法     function.
  • struts处理自定义异常 g21121 struts
    很多时候我们会用到自定义异常来表示特定的错误情况，自定义异常比较简单，只要分清是运行时异常还是非运行时异常即可，运行时异常不需要捕获，继承自RuntimeException，是由容器自己抛出，例如空指针异常。 非运行时异常继承自Exception，在抛出后需要捕获，例如文件未找到异常。 此处我们用的是非运行时异常，首先定义一个异常LoginException: /** * 类描述：登录相
  • Linux中find常见用法示例 510888780 linux
    Linux中find常见用法示例 ·find   path   -option   [   -print ]   [ -exec   -ok   command ]   {} \; find命令的参数；
  • SpringMVC的各种参数绑定方式 Harry642 springMVC绑定表单
    1. 基本数据类型(以int为例，其他类似)： Controller代码： @RequestMapping("saysth.do") public void test(int count) { } 表单代码： <form action="saysth.do" method="post&q
  • Java 获取Oracle ROWID aijuans javaoracle
    A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row. The oracle.sql.ROWID class i
  • java获取方法的参数名 antlove javajdkparametermethodreflect
    reflect.ClassInformationUtil.java package reflect; import javassist.ClassPool; import javassist.CtClass; import javassist.CtMethod; import javassist.Modifier; import javassist.bytecode.CodeAtt
  • JAVA正则表达式匹配 查找 替换 提取操作 百合不是茶 java正则表达式替换提取查找
    正则表达式的查找;主要是用到String类中的split();       String str;      str.split();方法中传入按照什么规则截取,返回一个String数组   常见的截取规则: str.split("\\.")按照.来截取 str.
  • Java中equals()与hashCode()方法详解 bijian1013 javasetequals()hashCode()
    一.equals()方法详解     equals()方法在object类中定义如下：  public boolean equals(Object obj) { return (this == obj); }    很明显是对两个对象的地址值进行的比较（即比较引用是否相同）。但是我们知道，String 、Math、I
  • 精通Oracle10编程SQL(4)使用SQL语句 bijian1013 oracle数据库plsql
    --工资级别表 create table SALGRADE ( GRADE NUMBER(10), LOSAL NUMBER(10,2), HISAL NUMBER(10,2) ) insert into SALGRADE values(1,0,100); insert into SALGRADE values(2,100,200); inser
  • 【Nginx二】Nginx作为静态文件HTTP服务器 bit1129 HTTP服务器
     Nginx作为静态文件HTTP服务器 在本地系统中创建/data/www目录，存放html文件(包括index.html) 创建/data/images目录，存放imags图片 在主配置文件中添加http指令   http { server { listen 80; server_name
  • kafka获得最新partition offset blackproof kafkapartitionoffset最新
    kafka获得partition下标，需要用到kafka的simpleconsumer   import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.
  • centos 7安装docker两种方式 ronin47
          第一种是采用yum 方式              yum install -y docker           
  • java-60-在O(1)时间删除链表结点 bylijinnan java
    public class DeleteNode_O1_Time { /** * Q 60 在O(1)时间删除链表结点 * 给定链表的头指针和一个结点指针(!!)，在O(1)时间删除该结点 * * Assume the list is: * head->...->nodeToDelete->mNode->nNode->..
  • nginx利用proxy_cache来缓存文件 cfyme cache
    user  zhangy users; worker_processes 10; error_log  /var/vlogs/nginx_error.log  crit; pid        /var/vlogs/nginx.pid; #Specifies the value for ma
  • [JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题 comsci 嵌入式
        假如我们需要用JWFD的语法分析模块定义一个带负号的方程式，直接在方程式之前添加负号是不正确的，而必须这样做：     string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))"     定义一个0整数c,然后用这个整数c去
  • 如何集成支付宝官方文档 dai_lm android
    官方文档下载地址 https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash 集成的必要条件 1. 需要有自己的Server接收支付宝的消息 2. 需要先制作app，然后提交支付宝审核，通过后才能集成 调试的时候估计会真的扣款，请注意
  • 应该在什么时候使用Hadoop datamachine hadoop
    原帖地址：http://blog.chinaunix.net/uid-301743-id-3925358.html 存档，某些观点与我不谋而合，过度技术化不可取，且hadoop并非万能。 --------------------------------------------万能的分割线-------------------------------- 有人问我，“你在大数据和Hado
  • 在GridView中对于有外键的字段使用关联模型进行搜索和排序 dcj3sjt126com yii
    在GridView中使用关联模型进行搜索和排序 首先我们有两个模型它们直接有关联: class Author extends CActiveRecord { ... } class Post extends CActiveRecord { ... function relations() { return array( '
  • 使用NSString 的格式化大全 dcj3sjt126com Objective-C
    格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
  • 使用activeX插件对象object滚动有重影 蕃薯耀 activeX插件滚动有重影
      使用activeX插件对象object滚动有重影   <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
  • SpringMVC4零配置 hanqunfeng springmvc4
    基于Servlet3.0规范和SpringMVC4注解式配置方式，实现零xml配置，弄了个小demo，供交流讨论。     项目说明如下： 1.db.sql是项目中用到的表，数据库使用的是oracle11g 2.该项目使用mvn进行管理，私服为自搭建nexus,项目只用到一个第三方 jar，就是oracle的驱动； 3.默认项目为零配置启动，如果需要更改启动方式，请
  • 《开源框架那点事儿16》：缓存相关代码的演变 j2eetop 开源框架
    问题引入 上次我参与某个大型项目的优化工作，由于系统要求有比较高的TPS，因此就免不了要使用缓冲。 该项目中用的缓冲比较多，有MemCache，有Redis，有的还需要提供二级缓冲，也就是说应用服务器这层也可以设置一些缓冲。 当然去看相关实现代代码的时候，大致是下面的样子。 [java] view plain copy print ? public vo
  • AngularJS浅析 kvhur JavaScript
    概念 AngularJS is a structural framework for dynamic web apps. 了解更多详情请见原文链接：http://www.gbtags.com/gb/share/5726.htm Directive 扩展html，给html添加声明语句，以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称，ng是angular的命名空间
  • 架构师之jdk的bug排查(一)---------------split的点号陷阱 nannan408 split
    1.前言.    jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug. 2.代码 String[] paths = "object.object2.prop11".split("'"); System.ou
  • 如何对10亿数据量级的mongoDB作高效的全表扫描 quentinXXZ mongodb
      本文链接:  http://quentinXXZ.iteye.com/blog/2149440 一、正常情况下，不应该有这种需求 首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。 说一下，
  • C语言算法之水仙花数 qiufeihu c算法
    /** * 水仙花数 */ #include <stdio.h> #define N 10 int main() { int x,y,z; for(x=1;x<=N;x++) for(y=0;y<=N;y++) for(z=0;z<=N;z++) if(x*100+y*10+z == x*x*x
  • JSP指令 wyzuomumu jsp
    jsp指令的一般语法格式： <%@ 指令名 属性 =”值 ” %> 常用的三种指令： page,include,taglib page指令语法形式： <%@ page 属性 1=”值 1” 属性 2=”值 2”%> include指令语法形式： <%@include file=”relative url”%> (jsp可以通过 include
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他