jerry的技术与思维
jerry的技术与思维

IPVS从入门到精通kube-proxy实现原理(转)

本文有点长，但是笔者还是忍不住想转载下，深入浅出介绍了kube-proxy的实现和原理，非常值得一读，本文是转载于微信公众号int32bit，原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MDI3NDE1Mg==&mid=2247483931&idx=1&sn=bbfbf5221f86457ec089b02276afb6d9&chksm=e9858a1cdef2030af694b640b7c6569f937cfe0d1ce98c597816a229eae86aff3f546fba3371&scene=21#wechat_redirect

1 kube-proxy介绍

1.1 为什么需要kube-proxy

我们知道容器的特点是快速创建、快速销毁，Kubernetes Pod和容器一样只具有临时的生命周期，一个Pod随时有可能被终止或者漂移，随着集群的状态变化而变化，一旦Pod变化，则该Pod提供的服务也就无法访问，如果直接访问Pod则无法实现服务的连续性和高可用性，因此显然不能使用Pod地址作为服务暴露端口。

解决这个问题的办法和传统数据中心解决无状态服务高可用的思路完全一样，通过负载均衡和VIP实现后端真实服务的自动转发、故障转移。

这个负载均衡在Kubernetes中称为Service，VIP即Service ClusterIP，因此可以认为Kubernetes的Service就是一个四层负载均衡，Kubernetes对应的还有七层负载均衡Ingress，本文仅介绍Kubernetes Service。

这个Service就是由kube-proxy实现的，ClusterIP不会因为Podz状态改变而变，需要注意的是VIP即ClusterIP是个假的IP，这个IP在整个集群中根本不存在，当然也就无法通过IP协议栈无法路由，底层underlay设备更无法感知这个IP的存在，因此ClusterIP只能是单主机(Host Only）作用域可见，这个IP在其他节点以及集群外均无法访问。

Kubernetes为了实现在集群所有的节点都能够访问Service，kube-proxy默认会在所有的Node节点都创建这个VIP并且实现负载，所以在部署Kubernetes后发现kube-proxy是一个DaemonSet。

而Service负载之所以能够在Node节点上实现是因为无论Kubernetes使用哪个网络模型，均需要保证满足如下三个条件：

  1. 容器之间要求不需要任何NAT能直接通信；

  2. 容器与Node之间要求不需要任何NAT能直接通信；

  3. 容器看到自身的IP和外面看到它的IP必须是一样的，即不存在IP转化的问题。

至少第2点是必须满足的，有了如上几个假设，Kubernetes Service才能在Node上实现，否则Node不通Pod IP也就实现不了了。

有人说既然kube-proxy是四层负载均衡，那kube-proxy应该可以使用haproxy、nginx等作为负载后端啊？

事实上确实没有问题，不过唯一需要考虑的就是性能问题，如上这些负载均衡功能都强大，但毕竟还是基于用户态转发或者反向代理实现的，性能必然不如在内核态直接转发处理好。

因此kube-proxy默认会优先选择基于内核态的负载作为后端实现机制，目前kube-proxy默认是通过iptables实现负载的，在此之前还有一种称为userspace模式，其实也是基于iptables实现，可以认为当前的iptables模式是对之前userspace模式的优化。

本节接下来将详细介绍kube-proxy iptables模式的实现原理。

1.2 kube-proxy iptables模式实现原理

1.2.1 ClusterIP

首先创建了一个ClusterIP类型的Service:

 # kubectl get svc -l owner=int32bit`

 NAME                     TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S) AGE

 kubernetes-bootcamp-v1 ClusterIP  10.106.224.41    8080/TCP 163m

其中ClusterIP为10.106.224.41，我们可以验证这个IP在本地是不存在的:

root@ip-192-168-193-172:~# ping -c 2  -w 2  10.106.224.41

PING 10.106.224.41  (10.106.224.41)  56(84) bytes of data.

---  10.106.224.41 ping statistics ---

2 packets transmitted,  0 received,  100% packet loss, time 1025ms

root@ip-192-168-193-172:~# ip a | grep 10.106.224.41

root@ip-192-168-193-172:~#

所以不要尝试去ping ClusterIP，它不可能通的。

此时在Node节点192.168.193.172上访问该Service服务，首先流量到达的是OUTPUT链，这里我们只关心nat表的OUTPUT链：


 iptables-save -t nat | grep -- '-A OUTPUT'`

-A OUTPUT -m comment --comment "kubernetes service portals"  -j KUBE-SERVICES

该链跳转到 KUBE-SERVICES子链中:


# iptables-save -t nat | grep -- '-A KUBE-SERVICES'

...

-A KUBE-SERVICES !  -s 10.244.0.0/16  -d 10.106.224.41/32  -p tcp -m comment --comment "default/kubernetes-bootcamp-v1: cluster IP"  -m tcp --dport 8080  -j KUBE-MARK-MASQ

-A KUBE-SERVICES -d 10.106.224.41/32  -p tcp -m comment --comment "default/kubernetes-bootcamp-v1: cluster IP"  -m tcp --dport 8080  -j KUBE-SVC-RPP7DHNHMGOIIFDC

我们发现与之相关的有两条规则：

  • 第一条负责打标记MARK 0x4000/0x4000，后面会用到这个标记。

  • 第二条规则跳到 KUBE-SVC-RPP7DHNHMGOIIFDC子链。

其中 KUBE-SVC-RPP7DHNHMGOIIFDC子链规则如下:


# iptables-save -t nat | grep -- '-A KUBE-SVC-RPP7DHNHMGOIIFDC

-A KUBE-SVC-RPP7DHNHMGOIIFDC -m statistic --mode random --probability 0.33332999982  -j KUBE-SEP-FTIQ6MSD3LWO5HZX

-A KUBE-SVC-RPP7DHNHMGOIIFDC -m statistic --mode random --probability 0.50000000000  -j KUBE-SEP-SQBK6CVV7ZCKBTVI

-A KUBE-SVC-RPP7DHNHMGOIIFDC -j KUBE-SEP-IAZPHGLZVO2SWOVD

这几条规则看起来复杂，其实实现的功能很简单:

  • 1/3的概率跳到子链 KUBE-SEP-FTIQ6MSD3LWO5HZX,

  • 剩下概率的1/2，(1 - 1/3) * 1/2 == 1/3，即1/3的概率跳到子链 KUBE-SEP-SQBK6CVV7ZCKBTVI，

  • 剩下1/3的概率跳到 KUBE-SEP-IAZPHGLZVO2SWOVD。

我们查看其中一个子链 KUBE-SEP-FTIQ6MSD3LWO5HZX规则:


# iptables-save -t nat | grep -- '-A KUBE-SEP-FTIQ6MSD3LWO5HZX'

...

-A KUBE-SEP-FTIQ6MSD3LWO5HZX -p tcp -m tcp -j DNAT --to-destination 10.244.1.2:8080

可见这条规则的目的是做了一次DNAT，DNAT目标为其中一个Endpoint，即Pod服务。

由此可见子链 KUBE-SVC-RPP7DHNHMGOIIFDC的功能就是按照概率均等的原则DNAT到其中一个Endpoint IP，即Pod IP，假设为10.244.1.2，

此时相当于:


192.168.193.172:xxxx ->  10.106.224.41:8080`
                                     |
                                     |
                                     |
                                     | DNAT
                                     |
                                     V

192.168.193.172:xxxX ->  10.244.1.2:8080

接着来到POSTROUTING链:


# iptables-save -t nat | grep -- '-A POSTROUTING'

-A POSTROUTING -m comment --comment "kubernetes postrouting rules"  -j KUBE-POSTROUTING

# iptables-save -t nat | grep -- '-A KUBE-POSTROUTING'

-A KUBE-POSTROUTING -m comment --comment "kubernetes service traffic requiring SNAT"  -m mark --mark 0x4000/0x4000  -j MASQUERADE

这两条规则只做一件事就是只要标记了 0x4000/0x4000的包就一律做MASQUERADE（SNAT)，由于10.244.1.2默认是从flannel.1转发出去的，因此会把源IP改为flannel.1的IP 10.244.0.0。

192.168.193.172:xxxx ->  10.106.224.41:8080
                  |
                  | DNAT
                  V

192.168.193.172:xxxx ->  10.244.1.2:8080
                                   |
                                   | SNAT
                                   V
                 10.244.0.0:xxxx ->  10.244.1.2:8080

剩下的就是常规的走Vxlan隧道转发流程了，这里不再赘述，感兴趣的可以参考我之前的文章浅聊几种主流Docker网络的实现原理。

1.2.2 NodePort

接下来研究下NodePort过程，首先创建如下Service:


# kubectl get svc -l owner=int32bit`

NAME                     TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S) AGE`

kubernetes-bootcamp-v1 NodePort  10.106.224.41    8080:30419/TCP 3h30m

其中Service的NodePort端口为30419。

假设有一个外部IP 192.168.193.197，通过 192.168.193.172:30419访问服务。

首先到达PREROUTING链:


# iptables-save -t nat | grep -- '-A PREROUTING

-A PREROUTING -m comment --comment "kubernetes service portals"  -j KUBE-SERVICES

# iptables-save -t nat | grep -- '-A KUBE-SERVICES'

...

-A KUBE-SERVICES -m addrtype --dst-type LOCAL -j KUBE-NODEPORTS

PREROUTING的规则非常简单，凡是发给自己的包，则交给子链 KUBE-NODEPORTS处理。注意前面省略了判断ClusterIP的部分规则。

KUBE-NODEPORTS规则如下:


# iptables-save -t nat | grep -- '-A KUBE-NODEPORTS'

-A KUBE-NODEPORTS -p tcp -m comment --comment "default/kubernetes-bootcamp-v1:"  -m tcp --dport 30419  -j KUBE-MARK-MASQ

-A KUBE-NODEPORTS -p tcp -m comment --comment "default/kubernetes-bootcamp-v1:"  -m tcp --dport 30419  -j KUBE-SVC-RPP7DHNHMGOIIFDC

这个规则首先给包打上标记 0x4000/0x4000，然后交给子链 KUBE-SVC-RPP7DHNHMGOIIFDC处理， KUBE-SVC-RPP7DHNHMGOIIFDC刚刚已经见面过了，其功能就是按照概率均等的原则DNAT到其中一个Endpoint IP，即Pod IP，假设为10.244.1.2。

192.168.193.197:xxxx ->  192.168.193.172:30419
|
| DNAT
V

192.168.193.197:xxxx ->  10.244.1.2:8080

此时发现10.244.1.2不是自己的IP，于是经过路由判断目标为10.244.1.2需要从flannel.1发出去。

接着到了 FORWARD链，


# iptables-save -t filter | grep -- '-A FORWARD'

-A FORWARD -m comment --comment "kubernetes forwarding rules"  -j KUBE-FORWARD

# iptables-save -t filter | grep -- '-A KUBE-FORWARD'

-A KUBE-FORWARD -m conntrack --ctstate INVALID -j DROP

-A KUBE-FORWARD -m comment --comment "kubernetes forwarding rules"  -m mark --mark 0x4000/0x4000  -j ACCEPT

FORWARD表在这里只是判断下，只允许打了标记 0x4000/0x4000的包才允许转发。

最后来到 POSTROUTING链，这里和ClusterIP就完全一样了，在 KUBE-POSTROUTING中做一次 MASQUERADE(SNAT)，最后结果:

192.168.193.197:xxxx ->  192.168.193.172:30419
|
| DNAT
V
192.168.193.197:xxxx ->  10.244.1.2:8080
|
| SNAT
V
10.244.0.0:xxxx ->  10.244.1.2:8080

1.3 kube-proxy使用iptables存在的问题

我们发现基于iptables模式的kube-proxy ClusterIP和NodePort都是基于iptables规则实现的，我们至少发现存在如下几个问题：

  • iptables规则复杂零乱，真要出现什么问题，排查iptables规则必然得掉层皮。 LOG+TRACE 大法也不好使。

  • iptables规则多了之后性能下降，这是因为iptables规则是基于链表实现，查找复杂度为O(n)，当规模非常大时，查找和处理的开销就特别大。据官方说法，当节点到达5000个时，假设有2000个NodePort Service，每个Service有10个Pod，那么在每个Node节点中至少有20000条规则，内核根本支撑不住，iptables将成为最主要的性能瓶颈。

  • iptables主要是专门用来做主机防火墙的，而不是专长做负载均衡的。虽然通过iptables的 statistic模块以及DNAT能够实现最简单的只支持概率轮询的负载均衡，但是往往我们还需要更多更灵活的算法，比如基于最少连接算法、源地址HASH算法等。而同样基于netfilter的ipvs却是专门做负载均衡的，配置简单，基于散列查找O(1)复杂度性能好，支持数十种调度算法。因此显然ipvs比iptables更适合做kube-proxy的后端，毕竟专业的人做专业的事，物尽其美。

本文接下来将介绍kube-proxy的ipvs实现，由于本人之前也是对ipvs很陌生，没有用过，专门学习了下ipvs，因此在第二章简易介绍了下ipvs，如果已经很熟悉ipvs了，可以直接跳过，这一章和Kubernetes几乎没有任何关系。

另外由于本人对ipvs也是初学，水平有限，难免出错，欢迎指正！

2 IPVS 简易入门

2.1 IPVS简介

我们接触比较多的是应用层负载均衡，比如haproxy、nginx、F5等，这些负载均衡工作在用户态，因此会有对应的进程和监听socket，一般能同时支持4层负载和7层负载，使用起来也比较方便。

LVS是国内章文嵩博士开发并贡献给社区的（章文嵩博士和他背后的负载均衡帝国 )，主要由ipvs和ipvsadm组成，ipvs是工作在内核态的4层负载均衡，和iptables一样都是基于内核底层netfilter实现，netfilter主要通过各个链的钩子实现包处理和转发。ipvsadm和ipvs的关系，就好比netfilter和iptables的关系，它运行在用户态，提供简单的CLI接口进行ipvs配置。

由于ipvs工作在内核态，直接基于内核处理包转发，所以最大的特点就是性能非常好。又由于它工作在4层，因此不会处理应用层数据，经常有人问ipvs能不能做SSL证书卸载、或者修改HTTP头部数据，显然这些都不可能做的。

我们知道应用层负载均衡大多数都是基于反向代理实现负载的，工作在应用层，当用户的包到达负载均衡监听器listening后，基于一定的算法从后端服务列表中选择其中一个后端服务进行转发。当然中间可能还会有一些额外操作，最常见的如SSL证书卸载。

而ipvs工作在内核态，只处理四层协议，因此只能基于路由或者NAT进行数据转发，可以把ipvs当作一个特殊的路由器网关，这个网关可以根据一定的算法自动选择下一跳，或者把ipvs当作一个多重DNAT，按照一定的算法把ip包的目标地址DNAT到其中真实服务的目标IP。针对如上两种情况分别对应ipvs的两种模式--网关模式和NAT模式，另外ipip模式则是对网关模式的扩展，本文下面会针对这几种模式的实现原理进行详细介绍。

2.2 IPVS用法

ipvsadm命令行用法和iptables命令行用法非常相似，毕竟是兄弟，比如 -L列举， -A添加， -D删除。

ipvsadm -A -t 192.168.193.172:32016  -s rr

但是其实ipvsadm相对iptables命令简直太简单了，因为没有像iptables那样存在各种table，table嵌套各种链，链里串着一堆规则，ipvsadm就只有两个核心实体，分别为service和server，service就是一个负载均衡实例，而server就是后端member，ipvs术语中叫做real server，简称RS。

如下命令创建一个service实例 172.17.0.1:32016， -t指定监听的为 TCP端口， -s指定算法为轮询算法rr(Round Robin)，ipvs支持简单轮询(rr)、加权轮询(wrr)、最少连接(lc)、源地址或者目标地址散列(sh、dh)等10种调度算法。


ipvsadm -A -t 172.17.0.1:32016  -s rr

然后把10.244.1.2:8080、10.244.1.3:8080、10.244.3.2:8080添加到service后端member中。

ipvsadm -a -t 172.17.0.1:32016  -r 10.244.1.2:8080  -m -w 1

ipvsadm -a -t 172.17.0.1:32016  -r 10.244.1.3:8080  -m -w 1

ipvsadm -a -t 172.17.0.1:32016  -r 10.244.3.2:8080  -m -w 1

其中 -t指定service实例， -r指定server地址， -w指定权值， -m即前面说的转发模式，其中 -m表示为 masquerading，即NAT模式， -g为 gatewaying，即直连路由模式， -i为 ipip,ji即IPIP隧道模式。

与iptables-save、iptables-restore对应的工具ipvs也有ipvsadm-save、ipvsadm-restore。

2.3 NAT(network access translation)模式

NAT模式由字面意思理解就是通过NAT实现的，但究竟是如何NAT转发的，我们通过实验环境验证下。

现环境中LB节点IP为192.168.193.197，三个RS节点如下:

  • 192.168.193.172:30620

  • 192.168.193.194:30620

  • 192.168.193.226:30620

为了模拟LB节点IP和RS不在同一个网络的情况，在LB节点中添加一个虚拟IP地址:


ip addr add 10.222.0.1/24 dev ens5

创建负载均衡Service并把RS添加到Service中:

ipvsadm -A -t 10.222.0.1:8080  -s rr

ipvsadm -a -t 10.222.0.1:8080  -r 192.168.193.194:30620  -m

ipvsadm -a -t 10.222.0.1:8080  -r 192.168.193.226:30620  -m

ipvsadm -a -t 10.222.0.1:8080  -r 192.168.193.172:30620  -m

这里需要注意的是，和应用层负载均衡如haproxy、nginx不一样的是，haproxy、nginx进程是运行在用户态，因此会创建socket，本地会监听端口，而ipvs的负载是直接运行在内核态的，因此不会出现监听端口:


root@ip-192-168-193-197:/var/log# netstat -lnpt

Active  Internet connections (only servers)

Proto  Recv-Q Send-Q Local  Address  Foreign  Address  State PID/Program name

tcp 0  0  127.0.0.53:53  0.0.0.0:* LISTEN 674/systemd-resolve

tcp 0  0  0.0.0.0:22  0.0.0.0:* LISTEN 950/sshd

tcp6 0  0  :::22  :::* LISTEN 950/sshd

可见并没有监听10.222.0.1:8080 Socket。

Client节点IP为192.168.193.226，为了和LB节点的虚拟IP 10.222.0.1通，我们手动添加静态路由如下:


ip r add 10.222.0.1 via 192.168.193.197 dev ens5

此时Client节点能够ping通LB节点VIP:


root@ip-192-168-193-226:~# ping -c 2  -w 2  10.222.0.1

PING 10.222.0.1  (10.222.0.1)  56(84) bytes of data.

64 bytes from  10.222.0.1: icmp_seq=1 ttl=64 time=0.345 ms

64 bytes from  10.222.0.1: icmp_seq=2 ttl=64 time=0.249 ms

---  10.222.0.1 ping statistics ---

2 packets transmitted,  2 received,  0% packet loss, time 1022ms

rtt min/avg/max/mdev =  0.249/0.297/0.345/0.048 ms

可见Client节点到VIP的链路没有问题，那是否能够访问我们的Service呢？

我们验证下:


root@ip-192-168-193-226:~# curl -m 2  --retry  1  -sSL 10.222.0.1:8080

curl:  (28)  Connection timed out after 2001 milliseconds

非常意外的结果是并不通。

在RS节点抓包如下:

image

我们发现数据包的源IP为Client IP，目标IP为RS IP，换句话说，LB节点IPVS只做了DNAT，把目标IP改成RS IP了，而没有修改源IP。此时虽然RS和Client在同一个子网，链路连通性没有问题，但是由于Client节点发出去的包的目标IP和收到的包源IP不一致，因此会被直接丢弃，相当于给张三发信，李四回的信，显然不受信任。

既然IPVS没有给我们做SNAT，那自然想到的是我们手动做SNAT，在LB节点添加如下iptables规则：


iptables -t nat -A POSTROUTING -m ipvs --vaddr 10.222.0.1  --vport 8080  -j LOG --log-prefix '[int32bit ipvs]'
iptables -t nat -A POSTROUTING -m ipvs --vaddr 10.222.0.1  --vport 8080  -j MASQUERADE

再次检查Service是否可以访问:


root@ip-192-168-193-226:~# curl -m 2  --retry  1  -sSL 10.222.0.1:8080
curl:  (28)  Connection timed out after 2001 milliseconds

服务依然不通。并且在LB节点的iptables日志为空:

root@ip-192-168-193-197:~# cat /var/log/syslog | grep 'int32bit ipvs'
root@ip-192-168-193-197:~#

也就是说，ipvs的包根本不会经过iptables nat表POSTROUTING链？

那mangle表呢？我们打开LOG查看下:

iptables -t mangle -A POSTROUTING -m ipvs --vaddr 10.222.0.1  --vport 8080  -j LOG --log-prefix "[int32bit ipvs]"

此时查看日志如下：

image

我们发现在mangle表中可以看到DNAT后的包。

只是mangle表的POSTROUTING并不支持NAT功能:

image

对比Kubernetes配置发现需要设置如下系统参数:

sysctl net.ipv4.vs.conntrack=1

再次验证：

root@ip-192-168-193-226:~# curl -i 10.222.0.1:8080
HTTP/1.1  200 OK
Content-Type: text/plain
Date:  Wed,  27  Nov  2019  15:28:06 GMT
Connection: keep-alive
Transfer-Encoding: chunked

Hello  Kubernetes bootcamp!  |  Running on: kubernetes-bootcamp-v1-c5ccf9784-g9bkx | v=1

终于通了，查看RS抓包：

image

如期望，修改了源IP为LB IP。

原来需要配置 net.ipv4.vs.conntrack=1参数，这个问题折腾了一个晚上，不得不说目前ipvs的文档都太老了。

前面是通过手动iptables实现SNAT的，性能可能会有损耗，于是如下开源项目通过修改lvs直接做SNAT:

  • 小米运维部在LVS的FULLNAT基础上，增加了SNAT网关功能，参考xiaomi-sa/dsnat

  • lvs-snat

除了SNAT的办法，是否还有其他办法呢？想想我们最初的问题，Client节点发出去的包的目标IP和收到的包源IP不一致导致包被丢弃，那解决问题的办法就是把包重新引到LB节点上，只需要在所有的RS节点增加如下路由即可:

ip r add 192.168.193.226 via 192.168.193.197 dev ens5

此时我们再次检查我们的Service是否可连接:

root@ip-192-168-193-226:~# curl -i -m 2  --retry  1  -sSL 10.222.0.1:8080
HTTP/1.1  200 OK
Content-Type: text/plain
Date:  Wed,  27  Nov  2019  03:21:47 GMT
Connection: keep-alive
Transfer-Encoding: chunked

Hello  Kubernetes bootcamp!  |  Running on: kubernetes-bootcamp-v1-c5ccf9784-4v9z4  | v=1

结果没有问题。

不过我们是通过手动添加Client IP到所有RS的明细路由实现的，如果Client不固定，这种方案仍然不太可行，所以通常做法是干脆把所有RS默认路由指向LB节点，即把LB节点当作所有RS的默认网关。

由此可知，用户通过LB地址访问服务，LB节点IPVS会把用户的目标IP由LB IP改为RS IP，源IP不变，包不经过iptables的OUTPUT直接到达POSTROUTING转发出去，包回来的时候也必须先到LB节点，LB节点把目标IP再改成用户的源IP，最后转发给用户。

显然这种模式来回都需要经过LB节点，因此又称为双臂模式。

2.4 网关(Gatewaying)模式

网关模式（Gatewaying）又称为直连路由模式（Direct Routing）、透传模式，所谓透传即LB节点不会修改数据包的源IP、端口以及目标IP、端口，LB节点做的仅仅是路由转发出去，可以把LB节点看作一个特殊的路由器网关，而RS节点则是网关的下一跳，这就相当于对于同一个目标地址，会有多个下一跳，这个路由器网关的特殊之处在于能够根据一定的算法选择其中一个RS作为下一跳，达到负载均衡和冗余的效果。

既然是通过直连路由的方式转发，那显然LB节点必须与所有的RS节点在同一个子网，不能跨子网，否则路由不可达。换句话说，这种模式只支持内部负载均衡(Internal LoadBalancer)。

另外如前面所述，LB节点不会修改源端口和目标端口，因此这种模式也无法支持端口映射，换句话说LB节点监听的端口和所有RS节点监听的端口必须一致。

现在假设有LB节点IP为 192.168.193.197，有三个RS节点如下:

  • 192.168.193.172:30620

  • 192.168.193.194:30620

  • 192.168.193.226:30620

创建负载均衡Service并把RS添加到Service中:


ipvsadm -A -t 192.168.193.197:30620  -s rr
ipvsadm -a -t 192.168.193.197:30620  -r 192.168.193.194:30620  -g
ipvsadm -a -t 192.168.193.197:30620  -r 192.168.193.226:30620  -g
ipvsadm -a -t 192.168.193.197:30620  -r 192.168.193.172:30620  -g

注意到我们的Service监听的端口30620和RS的端口是一样的，并且通过 -g参数指定为直连路由模式(网关模式)。

Client节点IP为192.168.193.226，我们验证Service是否可连接：


root@ip-192-168-193-226:~# curl -m 5  -sSL 192.168.193.197:30620`

curl:  (28)  Connection timed out after 5001 milliseconds`

我们发现并不通，在其中一个RS节点192.168.193.172上抓包:

image

正如前面所说，LB是通过路由转发的，根据路由的原理，源MAC地址修改为LB的MAC地址，而目标MAC地址修改为RS MAC地址，相当于RS是LB的下一跳。

并且源IP和目标IP都不会修改。问题就来了，我们Client期望访问的是RS，但RS收到的目标IP却是LB的IP，发现这个目标IP并不是自己的IP，因此不会通过INPUT链转发到用户空间，这时要不直接丢弃这个包，要不根据路由再次转发到其他地方，总之两种情况都不是我们期望的结果。

那怎么办呢？为了让RS接收这个包，必须得让RS有这个目标IP才行。于是不妨在lo上添加个虚拟IP，IP地址伪装成LB IP 192.168.193.197:

ifconfig lo:0  192.168.193.197/32

问题又来了，这就相当于有两个相同的IP，IP重复了怎么办？办法是隐藏这个虚拟网卡，不让它回复ARP，其他主机的neigh也就不可能知道有这么个网卡的存在了，参考Using arp announce/arp ignore to disable ARP。

sysctl net.ipv4.conf.lo.arp_ignore=1
sysctl net.ipv4.conf.lo.arp_announce=2

此时再次从客户端curl:

root@ip-192-168-193-226:~# curl -m 2  --retry 1  -sSL 192.168.193.197:30620

Hello  Kubernetes bootcamp!  |  Running on: kubernetes-bootcamp-v1-c5ccf9784-4v9z4  | v=1

终于通了。

我们从前面的抓包中知道，源IP为Client IP 192.168.193.226，因此直接回包给Client即可，不可能也不需要再回到LB节点了，即A->B,B->C，C->A，流量方向是三角形状的，因此这种模式又称为三角模式。

我们从原理中不难得出如下结论：

  • Client、LB以及所有的RS必须在同一个子网。

  • LB节点直接通过路由转发，因此性能非常高。

  • 不能做端口映射。

2.5 ipip隧道模式

前面介绍了网关直连路由模式，要求所有的节点在同一个子网，而ipip隧道模式则主要解决这种限制，LB节点IP和RS可以不在同一个子网，此时需要通过ipip隧道进行传输。

现在假设有LB节点IP为 192.168.193.77/25，在该节点上增加一个VIP地址:

ip addr add 192.168.193.48/25 dev eth0

有三个RS节点如下:

  • 192.168.193.172:30620

  • 192.168.193.194:30620

  • 192.168.193.226:30620

如上三个RS节点子网掩码均为255.255.255.128，即25位子网，显然和VIP 192.168.193.48/25不在同一个子网。

创建负载均衡Service并把RS添加到Service中:

ipvsadm -A -t 192.168.193.48:30620  -s rr
ipvsadm -a -t 192.168.193.48:30620  -r 192.168.193.194:30620  -i
ipvsadm -a -t 192.168.193.48:30620  -r 192.168.193.226:30620  -i
ipvsadm -a -t 192.168.193.48:30620  -r 192.168.193.172:30620  -i

注意到我们的Service监听的端口30620和RS的端口是一样的，并且通过 -i参数指定为ipip隧道模式。

在所有的RS节点上加载ipip模块以及添加VIP(和直连路由类型）:

modprobe ipip
ifconfig tunl0 192.168.193.48/32
sysctl net.ipv4.conf.tunl0.arp_ignore=1
sysctl net.ipv4.conf.tunl0.arp_announce=2

Client节点IP为192.168.193.226/25，我们验证Service是否可连接：

root@ip-192-168-193-226:~# curl -i -sSL 192.168.193.48:30620
HTTP/1.1  200 OK
Content-Type: text/plain
Date:  Wed,  27  Nov  2019  07:05:40 GMT
Connection: keep-alive
Transfer-Encoding: chunked

Hello  Kubernetes bootcamp!  |  Running on: kubernetes-bootcamp-v1-c5ccf9784-dgn74 | v=1

root@ip-192-168-193-226:~#`

Service可访问，我们在RS节点上抓包如下：

image

我们发现和直连路由一样，源IP和目标IP没有修改。

所以IPIP模式和网关(Gatewaying)模式原理基本一样，唯一不同的是网关(Gatewaying)模式要求所有的RS节点和LB节点在同一个子网，而IPIP模式则可以支持跨子网的情况，为了解决跨子网通信问题，使用了ipip隧道进行数据传输。

2.4 总结

ipvs是一个内核态的四层负载均衡，支持NAT、Gateway以及IPIP隧道模式，Gateway模式性能最好，但LB和RS不能跨子网，IPIP性能次之，通过ipip隧道解决跨网段传输问题，因此能够支持跨子网。而NAT模式没有限制，这也是唯一一种支持端口映射的模式。

我们不难猜想，由于Kubernetes Service需要使用端口映射功能，因此kube-proxy必然只能使用ipvs的NAT模式。

3 kube-proxy使用ipvs模式

3.1 配置kube-proxy使用ipvs模式

使用kubeadm安装Kubernetes可参考文档Cluster Created by Kubeadm，不过这个文档的安装配置有问题kubeadm #1182，如下官方配置不生效:

---
kubeProxy:
  config:
    featureGates:
      SupportIPVSProxyMode:  true
    mode: ipvs
...

需要修改为如下配置:

---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind:  KubeProxyConfiguration
mode: ipvs

可以通过如下命令确认kube-proxy是否修改为ipvs:

# kubectl get configmaps kube-proxy -n kube-system -o yaml | awk '/mode/{print $2}'
ipvs

3.2 Service ClusterIP原理

创建一个ClusterIP类似的Service如下:

# kubectl get svc | grep kubernetes-bootcamp-v1
kubernetes-bootcamp-v1 ClusterIP  10.96.54.11    8080/TCP 2m11s

ClusterIP 10.96.54.11为我们查看ipvs配置如下：

# ipvsadm -S -n | grep 10.96.54.11
-A -t 10.96.54.11:8080  -s rr
-a -t 10.96.54.11:8080  -r 10.244.1.2:8080  -m -w 1
-a -t 10.96.54.11:8080  -r 10.244.1.3:8080  -m -w 1
-a -t 10.96.54.11:8080  -r 10.244.2.2:8080  -m -w 1

可见ipvs的LB IP为ClusterIP，算法为rr，RS为Pod的IP。

另外我们发现使用的模式为NAT模式，这是显然的，因为除了NAT模式支持端口映射，其他两种均不支持端口映射，所以必须选择NAT模式。

由前面的理论知识，ipvs的VIP必须在本地存在，我们可以验证:

# ip addr show kube-ipvs0
kube-ipvs0:   mtu 1500 qdisc noop state DOWN group default
link/ether 46:6b:9e:af:b0:60 brd ff:ff:ff:ff:ff:ff
inet 10.96.0.1/32 brd 10.96.0.1 scope global kube-ipvs0
valid_lft forever preferred_lft forever
inet 10.96.0.10/32 brd 10.96.0.10 scope global kube-ipvs0
valid_lft forever preferred_lft forever
inet 10.96.54.11/32 brd 10.96.54.11 scope global kube-ipvs0
valid_lft forever preferred_lft forever

# ethtool -i kube-ipvs0 | grep driver
1driver: dummy

可见kube-proxy首先会创建一个dummy虚拟网卡kube-ipvs0，然后把所有的Service IP添加到kube-ipvs0中。

我们知道基于iptables的Service，ClusterIP是一个虚拟的IP，因此这个IP是ping不通的，但ipvs中这个IP是在每个节点上真实存在的，因此可以ping通:

image

当然由于这个IP就是配置在本地虚拟网卡上，所以对诊断问题没有一点用处的。

我们接下来研究下ClusterIP如何传递的。

当我们通过如下命令连接服务时:

curl 10.96.54.11:8080

此时由于10.96.54.11就在本地，所以会以这个IP作为出口地址，即源IP和目标IP都是10.96.54.11，此时相当于:

10.96.54.11:xxxx ->  10.96.54.11:8080

其中xxxx为随机端口。

然后经过ipvs，ipvs会从RS ip列中选择其中一个Pod ip作为目标IP，假设为10.244.2.2:

10.96.54.11:xxxx ->  10.96.54.11:8080
|
| IPVS
v
10.96.54.11:xxxx ->  10.244.2.2:8080

我们从iptables LOG可以验证:

image

我们查看OUTPUT安全组规则如下:

-A OUTPUT -m comment --comment "kubernetes service portals"  -j KUBE-SERVICES

-A KUBE-SERVICES !  -s 10.244.0.0/16  -m comment --comment "Kubernetes service cluster ip + port for masquerade purpose"  -m set  --match-set KUBE-CLUSTER-IP dst,dst -j KUBE-MARK-MASQ
-A KUBE-MARK-MASQ -j MARK --set-xmark 0x4000/0x4000

其中ipset集合 KUBE-CLUSTER-IP保存着所有的ClusterIP以及监听端口。

如上规则的意思就是除了Pod以外访问ClusterIP的包都打上 0x4000/0x4000。

到了POSTROUTING链:

-A POSTROUTING -m comment --comment "kubernetes postrouting rules"  -j KUBE-POSTROUTING

-A KUBE-POSTROUTING -m comment --comment "kubernetes service traffic requiring SNAT"  -m mark --mark 0x4000/0x4000  -j MASQUERADE

如上规则的意思就是只要匹配mark 0x4000/0x4000的包都做SNAT，由于10.244.2.2是从flannel.1出去的，因此源ip会改成flannel.1的ip 10.244.0.0：

10.96.54.11:xxxx ->  10.96.54.11:8080
|
| IPVS
v
10.96.54.11:xxxx ->  10.244.2.2:8080
|
| MASQUERADE
v
10.244.0.0:xxxx ->  10.244.2.2:8080`

最后通过Vxlan 隧道发到Pod的Node上，转发给Pod的veth，回包通过路由到达源Node节点，源Node节点通过之前的MASQUERADE再把目标IP还原为10.96.54.11。

3.3 NodeIP实现原理

查看Service如下：

root@ip-192-168-193-172:~# kubectl get svc

NAME                     TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S) AGE

kubernetes ClusterIP  10.96.0.1    443/TCP 30h
kubernetes-bootcamp-v1 NodePort  10.96.54.11    8080:32016/TCP 8h

Service kubernetes-bootcamp-v1的NodePort为32016。

现在假设集群外的一个IP 192.168.193.197访问192.168.193.172:32016:

192.168.193.197:xxxx ->  192.168.193.172:32016

最先到达PREROUTING链:

-A PREROUTING -m comment --comment "kubernetes service portals"  -j KUBE-SERVICES
-A KUBE-SERVICES -m addrtype --dst-type LOCAL -j KUBE-NODE-PORT
-A KUBE-NODE-PORT -p tcp -m comment --comment "Kubernetes nodeport TCP port for masquerade purpose"  -m set  --match-set KUBE-NODE-PORT-TCP dst -j KUBE-MARK-MASQ
-A KUBE-MARK-MASQ -j MARK --set-xmark 0x4000/0x4000

如上4条规则看起来复杂，其实就做一件事，如果目标地址为NodeIP，则把包标记 0x4000， 0x4000。

我们查看ipvs:


# ipvsadm -S -n | grep 32016
-A -t 192.168.193.172:32016  -s rr
-a -t 192.168.193.172:32016  -r 10.244.1.2:8080  -m -w 1
-a -t 192.168.193.172:32016  -r 10.244.1.3:8080  -m -w 1
-a -t 192.168.193.172:32016  -r 10.244.3.2:8080  -m -w 1

我们发现和ClusterIP实现原理非常相似，ipvs Service的VIP为Node IP，端口为NodePort。ipvs会选择其中一个Pod IP作为DNAT目标，这里假设为10.244.3.2：

 192.168.193.197:xxxx ->  192.168.193.172:32016
                                       |
                                       | DNAT
                                       v
192.168.193.197:xxx -->  10.244.3.2:8080

剩下的到了POSTROUTING链就和Service ClusterIP完全一样了，只要匹配 0x4000/0x4000的包就会做SNAT。

3.4 总结

Kubernetes的ClusterIP和NodePort都是通过ipvs service实现的，Pod当作ipvs service的server，通过NAT MQSQ实现转发。

简单来说kube-proxy主要在所有的Node节点做如下三件事:

  1. 如果没有dummy类型虚拟网卡，则创建一个，默认名称为 kube-ipvs0;

  2. 把Kubernetes ClusterIP地址添加到 kube-ipvs0，同时添加到ipset中。

  3. 创建ipvs service，ipvs service地址为ClusterIP以及Cluster Port，ipvs server为所有的Endpoint地址，即Pod IP及端口。

使用ipvs作为kube-proxy后端，不仅提高了转发性能，结合ipset还使iptables规则变得更“干净”清楚，从此再也不怕iptables。

更多关于kube-proxy ipvs参考IPVS-Based In-Cluster Load Balancing Deep Dive.

4 总结

本文首先介绍了kube-proxy的功能以及kube-proxy基于iptables的实现原理，然后简单介绍了ipvs，了解了ipvs支持的三种转发模式，最后介绍了kube-proxy基于ipvs的实现原理。

ipvs是专门设计用来做内核态四层负载均衡的，由于使用了hash表的数据结构，因此相比iptables来说性能会更好。基于ipvs实现Service转发，Kubernetes几乎能够具备无限的水平扩展能力。随着Kubernetes的部署规模越来越大，应用越来越广泛，ipvs必然会取代iptables成为Kubernetes Service的默认实现后端。

你可能感兴趣的:(IPVS从入门到精通kube-proxy实现原理(转))

  • LocalDateTime 转 String igotyback java开发语言
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
  • 直抒《紫罗兰永恒花园外传》 雷姆的黑色童话
    没看过《紫罗兰永恒花园》的我莫名的看完了《紫罗兰永恒花园外传》，又莫名的被故事中的姐妹之情狠狠地感动了的一把。感动何在：困苦中相依为命的姐妹二人被迫分离，用一个人的自由换取另一个人的幸福。之后，虽相隔不知几许依旧心心念念彼此牵挂。这种深深的姐妹情谊就是令我为之动容的所在。贝拉和泰勒分别影片开始，海天之间一个孩童凭栏眺望，手中拿着折旧的信纸。镜头一转，挑灯伏案的薇尔莉特正在打字机前奋笔疾书。这些片段
  • C++菜鸟教程 - 从入门到精通 第二节 DreamByte c++
    一.上节课的补充(数据类型)1.前言继上节课,我们主要讲解了输入,输出和运算符,我们现在来补充一下数据类型的知识上节课遗漏了这个知识点,非常的抱歉顺便说一下,博主要上高中了,更新会慢,2-4周更新一次对了,正好赶上中秋节,小编跟大家说一句:中秋节快乐!2.int类型上节课,我们其实只用了int类型int类型,是整数类型,它们存贮的是整数,不能存小数(浮点数)定义变量的方式很简单inta;//定义一
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • 希望和悲伤都是照亮我们人生的一缕光 山月映雪
    我开始并不想读《云边有个小卖部》，但看到好几个学生就都在读这本书，为了了解学生的阅读实际，我就拿起这本书翻看起来。读了十几页，发现小说的语言中不时有一些粗俗的字眼，感觉自己读不下去了。小说一开始把云边镇风景写的特别的美好，我错判为脱离现实的鸳鸯蝴蝶派小说，对于人为制造的童话世界的人与物，我真的不太感兴趣，所以就没有再读了。有天在教室闲转，顺手又拿起了这本书看了起来，这次我才真的看进去了。这部小说除
  • 基于Python给出的PDF文档转Markdown文档的方法 程序媛了了 pythonpdf开发语言
    注：网上有很多将Markdown文档转为PDF文档的方法，但是却很少有将PDF文档转为Markdown文档的方法。就算有，比如某些网站声称可以将PDF文档转为Markdown文档，尝试过，不太符合自己的要求，而且无法保证文档没有泄露风险。于是本人为了解决这个问题，借助GPT（能使用GPT镜像或者有条件直接使用GPT的，反正能调用GPT接口就行）生成Python代码来完成这个功能。笔记、代码难免存在
  • 难念的经 轩辕一风
    今天中午从公司出来办事，站在马路旁边招手打的。不久来了一辆，路边停下，坐上，一转脸准备告诉师傅去哪的地址，惊呼，姚师傅？啊，咋是你？这也太巧了吧。在上海，出租车少说也有上万辆吧，而且地方这么大，况且在我出来的这个时间点上碰上了，有时候解释不了，就是那么巧。我和姚师傅咋认识的呢？因工作的原因，我要经常去外地出差，家住的离火车站比较远，每次都是打车过去。可能家在郊区的原因，平时门口公路上的出租车并不多
  • python tif转png Python与遥感 python开发语言
    importosfromosgeoimportgdalimportnumpyasnpfromPILimportImage#提取432三波段fromspectralimport*#输入文件夹路径defget_img(dataset_img):width=dataset_img.RasterXSize#获取行列数height=dataset_img.RasterYSizebands=dataset_i
  • python怎么将png转为tif_png转tif weixin_39977276
    发国外的文章要求图片是tif，cmyk色彩空间的。大小尺寸还有要求。比如网上大神多，找到了一段代码，感谢！https://www.jianshu.com/p/ec2af4311f56https://github.com/KevinZc007/image2Tifimportjava.awt.image.BufferedImage;importjava.io.File;importjava.io.Fi
  • tiff批量转png 诺有缸的高飞鸟 opencv图像处理pythonopencv图像处理
    目录写在前面代码完写在前面1、本文内容tiff批量转png2、平台/环境opencv,python3、转载请注明出处：https://blog.csdn.net/qq_41102371/article/details/132975023代码importnumpyasnpimportcv2importosdeffindAllFile(base):file_list=[]forroot,ds,fsin
  • Spring MVC 全面指南：从入门到精通的详细解析 一杯梅子酱 技术栈学习springmvcjava
    引言：SpringMVC，作为Spring框架的一个重要模块，为构建Web应用提供了强大的功能和灵活性。无论是初学者还是有一定经验的开发者，掌握SpringMVC都将显著提升你的Web开发技能。本文旨在为初学者提供一个全面且易于理解的学习路径，通过详细的知识点分析和实际案例，帮助你快速上手SpringMVC，让学习过程既深刻又高效。一、SpringMVC简介1.1什么是SpringMVC？Spri
  • 《转介绍方法论》学习笔记 小可乐的妈妈
    一、高效转介绍的流程：价值观---执行----方案一）转介绍发生的背景：1、对象：谁向谁转介绍？全员营销，人人参与。①员工的激励政策、客户的转介绍诱因制作客户画像：a信任；支付能力；意愿度；便利度（根据家长具备四个特征的个数分为四类）B性格分类C职业分类D年龄性别②执行：套路，策略，方法，流程2、诱因：为什么要转介绍？认同信任；多方共赢；传递美好；零风险承诺打动人心，超越期待。选择做教育，就是选择
  • 2022-06-29 感恩学习相信小陶
    感恩！六点签到相信很多人都有过这样的经验，拼命想的时候答案怎么都想不出来，不去想的时候，答案却自动冒出来了。为什么？这是因为潜意识也会工作，它非常神奇。你要相信，那些百思不得其解的问题早已扎根在你的头脑中，即使你不再刻意去想，潜意识也会自动围着它转。或许有一天，你会突然得到答案。这也是为什么有时我们会有顿悟的感觉。学会等待，也是进行持续思考的一个重要方法。
  • yolov5＞onnx＞ncnn＞apk 图像处理大大大大大牛啊 opencv实战代码讲解yoloonnxncnn安卓
    一.yolov5pt模型转onnx条件：colabnotebookyolov51.安装环境!pipinstallonnx>=1.7.0#forONNXexport!pipinstallcoremltools==4.0#forCoreMLexport!pipinstallonnx-simplifier2.修改common.py在classFocus下面
  • 《 C++ 修炼全景指南：四 》揭秘 C++ List 容器背后的实现原理，带你构建自己的双向链表 Lenyiin 技术指南C++修炼全景指南c++list链表stl
    本篇博客，我们将详细讲解如何从头实现一个功能齐全且强大的C++List容器，并深入到各个细节。这篇博客将包括每一步的代码实现、解释以及扩展功能的探讨，目标是让初学者也能轻松理解。一、简介1.1、背景介绍在C++中，std::list是一个基于双向链表的容器，允许高效的插入和删除操作，适用于频繁插入和删除操作的场景。与动态数组不同，list允许常数时间内的插入和删除操作，支持双向遍历。这篇文章将详细
  • 非对称加密算法————RSA理论及详情 hu19930613
    转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
  • mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15） 知识分享小能手 大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
    1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
  • IO虚拟化 - virtio-vring的三个组成结构【转】 xidianjiapei001 #虚拟化技术
    1.初始化三个结构vring_new_virtqueue函数中初始化virtqueue的各种字段的初始值vq->vq.callback=callback;vq->vq.vdev=vdev;vq->vq.name=name;vq->notify=notify;vq->broken=false;vq->last_used_idx=0;vq->num_added=0;list_add_tail(&vq-
  • KVM虚拟机源代码分析【转】 xidianjiapei001 #虚拟化技术
    1.KVM结构及工作原理1.1KVM结构KVM基本结构有两部分组成。一个是KVMDriver，已经成为Linux内核的一个模块。负责虚拟机的创建，虚拟内存的分配，虚拟CPU寄存器的读写以及虚拟CPU的运行等。另外一个是稍微修改过的Qemu，用于模拟PC硬件的用户空间组件，提供I/O设备模型以及访问外设的途径。KVM基本结构如图1所示。其中KVM加入到标准的Linux内核中，被组织成Linux中标准
  • 2023-09-13 a6cad16c5cbf
    锅锅编故事序从小就喜欢海阔天空的锅锅，终于安份了。因为她有了小口。小口是个安静的孩子，锅锅为了自己的天马行空得以释放决定给口口讲故事。第一集口口总是喜欢盯着阳台的一小盆雏菊，眼神都不给锅锅一个。锅锅眼珠骨碌一转，嘴巴开动了。在一个小城镇上，矗立着好几座高楼，住着稀疏的几户人家。楼前的绿化带住着统一的灌木，虽然是绿葱葱的，但并不喜人。在灌木丛里住着花猫一家。花猫妈妈，黑猫爸爸，还有三个才出生不久的小
  • 使用input[type=file]遇上的一些问题 刘圣凯
    项目遇到一个需要，如下image.png功能大致就是添加图片，展示出来，然后在用户点击提交的时候把图片传给后台，在和后台交涉之后，决定在用户选择图片之后转成formdata传给后台，后台返回一个url，提交的时候将url返回给后台/**转formdata*/varformdata=newFormData();formdata.append("file1",$("#pic")[0].files[0]
  • 不可能性中的可能性 Sencer
    不可能性中的可能性，这种情况在影视作品中经常出现，谍中谍的一集还用了一个《不可能完成的任务》的名字来吸引观众的好奇心。常有“逢回路转”，“柳暗花明”“绝处逢生”来形容那些绝境中闪现出来的生机。现实生活中我们会看到这样的场景，两个人吵的不可开交，到了一触即发的地步。这时其中一个人的电话响了，假如是那个人的领导打来的，这个人的语气会瞬间发生变化，不再是怒气冲冲，而是会换作谦卑的口气说话。电话接完，重新
  • 2022-03-23 13_yD
    下雨天让人心神不宁。走在路上，打着伞。用双手对抗风的力量，不止是风，还有伞本身的野性。一手抓着手机，一手抓着伞，伞柄压在颈上，硌得大脑缺氧。风在转，人在转，伞在转。看不见头顶的天，只看见伞，和骨上的水，一起转。昏天黑地，脚底没有地，只有无边无际的泥潭，散发着腐烂的气息，下面是一具具尸体，学着我们的步伐，行走在空无一人的路上。头发夹在钢铁之间，快乐地尖叫，钢铁尽情地肆虐，鞭打我的灵魂。灵魂被抛尸在荒
  • Gobelieve 架构 weixin_34099526 数据库golangjson
    Gobelievegithub地址声明:转简书JackieF的文章,为了自己方便copy了一份,加一些自己的东西.链接：https://www.jianshu.com/p/8121d6e85282IMCore主要分三大块:im客户连接服务器（可分布式部署，暂无负载均衡模块)imr路由查询服务器（主要解决im分布式部署的问题）ims存储服务器(主从部署)基础模块1.数据包协议包：header(12)
  • 2022年9月30日日记 Sinceyang杨
    周五，阴转阵雨（27～32℃）1、一日三餐打卡①早（8:30）：香蕉、猪肉包②午（12:38）：米饭、肉末茄子、黑椒肠炒蒲瓜丝③晚（21:33）：泡面④加：香蕉、芒果2、独白上大学后，工作后，似乎近乡情怯更加明显了。大学时期还有挺多时间可以回家的，工作之后，时间不多，工资的现实问题，特殊情况的影响，回家成了更加不容易的一件事儿。早上去公司坐电梯时，我又出错了电梯楼层，也不晓得是谁中途按了16楼的按
  • 实习体验(二) 8620dd051afa
    记录2016年6.15我攥着700块，拎着箱子，就到了西安。和朋友一起找工作，找了几家，都不收暑假工，就这样被多次拒绝，多少次鼓起勇气去问，最后一家砂锅店女老板愿意让我去，我很庆幸。姐姐得知我找的是饭店，不愿让我去。一天后，姐姐带我去一家公司应聘，月薪1800块转证后2600块，暂住在高新区，公司在新长安广场的写字楼里。每天八个小时，下午六点半班，周末放假双休。每天上班需要乘15分钟的公交，再步行
  • 面朝大海 | 天气渐渐转凉，是时候去马来西亚避一避了！ 鄧蒙
    美人鱼岛的海浪丹绒亚路的日落尺寸夸张的老虎虾马来西亚华人亲切的普通话原住民小孩毫不设防的微笑亚庇街头的榴莲香前无古人好吃的桔子冰和椰子布丁…这里就是沙巴沙巴是“天堂中的天堂”它能满足每种旅行者的欲望它有你想要的一切美好沙巴有哪些值得去的地方？▼丹绒亚路海滩丹绒亚路海滩是亚庇享受海风、欣赏夕阳的绝佳观景点，据说这里的夕阳美景是世界上最漂亮的地方之一。“亚路”指的是木麻黄，顾名思义这里一定耸立着无数木
  • 转班遇上星期六 凝结的海
    晚上上班的时候，我感觉有点饿，就在十点五左右去食堂，看看有没有什么吃的，一路上同事们都在说可能已经关门了，走快一点或许能碰得到。庆幸的是我到了他还没来得及关，我买了一个粽子和一个咸鸭蛋，总共花了四块三，总感觉比外面卖的要贵的多。后来我在三点多近四点的时候，我和三号前化料的一起去保安室拉了一大车水，我们装好之后，我让他先拉到我的岗位上，我去拉点原材料。他把水拉走之后我就出去把充电动车的电拔掉，又到路
  • 使用FPGA接收MIPI CSI RX信号并进行去抖动、RGB转YUV处理：FX3014 USB3.0 UVC传输与帧率控制源代码，FPGA实现MIPI CSI RX接收，去Debayer， RGB转 kVfINoSzdrt fpga开发程序人生
    fpgamipicsirx接收去debayer,rgb转yuv,fx3014usb3.0uvc传输与帧率控制源代码，具体架构看图，除dphy物理层外，mipi均为源码sensorimx219mipi源码mipi4lanecsirxraw10fpgamachXO3lf-690usb3.0fx301432bityuvdatawithframesync测试模式3280*246415fps1920*108
  • word转html制作操作手册,Word文档转换为HTML帮助文档操作手册范本.pdf 想吃草莓干 word转html制作操作手册
    Word文档转换为HTML帮助文档操作手册一、使用到的软件DOC2CHMDreamweaverCS3Helpandmanual4二、操作步骤1.先建立一个工作目录。如hhwork。2.将需要转换的文件复制到此工作目录下。如果是中文文件名，最好将其改为英文文件名。例：现在要将《小神探点检定修信息管理系统使用手册0.3.6.doc》转换为Html格式的帮助文档，首先将此文档复制到hhwork目录下并将
  • HttpClient 4.3与4.3版本以下版本比较 spjich javahttpclient
    网上利用java发送http请求的代码很多，一搜一大把，有的利用的是java.net.*下的HttpURLConnection，有的用httpclient，而且发送的代码也分门别类。今天我们主要来说的是利用httpclient发送请求。 httpclient又可分为 httpclient3.x httpclient4.x到httpclient4.3以下 httpclient4.3
  • Essential Studio Enterprise Edition 2015 v1新功能体验 Axiba .net
    概述：Essential Studio已全线升级至2015 v1版本了！新版本为JavaScript和ASP.NET MVC添加了新的文件资源管理器控件，还有其他一些控件功能升级，精彩不容错过，让我们一起来看看吧！ syncfusion公司是世界领先的Windows开发组件提供商，该公司正式对外发布Essential Studio Enterprise Edition 2015 v1版本。新版本
  • [宇宙与天文]微波背景辐射值与地球温度 comsci 背景
            宇宙这个庞大,无边无际的空间是否存在某种确定的,变化的温度呢?      如果宇宙微波背景辐射值是表示宇宙空间温度的参数之一,那么测量这些数值,并观测周围的恒星能量输出值,我们是否获得地球的长期气候变化的情况呢?   &nbs
  • lvs-server 男人50 server
    #!/bin/bash # # LVS script for VS/DR # #./etc/rc.d/init.d/functions # VIP=10.10.6.252 RIP1=10.10.6.101 RIP2=10.10.6.13 PORT=80 case $1 in start)   /sbin/ifconfig eth2:0 $VIP broadca
  • java的WebCollector爬虫框架 oloz 爬虫
    WebCollector主页： https://github.com/CrawlScript/WebCollector 下载：webcollector-版本号-bin.zip将解压后文件夹中的所有jar包添加到工程既可。 接下来看demo package org.spider.myspider; import cn.edu.hfut.dmic.webcollector.cra
  • jQuery append 与 after 的区别 小猪猪08
    1、after函数 定义和用法： after() 方法在被选元素后插入指定的内容。 语法： $(selector).after(content) 实例： <html> <head> <script type="text/javascript" src="/jquery/jquery.js"></scr
  • mysql知识充电 香水浓 mysql
    索引 索引是在存储引擎中实现的，因此每种存储引擎的索引都不一定完全相同，并且每种存储引擎也不一定支持所有索引类型。 根据存储引擎定义每个表的最大索引数和最大索引长度。所有存储引擎支持每个表至少16个索引，总索引长度至少为256字节。 大多数存储引擎有更高的限制。MYSQL中索引的存储类型有两种：BTREE和HASH，具体和表的存储引擎相关； MYISAM和InnoDB存储引擎
  • 我的架构经验系列文章索引 agevs 架构
    下面是一些个人架构上的总结，本来想只在公司内部进行共享的，因此内容写的口语化一点，也没什么图示，所有内容没有查任何资料是脑子里面的东西吐出来的因此可能会不准确不全，希望抛砖引玉，大家互相讨论。 要注意，我这些文章是一个总体的架构经验不针对具体的语言和平台，因此也不一定是适用所有的语言和平台的。 （内容是前几天写的，现附上索引）   前端架构 http://www.
  • Android so lib库远程http下载和动态注册 aijuans andorid
    一、背景      在开发Android应用程序的实现，有时候需要引入第三方so lib库，但第三方so库比较大，例如开源第三方播放组件ffmpeg库, 如果直接打包的apk包里面, 整个应用程序会大很多.经过查阅资料和实验，发现通过远程下载so文件，然后再动态注册so文件时可行的。主要需要解决下载so文件存放位置以及文件读写权限问题。   二、主要
  • linux中svn配置出错 conf/svnserve.conf:12: Option expected 解决方法 baalwolf option
    在客户端访问subversion版本库时出现这个错误： svnserve.conf:12: Option expected 为什么会出现这个错误呢，就是因为subversion读取配置文件svnserve.conf时，无法识别有前置空格的配置文件，如### This file controls the configuration of the svnserve daemon, if you##
  • MongoDB的连接池和连接管理 BigCat2013 mongodb
    在关系型数据库中，我们总是需要关闭使用的数据库连接，不然大量的创建连接会导致资源的浪费甚至于数据库宕机。这篇文章主要想解释一下mongoDB的连接池以及连接管理机制，如果正对此有疑惑的朋友可以看一下。 通常我们习惯于new 一个connection并且通常在finally语句中调用connection的close()方法将其关闭。正巧，mongoDB中当我们new一个Mongo的时候，会发现它也
  • AngularJS使用Socket.IO bijian1013 JavaScriptAngularJSSocket.IO
            目前，web应用普遍被要求是实时web应用，即服务端的数据更新之后，应用能立即更新。以前使用的技术（例如polling）存在一些局限性，而且有时我们需要在客户端打开一个socket，然后进行通信。         Socket.IO(http://socket.io/)是一个非常优秀的库，它可以帮你实
  • [Maven学习笔记四]Maven依赖特性 bit1129 maven
    三个模块 为了说明问题，以用户登陆小web应用为例。通常一个web应用分为三个模块，模型和数据持久化层user-core, 业务逻辑层user-service以及web展现层user-web， user-service依赖于user-core user-web依赖于user-core和user-service   依赖作用范围  Maven的dependency定义
  • 【Akka一】Akka入门 bit1129 akka
    什么是Akka Message-Driven Runtime is the Foundation to Reactive Applications In Akka, your business logic is driven through message-based communication patterns that are independent of physical locatio
  • zabbix_api之perl语言写法 ronin47 zabbix_api之perl
    zabbix_api网上比较多的写法是python或curl。上次我用java－－http://bossr.iteye.com/blog/2195679，这次用perl。for example: #!/usr/bin/perl use 5.010 ; use strict ; use warnings ; use JSON :: RPC :: Client ; use
  • 比优衣库跟牛掰的视频流出了，兄弟连Linux运维工程师课堂实录，更加刺激，更加实在！ brotherlamp linux运维工程师linux运维工程师教程linux运维工程师视频linux运维工程师资料linux运维工程师自学
    比优衣库跟牛掰的视频流出了，兄弟连Linux运维工程师课堂实录，更加刺激，更加实在！   ----------------------------------------------------- 兄弟连Linux运维工程师课堂实录-计算机基础-1-课程体系介绍1 链接：http://pan.baidu.com/s/1i3GQtGL 密码：bl65   兄弟连Lin
  • bitmap求哈密顿距离-给定N（1<=N<=100000）个五维的点A(x1,x2,x3,x4,x5)，求两个点X(x1,x2,x3,x4,x5)和Y( bylijinnan java
    import java.util.Random; /** * 题目： * 给定N（1<=N<=100000）个五维的点A(x1,x2,x3,x4,x5)，求两个点X(x1,x2,x3,x4,x5)和Y(y1,y2,y3,y4,y5)， * 使得他们的哈密顿距离（d=|x1-y1| + |x2-y2| + |x3-y3| + |x4-y4| + |x5-y5|）最大
  • map的三种遍历方法 chicony map
    package com.test; import java.util.Collection; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Set; public class TestMap { public static v
  • Linux安装mysql的一些坑 chenchao051 linux
    1、mysql不建议在root用户下运行   2、出现服务启动不了，111错误，注意要用chown来赋予权限， 我在root用户下装的mysql，我就把usr/share/mysql/mysql.server复制到/etc/init.d/mysqld, (同时把my-huge.cnf复制/etc/my.cnf)  chown -R cc /etc/init.d/mysql
  • Sublime Text 3 配置 daizj 配置Sublime Text
    Sublime Text 3 配置解释(默认){// 设置主题文件“color_scheme”: “Packages/Color Scheme – Default/Monokai.tmTheme”,// 设置字体和大小“font_face”: “Consolas”,“font_size”: 12,// 字体选项：no_bold不显示粗体字，no_italic不显示斜体字，no_antialias和
  • MySQL server has gone away 问题的解决方法 dcj3sjt126com SQL Server
    MySQL server has gone away 问题解决方法，需要的朋友可以参考下。 应用程序（比如PHP）长时间的执行批量的MYSQL语句。执行一个SQL，但SQL语句过大或者语句中含有BLOB或者longblob字段。比如，图片数据的处理。都容易引起MySQL server has gone away。 今天遇到类似的情景，MySQL只是冷冷的说：MySQL server h
  • javascript/dom:固定居中效果 dcj3sjt126com JavaScript
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&
  • 使用 Spring 2.5 注释驱动的 IoC 功能 e200702084 springbean配置管理IOCOffice
    使用 Spring 2.5 注释驱动的 IoC 功能 developerWorks 文档选项 将打印机的版面设置成横向打印模式 打印本页 将此页作为电子邮件发送 将此页作为电子邮件发送 级别： 初级 陈 雄华 ([email protected]), 技术总监, 宝宝淘网络科技有限公司 2008 年 2 月 28 日  &nb
  • MongoDB常用操作命令 geeksun mongodb
    1.   基本操作 db.AddUser(username,password)               添加用户 db.auth(usrename,password)      设置数据库连接验证 db.cloneDataBase(fromhost)    
  • php写守护进程（Daemon） hongtoushizi PHP
    转载自： http://blog.csdn.net/tengzhaorong/article/details/9764655   守护进程（Daemon）是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件。守护进程是一种很有用的进程。php也可以实现守护进程的功能。   1、基本概念   &nbs
  • spring整合mybatis,关于注入Dao对象出错问题 jonsvien DAOspringbeanmybatisprototype
    今天在公司测试功能时发现一问题： 先进行代码说明： 1，controller配置了Scope="prototype"（表明每一次请求都是原子型）    @resource/@autowired service对象都可以（两种注解都可以）。 2，service 配置了Scope="prototype"（表明每一次请求都是原子型）
  • 对象关系行为模式之标识映射 home198979 PHP架构企业应用对象关系标识映射
    HELLO!架构   一、概念 identity Map:通过在映射中保存每个已经加载的对象，确保每个对象只加载一次，当要访问对象的时候，通过映射来查找它们。其实在数据源架构模式之数据映射器代码中有提及到标识映射，Mapper类的getFromMap方法就是实现标识映射的实现。     二、为什么要使用标识映射？ 在数据源架构模式之数据映射器中 //c
  • Linux下hosts文件详解 pda158 linux
    　1、主机名： 　　无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。 　　公网：IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在，每个域名都对应一个IP地址，但一个IP地址可有对应多个域名。 　　局域网：每台机器都有一个主机名，用于主机与主机之间的便于区分，就可以为每台机器设置主机
  • nginx配置文件粗解 spjich javanginx
    #运行用户#user  nobody;#启动进程,通常设置成和cpu的数量相等worker_processes  2;#全局错误日志及PID文件#error_log  logs/error.log;#error_log  logs/error.log  notice;#error_log  logs/error.log  inf
  • 数学函数 w54653520 java
    public  class  S {        // 传入两个整数，进行比较，返回两个数中的最大值的方法。      public  int  get( int  num1, int  nu
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他