Aimee_c

Kubernetes(K8S)（六）——service（ClusterIP、NodePort、无头服务、LoadBalancer、ExternalName等）

文章目录

1.Service介绍
2.开启kube-proxy的ipvs模式
3.创建service
- 3.1 ClusterIP
- 3.2 NodePort（可外部访问）
- 3.3 无头服务
- 3.4 LoadBalancer（可外部访问）
- 3.5 ExternalName（可外部访问）
- 3.6 service直接分配一个公有IP（外网地址）

1.Service介绍

Service可以看作是一组提供相同服务的Pod对外的访问接口。借助Service，应用可以方便地实现服务发现和负载均衡。 service默认只支持4层负载均衡能力，没有7层功能。（可以通过Ingress实现）

service的类型：
• ClusterIP：默认值，k8s系统给service自动分配的虚拟IP，只能在集群内部访问。
• NodePort：将Service通过指定的Node上的端口暴露给外部，访问任意一个 NodeIP:nodePort都将路由到ClusterIP。
• LoadBalancer：在 NodePort 的基础上，借助 cloud provider 创建一个外部的负载均衡器，并将请求转发到 :NodePort，此模式只能在云服务器上使用。
• ExternalName：将服务通过 DNS CNAME 记录方式转发到指定的域名（通过 spec.externlName 设定）。

Service 是由 kube-proxy 组件，加上 iptables 来共同实现的.
• kube-proxy 通过 iptables 处理 Service 的过程，需要在宿主机上设置相当多的 iptables 规则，如果宿主机有大量的Pod，不断刷新iptables规则，会消耗大量的 CPU资源。
• IPVS模式的service，可以使K8s集群支持更多量级的Pod。

2.开启kube-proxy的ipvs模式

开启kube-proxy的ipvs模式：
yum install -y ipvsadm 所有节点安装
kubectl edit cm kube-proxy -n kube-system 修改IPVS模式 mode: “ipvs”
kubectl get pod -n kube-system |grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'更新kube-proxy pod

IPVS模式下，kube-proxy会在service创建后，在宿主机上添加一个虚拟网卡： kube-ipvs0，并分配service IP。

kube-proxy通过linux的IPVS模块，以rr轮询方式调度service中的Pod。

3.创建service

3.1 ClusterIP

Kubernetes 提供了一个 DNS 插件 Service

[kubeadm@server1 mainfest]$ vim service.yml 
[kubeadm@server1 mainfest]$ cat service.yml 
kind: Service
apiVersion: v1
metadata:
  name: myservice
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: myapp
[kubeadm@server1 mainfest]$ kubectl apply -f service.yml 
service/myservice created

[kubeadm@server1 mainfest]$ vim pod2.yml 
[kubeadm@server1 mainfest]$ cat pod2.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment-example
spec:
  replicas: 2
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
      - name: myapp
        image: myapp:v2
[kubeadm@server1 mainfest]$ kubectl apply -f pod2.yml 
deployment.apps/deployment-example created
[kubeadm@server1 mainfest]$ kubectl describe svc myservice 
Name:              myservice
Namespace:         default
Labels:            <none>
Annotations:       Selector:  app=myapp
Type:              ClusterIP
IP:                10.107.6.65
Port:              <unset>  80/TCP
TargetPort:        80/TCP
Endpoints:         10.244.1.47:80,10.244.2.70:80
Session Affinity:  None
Events:            <none>
[kubeadm@server1 mainfest]$ kubectl run demo --image=busyboxplus -it --restart=Never
If you don't see a command prompt, try pressing enter.
[ root@demo:/ ]$ curl 10.107.6.65
Hello MyApp | Version: v2 | <a href="hostname.html">Pod Name</a>
[ root@demo:/ ]$ curl 10.107.6.65
Hello MyApp | Version: v2 | <a href="hostname.html">Pod Name</a>
[ root@demo:/ ]$ curl 10.107.6.65/hostname.html
deployment-example-67764dd8bd-pvkc6
[ root@demo:/ ]$ curl 10.107.6.65/hostname.html
deployment-example-67764dd8bd-p5qnr
[ root@demo:/ ]$ curl 10.107.6.65/hostname.html
deployment-example-67764dd8bd-pvkc6
[ root@demo:/ ]$ curl 10.107.6.65/hostname.html
deployment-example-67764dd8bd-p5qnr
[ root@demo:/ ]$ curl myservice/hostname.html
deployment-example-67764dd8bd-pvkc6
[ root@demo:/ ]$ curl myservice/hostname.html
deployment-example-67764dd8bd-p5qnr
[ root@demo:/ ]$ curl myservice/hostname.html
deployment-example-67764dd8bd-pvkc6
[ root@demo:/ ]$ nslookup myservice
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
Name:      myservice
Address 1: 10.107.6.65 myservice.default.svc.cluster.local
[ root@demo:/ ]$ [kubeadm@server1 mainfest]$ 
[kubeadm@server1 mainfest]$  kubectl get services kube-dns --namespace=kube-system
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   7d3h

3.2 NodePort（可外部访问）

[kubeadm@server1 mainfest]$ cat pod2.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deployment-example
spec:
  replicas: 2
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
      - name: myapp
        image: myapp:v2
[kubeadm@server1 mainfest]$ kubectl apply -f pod2.yml 
deployment.apps/deployment-example unchanged
[kubeadm@server1 mainfest]$ kubectl get pod
NAME                                  READY   STATUS      RESTARTS   AGE
demo                                  0/1     Completed   0          7h16m
deployment-example-67764dd8bd-p5qnr   1/1     Running     0          7h17m
deployment-example-67764dd8bd-pvkc6   1/1     Running     0          7h17m

[kubeadm@server1 mainfest]$ vim service.yml 
[kubeadm@server1 mainfest]$ cat service.yml 
kind: Service
apiVersion: v1
metadata:
  name: myservice
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: myapp
[kubeadm@server1 mainfest]$ kubectl apply -f service.yml 
service/myservice created
[kubeadm@server1 mainfest]$ kubectl get svc
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP   7d10h
myservice    ClusterIP   10.100.83.68   <none>        80/TCP    5s
[kubeadm@server1 mainfest]$ kubectl edit svc myservice 
service/myservice edited
[kubeadm@server1 mainfest]$ kubectl describe svc myservice 
Name:                     myservice
Namespace:                default
Labels:                   <none>
Annotations:              Selector:  app=myapp
Type:                     NodePort
IP:                       10.100.83.68
Port:                     <unset>  80/TCP
TargetPort:               80/TCP
NodePort:                 <unset>  31059/TCP
Endpoints:                10.244.1.47:80,10.244.2.70:80
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>
[kubeadm@server1 mainfest]$ kubectl get svc
NAME         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP        7d10h
myservice    NodePort    10.100.83.68   <none>        80:31059/TCP   5m30s

[kubeadm@server1 mainfest]$ kubectl get svc -n kube-system 
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   7d10h
[kubeadm@server1 mainfest]$ dig myservice.default.svc.cluster.local @10.96.0.10
; <<>> DiG 9.9.4-RedHat-9.9.4-72.el7 <<>> myservice.default.svc.cluster.local @10.96.0.10
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 541
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;myservice.default.svc.cluster.local. IN A
;; ANSWER SECTION:
myservice.default.svc.cluster.local. 30 IN A 10.100.83.68
;; Query time: 1 msec
;; SERVER: 10.96.0.10#53(10.96.0.10)
;; WHEN: Fri Jun 26 14:31:56 CST 2020
;; MSG SIZE  rcvd: 115
[kubeadm@server1 mainfest]$ kubectl run demo --image=busyboxplus -it --restart=Never
If you don't see a command prompt, try pressing enter.
[ root@demo:/ ]$ cat /etc/resolv.conf 
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
[ root@demo:/ ]$ ping myservice
PING myservice (10.100.83.68): 56 data bytes
64 bytes from 10.100.83.68: seq=0 ttl=64 time=0.034 ms
^C
--- myservice ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.034/0.034/0.034 ms

3.3 无头服务

Headless Service “无头服务” 。 Headless Service不需要分配一个VIP，而是直接以DNS记录的方式解析出被代理 Pod的IP地址。
域名格式：$(servicename).$(namespace).svc.cluster.local
yum install -y bind-utils.x86_64安装解析工具

[kubeadm@server1 mainfest]$ vim service.yml 
[kubeadm@server1 mainfest]$ cat service.yml 
kind: Service
apiVersion: v1
metadata:
  name: myservice
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: myapp
  clusterIP: None
[kubeadm@server1 mainfest]$ kubectl apply -f service.yml 
service/myservice created
[kubeadm@server1 mainfest]$ kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   7d11h
myservice    ClusterIP   None         <none>        80/TCP    10s
[kubeadm@server1 mainfest]$ kubectl describe svc myservice 
Name:              myservice
Namespace:         default
Labels:            <none>
Annotations:       Selector:  app=myapp
Type:              ClusterIP
IP:                None
Port:              <unset>  80/TCP
TargetPort:        80/TCP
Endpoints:         10.244.1.47:80,10.244.1.48:80,10.244.2.70:80
Session Affinity:  None
Events:            <none>

[kubeadm@server1 mainfest]$ kubectl -n kube-system describe svc kube-dns 
Name:              kube-dns
Namespace:         kube-system
Labels:            k8s-app=kube-dns
                   kubernetes.io/cluster-service=true
                   kubernetes.io/name=KubeDNS
Annotations:       prometheus.io/port: 9153
                   prometheus.io/scrape: true
Selector:          k8s-app=kube-dns
Type:              ClusterIP
IP:                10.96.0.10
Port:              dns  53/UDP
TargetPort:        53/UDP
Endpoints:         10.244.0.10:53,10.244.0.11:53
Port:              dns-tcp  53/TCP
TargetPort:        53/TCP
Endpoints:         10.244.0.10:53,10.244.0.11:53
Port:              metrics  9153/TCP
TargetPort:        9153/TCP
Endpoints:         10.244.0.10:9153,10.244.0.11:9153
Session Affinity:  None
Events:            <none>

[kubeadm@server1 mainfest]$ dig myservice.default.svc.cluster.local @10.96.0.10
; <<>> DiG 9.9.4-RedHat-9.9.4-72.el7 <<>> myservice.default.svc.cluster.local @10.96.0.10
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 19011
;; flags: qr aa rd; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;myservice.default.svc.cluster.local. IN A
;; ANSWER SECTION:
myservice.default.svc.cluster.local. 30 IN A 10.244.2.70
myservice.default.svc.cluster.local. 30 IN A 10.244.1.48
myservice.default.svc.cluster.local. 30 IN A 10.244.1.47
;; Query time: 0 msec
;; SERVER: 10.96.0.10#53(10.96.0.10)
;; WHEN: Fri Jun 26 15:01:23 CST 2020
;; MSG SIZE  rcvd: 217

[kubeadm@server1 mainfest]$ dig myservice.default.svc.cluster.local @10.244.0.11
; <<>> DiG 9.9.4-RedHat-9.9.4-72.el7 <<>> myservice.default.svc.cluster.local @10.244.0.11
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 16525
;; flags: qr aa rd; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;myservice.default.svc.cluster.local. IN A
;; ANSWER SECTION:
myservice.default.svc.cluster.local. 30 IN A 10.244.1.48
myservice.default.svc.cluster.local. 30 IN A 10.244.2.70
myservice.default.svc.cluster.local. 30 IN A 10.244.1.47
;; Query time: 0 msec
;; SERVER: 10.244.0.11#53(10.244.0.11)
;; WHEN: Fri Jun 26 15:02:57 CST 2020
;; MSG SIZE  rcvd: 217

Pod滚动更新后，依然可以解析：

[kubeadm@server1 mainfest]$ kubectl delete pod --all
pod "deployment-example-67764dd8bd-p5qnr" deleted
pod "deployment-example-67764dd8bd-pvkc6" deleted
pod "deployment-example-67764dd8bd-smr7c" deleted
[kubeadm@server1 mainfest]$ kubectl get pod -o wide
NAME                                  READY   STATUS    RESTARTS   AGE   IP            NODE      NOMINATED NODE   READINESS GATES
deployment-example-67764dd8bd-6pwdw   1/1     Running   0          7s    10.244.2.74   server3   <none>           <none>
deployment-example-67764dd8bd-jl7nl   1/1     Running   0          7s    10.244.1.49   server2   <none>           <none>
deployment-example-67764dd8bd-zvd28   1/1     Running   0          7s    10.244.2.73   server3   <none>           <none>
[kubeadm@server1 mainfest]$ dig myservice.default.svc.cluster.local @10.244.0.11
; <<>> DiG 9.9.4-RedHat-9.9.4-72.el7 <<>> myservice.default.svc.cluster.local @10.244.0.11
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 48989
;; flags: qr aa rd; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;myservice.default.svc.cluster.local. IN A
;; ANSWER SECTION:
myservice.default.svc.cluster.local. 30 IN A 10.244.1.49
myservice.default.svc.cluster.local. 30 IN A 10.244.2.73
myservice.default.svc.cluster.local. 30 IN A 10.244.2.74
;; Query time: 0 msec
;; SERVER: 10.244.0.11#53(10.244.0.11)
;; WHEN: Fri Jun 26 15:14:37 CST 2020
;; MSG SIZE  rcvd: 217

3.4 LoadBalancer（可外部访问）

从外部访问 Service 的第二种方式，适用于公有云上的 Kubernetes 服务。这时候，你可以指定一个 LoadBalancer 类型的 Service。
在service提交后，Kubernetes就会调用 CloudProvider 在公有云上创建一个负载均衡服务，并且把被代理的 Pod 的 IP地址配置给负载均衡服务做后端。

[kubeadm@server1 mainfest]$ vim service.yml 
[kubeadm@server1 mainfest]$ cat service.yml 
kind: Service
apiVersion: v1
metadata:
  name: myservice
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: myapp
  type: LoadBalancer
[kubeadm@server1 mainfest]$ kubectl apply -f service.yml 
service/myservice created
[kubeadm@server1 mainfest]$ kubectl get svc 
NAME         TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP      10.96.0.1        <none>        443/TCP        7d11h
myservice    LoadBalancer   10.104.173.144   <pending>     80:32646/TCP   5s

3.5 ExternalName（可外部访问）

从外部访问的第三种方式叫做ExternalName。适用于集群内部容器访问外部资源

[kubeadm@server1 mainfest]$ vim service.yml 
[kubeadm@server1 mainfest]$ cat service.yml 
kind: Service
apiVersion: v1
metadata:
  name: myservice
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: myapp
  type:  ExternalName  
  externalName: www.baidu.com
[kubeadm@server1 mainfest]$ kubectl apply -f service.yml 
service/myservice created
[kubeadm@server1 mainfest]$ kubectl get svc 
NAME         TYPE           CLUSTER-IP   EXTERNAL-IP     PORT(S)   AGE
kubernetes   ClusterIP      10.96.0.1    <none>          443/TCP   7d11h
myservice    ExternalName   <none>       www.baidu.com   80/TCP    4s
[kubeadm@server1 mainfest]$ dig myservice.default.svc.cluster.local @10.244.0.11
; <<>> DiG 9.9.4-RedHat-9.9.4-72.el7 <<>> myservice.default.svc.cluster.local @10.244.0.11
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 44555
;; flags: qr aa rd; QUERY: 1, ANSWER: 4, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;myservice.default.svc.cluster.local. IN A
;; ANSWER SECTION:
myservice.default.svc.cluster.local. 30 IN CNAME www.baidu.com.
www.baidu.com.  30 IN CNAME www.a.shifen.com.
www.a.shifen.com. 30 IN A 61.135.169.121
www.a.shifen.com. 30 IN A 61.135.169.125
;; Query time: 75 msec
;; SERVER: 10.244.0.11#53(10.244.0.11)
;; WHEN: Fri Jun 26 15:28:43 CST 2020
;; MSG SIZE  rcvd: 233

3.6 service直接分配一个公有IP（外网地址）

[kubeadm@server1 mainfest]$ vim service.yml 
[kubeadm@server1 mainfest]$ cat service.yml 
kind: Service
apiVersion: v1
metadata:
  name: myservice
spec:
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: myapp
  externalIPs: 
  - 172.25.1.100
[kubeadm@server1 mainfest]$ kubectl apply -f service.yml 
service/myservice created
[kubeadm@server1 mainfest]$ kubectl get svc 
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP    PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1        <none>         443/TCP   7d11h
myservice    ClusterIP   10.105.122.218   172.25.1.100   80/TCP    4s
[kubeadm@server1 mainfest]$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:bb:3e:1d brd ff:ff:ff:ff:ff:ff
    inet 192.168.43.11/24 brd 192.168.43.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 172.25.1.1/24 brd 172.25.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.3.201/24 brd 192.168.3.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 2408:84fb:1:1209:20c:29ff:febb:3e1d/64 scope global mngtmpaddr dynamic 
       valid_lft 3317sec preferred_lft 3317sec
    inet6 fe80::20c:29ff:febb:3e1d/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:da:68:ae:81 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default 
    link/ether d2:fd:d6:3b:73:d3 brd ff:ff:ff:ff:ff:ff
    inet 10.244.0.0/32 scope global flannel.1
       valid_lft forever preferred_lft forever
    inet6 fe80::d0fd:d6ff:fe3b:73d3/64 scope link 
       valid_lft forever preferred_lft forever
5: cni0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default qlen 1000
    link/ether 4a:a1:c4:bb:75:78 brd ff:ff:ff:ff:ff:ff
    inet 10.244.0.1/24 scope global cni0
       valid_lft forever preferred_lft forever
    inet6 fe80::48a1:c4ff:febb:7578/64 scope link 
       valid_lft forever preferred_lft forever
6: veth3fc18a62@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default 
    link/ether a2:7d:16:36:60:6a brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::a07d:16ff:fe36:606a/64 scope link 
       valid_lft forever preferred_lft forever
7: veth99a251bf@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default 
    link/ether 86:20:80:1b:26:22 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet6 fe80::8420:80ff:fe1b:2622/64 scope link 
       valid_lft forever preferred_lft forever
8: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether d2:d9:2f:45:a0:05 brd ff:ff:ff:ff:ff:ff
9: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 9a:26:f3:9b:57:38 brd ff:ff:ff:ff:ff:ff
    inet 10.96.0.1/32 brd 10.96.0.1 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.96.0.10/32 brd 10.96.0.10 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.105.122.218/32 brd 10.105.122.218 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 172.25.1.100/32 brd 172.25.1.100 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
[kubeadm@server1 mainfest]$ logout
[root@server1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.1.100:80 rr
  -> 10.244.1.49:80               Masq    1      0          0         
  -> 10.244.2.73:80               Masq    1      0          0         
  -> 10.244.2.74:80               Masq    1      0          0         
TCP  10.96.0.1:443 rr
  -> 192.168.43.11:6443           Masq    1      0          0         
TCP  10.96.0.10:53 rr
  -> 10.244.0.10:53               Masq    1      0          0         
  -> 10.244.0.11:53               Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 10.244.0.10:9153             Masq    1      0          0         
  -> 10.244.0.11:9153             Masq    1      0          0         
TCP  10.105.122.218:80 rr
  -> 10.244.1.49:80               Masq    1      0          0         
  -> 10.244.2.73:80               Masq    1      0          0         
  -> 10.244.2.74:80               Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 10.244.0.10:53               Masq    1      0          0         
  -> 10.244.0.11:53               Masq    1      0          0

kubernetes的ingress实现同时支持http和https 忍冬行者 k8s http kubernetes https
生产环境中对外的服务一般需要配置https服务，使用ingress也可以很方面的添加https的证书。默认情况下，如果为该Ingress启用了TLS，控制器会使用308永久重定向响应将HTTP客户端重定向到HTTPS端口443。（Ingress里配置了https证书的话，默认就一定会走https）。即默认情况下，如果在ingress规则中配置了tls，所有http的流量都会重定向到https。在一
《Quick Start Kubernetes》读后感 python
一、为什么选择这本书？面试的时候经常被问到kubernetes(下称k8s)，所以打算学习k8s。看到《QuickStartKubernetes》的作者对自己所写的书持续地更新，被这种认真打动了，外加这本书只有100多页，所以选择了这本书作为入门k8s的教材。二、这本书写了什么？这本书介绍了什么是k8s,k8s的组成结构(controlplanenode,workernode)，演示了在Windo
docker和kubectl客户端安装Linux yyytucj docker linux 容器
在现代软件开发和运维领域，Docker和Kubernetes已成为不可或缺的工具。Docker是一个开源的应用容器引擎，允许开发者打包应用及其依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器或者Windows机器上。Kubernetes（简称K8s）是一个开源的容器编排工具，用于自动化容器的部署、扩展和管理。在Linux环境中安装Docker和Kubernetes客户端（kubect
curl不通 k8s_【K8S排错】在集群的POD内不能访问clusterIP和service weixin_39950057 curl不通 k8s
排错背景：在一次生产环境的部署过程中，配置文件中配置的访问地址为集群的Service，配置好后发现服务不能正常访问，遂启动了一个busybox进行测试，测试发现在busybox中，能通过coredns正常的解析到IP，然后去ping了一下service，发现不能ping通，pingclusterIP也不能ping通。排错经历：首先排查了kube-proxy是否正常，发现启动都是正常的，然后也重启了
在K8S中，svc底层是如何实现的？ Dusk_橙子 K8S kubernetes 容器云原生
在Kubernetes中，Service是集群内部的一个抽象层，用于定义一组Pod的逻辑分组，并提供统一的访问入口点，同时还可以对这些Pod提供负载均衡和网络代理功能。Service底层的实现主要包括以下几个关键组件和技术：标签选择器（LabelSelectors）Kubernetes中的Service并不直接指向具体的PodIP地址，而是通过标签选择器（LabelSelectors）关联到具有匹
K8s 1.27.1 实战系列（六）Pod 白昼ron K8s kubernetes 容器 K8s Pod yaml
一、Pod介绍1、Pod的定义与核心设计Pod是Kubernetes的最小调度单元，由一个或多个容器组成，这些容器共享网络、存储、进程命名空间等资源，形成紧密协作的应用单元。Pod的设计灵感来源于“豌豆荚”模型，容器如同豆子，共享同一环境但保持隔离性。其核心设计目标包括：轻量性：Pod本身不负责资源分配，仅作为容器的逻辑封装单元，高效利用集群资源。临时性：Pod生命周期短暂，故障或任务完成后会被销
Zabbix启动后访问报错502 Bad Gateway 奔跑吧邓邓子常见问题解答（FAQ）gateway nginx zabbix
提示：“奔跑吧邓邓子”的常见问题专栏聚焦于各类技术领域常见问题的解答。涵盖操作系统（如CentOS、Linux等）、开发工具（如AndroidStudio）、服务器软件（如Zabbix、JumpServer、RocketMQ等）以及远程桌面、代码克隆等多种场景。针对如远程桌面无法复制粘贴、Kubernetes报错、自启动报错、各类软件安装报错、内存占用问题、网络连接问题等提供了详细的问题描述与有效
Kubernetes/k8s 灰度发布 (deployment分批发布）江南飞羽 k8s kubernetes 运维 java
为何需要灰度发布生产环境从来都需要心存敬畏的，一旦变更失误会严重影响公网顾客的访问和体验，且实践过程中发现，发布和变更是两个重要的故障来源。IDC迁移到K8S后，虽然K8S配置rolling策略可实现maxSurge=1/n，分批升级工作负载deployment，但分批之间是没有停停顿疼点1）缺陷：假设deployment_v1一组有10个pod，内置rolling方式，发布pod_1更新代码为v
K8s 1.18.6版本基于 ingress-nginx 实现金丝雀发布（灰度发布） zerchin kubernetes ingress-nginx kubernetes ingress-nginx
K8s1.18.6版本基于ingress-nginx实现金丝雀发布（灰度发布）环境软件版本kubernetesv1.18.6nginx-ingress-controller0.32.0Rancherv2.4.5本次实验基于Rancher-v2.4.5部署了1.18.6版本的k8s集群，nginx-ingress版本为0.32.0，理论上ingress-nginx>=0.21.0都是可以的。介绍金丝
Kubernetes 控制器详解 π大星星️ kubernetes 容器云原生
一、什么是控制器控制器是Kubernetes中用于管理Pod的一种机制。它通过维护Pod的副本数量和状态，确保系统始终处于用户期望的目标状态。控制器的核心功能包括：自主式Pod与控制器管理的Pod：自主式Pod：Pod退出或意外关闭后不会被重新创建。控制器管理的Pod：控制器会始终维持Pod的副本数目，并在Pod出现故障时根据指定策略重新编排。工作原理：控制器将期望状态写入etcd。Kuberne
Kubernetes中的微服务 π大星星️ kubernetes 微服务容器
一、什么是微服务在Kubernetes中，微服务是一种将应用拆分为独立、可扩展的小型服务的架构模式。每个微服务通常运行在独立的容器中，并通过网络进行通信。Kubernetes提供了多种机制来管理和暴露这些微服务，使其能够高效地运行和扩展。1.1服务暴露与Service在Kubernetes中，Service是一种抽象资源，它将一组提供相同服务的Pod组合在一起（使用标签选择器（LabelsSele
K8s 1.27.1 实战系列（二）安装集群并初始化白昼ron K8s kubernetes 容器 K8s 部署 containerd kubeadm kubelet
一、安装kubeadm、kubelet和kubectl（所有节点）1、配置k8s的yum源地址cat<
Kubernetes_15_k8s交付jenkins并集成docker/k8s/java/maven环境 hellowordx007 Kubernetes kubernetes 服务器 linux
配置jenkins镜像并集成Docker环境在运维机执行[root@wwwjenkins]#pwd/opt/sortware/jenkins[root@wwwjenkins]#vimDockerfile##配置Dockerfile集成Docker环境FROMjenkins/jenkins:2.287USERrootADDkubectl/usr/bin/kubectlADDget-docker.sh
K8s面试题总结（十一） a_j58 kubernetes 容器云原生
1.如何优化docker镜像的大小？使用多阶段构建（multi-stagebuild）选择更小的基础镜像（如alpine）减少镜像层数，合并RUN命令2.请解释Docker中的网络模式（如bridge,host,none)Bridge：默认模式，容器通过虚拟网络桥接与主机通信Host：容器直接使用主机的网络栈none：容器没有网络接口3.如何将本地开发的Docker容器部署到Kubernetes集
Spring Cloud Alibaba 实战：轻松实现 Nacos 服务发现与动态配置管理扣丁梦想家微服务服务发现 java 数据库
1.Nacos介绍1.1什么是Nacos？Nacos（NamingandConfigurationService）是阿里巴巴开源的一个服务注册中心和配置管理中心。它支持动态服务发现、配置管理和服务治理，适用于微服务架构，尤其是基于SpringCloud和Kubernetes的应用。1.2Nacos主要功能服务发现与注册：提供类似Eureka的服务注册与发现功能。动态配置管理：可替代SpringCl
Kubernetes 网络模型架构详解：组件通信、网络入口与出口码农阿豪@新空间包罗万象 kubernetes 网络架构
个人名片作者简介：java领域优质创作者个人主页：码农阿豪工作室：新空间代码工作室（提供各种软件服务)个人邮箱：[[email protected]]个人微信：15279484656个人导航网站：www.forff.top座右铭：总有人要赢。为什么不能是我呢？专栏导航：码农阿豪系列专栏导航面试专栏：收集了java相关高频面试题，面试实战总结️Spring5系列专栏：整理了Spring5重要知识点与
Kubernetes 探秘：声明式 API 与编程范式少林码僧 kubernetes 容器云原生
《Kubernetes探秘：声明式API与编程范式》在Kubernetes的世界中，声明式API和特定的编程范式起着至关重要的作用。这一节，我们将深入剖析Kubernetes课程第十八节——“声明式API与Kubernetes编程范式”。一、声明式API的重要性（一）简化操作声明式API允许用户描述期望的系统状态，而不是具体的操作步骤。这使得操作更加简洁明了，减少了复杂性。例如，用户可以通过声明一
【K8S问题系列 | 10】在K8S集群怎么查看各个pod占用的资源大小？【已解决】颜淡慕潇 kubernetes 容器云原生后端问题解决
要查看Kubernetes集群中各个Pod占用的资源大小（包括CPU和内存），可以使用以下几种方法：1.使用kubectltop命令kubectltop命令可以快速查看当前Pod的CPU和内存使用情况。需要确保已安装并配置了MetricsServer。查看所有Pod的资源使用情况kubectltoppods--all-namespaces示例输出NAMESPACENAMECPU(cores)MEM
K8s（八）：如何进行 Kubernetes 集群健康检查？ Seal^_^ #Kubernetes 【云原生】容器化与编排技术持续集成 kubernetes 容器云原生 K8s 集群健康检查
K8s（八）：如何进行Kubernetes集群健康检查？1、节点健康检查1.1、使用kubectl查看节点状态1.2、查看节点详细信息1.3、检查节点资源使用情况2、Pod健康检查2.1、使用kubectl查看Pod状态2.2、查看特定Pod的详细信息，包括事件和条件3、服务健康检查3.1、使用kubectl查看服务状态3.2、查看特定服务的详细信息，包括端口和端点4、使用kubectl查看存储状
k8s scheduler源码阅读全是操作 k8s kubernetes 容器云原生
目标通过源码加深对k8sscheduler的了解源码阅读环境准备源码在kubernetes仓库中,如何调试scheduler在我的另一篇文章《kubeadm搭建k8s源码阅读环境》里面有演示。在本篇文章中就不再赘述了。调试命令如下dlv--headless--listen=:8005--api-version=2--accept-multiclientexec/root/kubernetes/_o
如何收集 Kubernetes 集群的日志沉默的八哥运维 kubernetes 运维
一、Kubernetes日志收集核心方案1.EFKStack（Elasticsearch+Fluentd+Kibana）•适用场景：企业级日志分析、复杂查询需求、长期日志存储。•组件作用：•Fluentd：日志收集器（部署为DaemonSet，每个Node运行一个实例）。•Elasticsearch：日志存储与索引（支持分布式、高并发）。•Kibana：可视化仪表盘（日志搜索、图表展示）。2.Lo
nginx 代理 redis P7进阶路面试学习路线阿里巴巴 nginx redis 运维
kubernetes发布的redis服务端口为31250通过命令查询[mini@ecs-88500735/]$minikubeserviceredis--urlhttp://192.168.49.2:31250[root@ecs-88500735/]#vi/etc/nginx/nginx.conf配置nginx.confstream{upstreamredis{server192.168.49.2
为企业级AI交互系统OpenWebUI集成LDAP用户权限认证（2）小涵本地离线DeepSeek AI方案部署实战教程【完全版】DevOps企业级项目实战人工智能交互 docker 容器 AI Ollama
为企业级AI交互系统OpenWebUI集成LDAP用户权限认证（2）本文介绍如何OpenWebUI系统集成LDAP认证服务，及其用户权限及用户组设置。推荐超级课程：本地离线DeepSeekAI方案部署实战教程【完全版】Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战目录为企业级AI交互系统OpenWebUI集成LDAP用户权限认证（2）安装OpenWebUI升
Ceph实战（一）-分布式存储介绍与原理架构概述深度视觉机器 Centos7 Ceph 分布式存储介绍与原理架构概述
最近工作中有涉及到CEPH相关的内容，所以打算开一个CEPH专栏来进行总结，学习CEPH还有一个重要原因就是我同时要补充kubernetes、rancher专栏必定会涉及到有状态的存储资源抽象（StatefulSet、PV、PVC、StorageClass等），首先绕不开的就是高可用的分布式存储系统，虽然有很多人反对将持久化数据以容器的方式来部署，说容器化部署不是银弹，但未来发展方向就是容器化，并
云计算与边缘计算大白话(●一●) Jodie大白话云计算 docker 云原生微服务容器 kubernetes
目录一、云计算和云原生概念1.1云计算1.2云原生二、云计算四个层次2.1IaaS(InfrastructureasaService)2.2PaaS(PlatformasaService)2.3SaaS(SoftwareasaService)2.4DaaS(DataasaService)三、云原生关键技术3.1Docker3.2Kubernetes3.3微服务3.4DevOps四、边缘计算和边缘设
K8s 1.27.1 实战系列（五）Namespace 白昼ron K8s kubernetes 容器 K8s Namespace 命名空间 yaml ns
Kubernetes1.27.1中的Namespace（命名空间）是集群中实现多租户资源隔离的核心机制。以下从功能、操作、配置及实践角度进行详细解析：一、核心功能与特性1、资源隔离Namespace将集群资源划分为逻辑组，实现Pod、Service、Deployment等资源的虚拟隔离。例如，开发环境与生产环境的资源可独立管理，避免相互干扰。非完全隔离性：默认仅逻辑隔离，网络和存储仍互通，需通过N
K8S常见的面试题水月清辉 k8s
kubernetes面试题汇总1、k8s是什么？请说出你的了解？答：Kubenetes是一个针对容器应用，进行自动部署，弹性伸缩和管理的开源系统。主要功能是生产环境中的容器编排。K8S是Google公司推出的，它来源于由Google公司内部使用了15年的Borg系统，集结了Borg的精华。2、K8s架构的组成是什么？答：和大多数分布式系统一样，K8S集群至少需要一个主节点（Master）和多个计算
DevOps全流程 fengdongnan devops 运维 java
DevOps全流程面试速记DevOps是一种融合开与运维的软件研发实践方法，规划从需求调研到开发，测试，部署等全流程，通过Jenkins和Kubernetes等自动化工具集成部署实现从代码编写到部署的无缝衔接，加速软件交付周期。我在实习中涉及到的工作有参与需求评审和开发排期会议，独立开发测试，并通过流水线部署与测试合作完善系统。DevOps是一种软件开发和运维的实践方法，是为了实现更高效、快速、可
Kubeflow学习小高高不要bug 学习 kubernetes 大数据
Kubeflow学习介绍架构Kubeflow在ML工作流中的组件介绍Kubeflow致力于使在Kubernetes上部署机器学习工作流变得简单、可移植和可扩展。目标不是重新创建其他服务，而是提供一种直接的方式来将最佳的ML开源系统部署到不同的基础设施。在任何运行Kubenertes的地方，都应该能够运行Kubeflow。Kubeflow是Kubernetes的机器学习工具包。要使用Kubeflow
【DevOps】Jenkins+Kubernetes：K8S集群外部署的Jenkins，设置动态Jenkins-slave工作节点到K8S集群中运维归一 DevOps jenkins docker kubernetes
视频教程视频教程：https://edu.csdn.net/learn/38191/604447?spm=1003.2001.3001.4143Jenkins部署，设置动态agent到K8S集群中centosdockerjenkinskubernets7.920.102.28919.10通常情况下jenkins单节点自己可以工作，但是一旦发布任务量巨大，server端自己肯定是靠不住的。为了解决这
java观察者模式 3213213333332132 java 设计模式游戏观察者模式
观察者模式——顾名思义，就是一个对象观察另一个对象，当被观察的对象发生变化时，观察者也会跟着变化。在日常中，我们配java环境变量时，设置一个JAVAHOME变量,这就是被观察者，使用了JAVAHOME变量的对象都是观察者，一旦JAVAHOME的路径改动，其他的也会跟着改动。这样的例子很多，我想用小时候玩的老鹰捉小鸡游戏来简单的描绘观察者模式。老鹰会变成观察者，母鸡和小鸡是
TFS RESTful API 模拟上传测试 ronin47
TFS RESTful API 模拟上传测试。　　细节参看这里：https://github.com/alibaba/nginx-tfs/blob/master/TFS_RESTful_API.markdown 模拟POST上传一个图片： curl --data-binary @/opt/tfs.png http
PHP常用设计模式单例, 工厂, 观察者, 责任链, 装饰, 策略,适配,桥接模式 dcj3sjt126com 设计模式 PHP
// 多态, 在JAVA中是这样用的, 其实在PHP当中可以自然消除, 因为参数是动态的, 你传什么过来都可以, 不限制类型, 直接调用类的方法 abstract class Tiger { public abstract function climb(); } class XTiger extends Tiger { public function climb()
hibernate 171815164 Hibernate
main,save Configuration conf =new Configuration().configure(); SessionFactory sf=conf.buildSessionFactory(); Session sess=sf.openSession(); Transaction tx=sess.beginTransaction(); News a=new
Ant实例分析 g21121 ant
下面是一个Ant构建文件的实例，通过这个实例我们可以很清楚的理顺构建一个项目的顺序及依赖关系，从而编写出更加合理的构建文件。下面是build.xml的代码： <?xml version="1
[简单]工作记录_接口返回405原因 53873039oycg 工作
最近调接口时候一直报错，错误信息是: responseCode:405 responseMsg:Method Not Allowed 接口请求方式Post.
关于java.lang.ClassNotFoundException 和 java.lang.NoClassDefFoundError 的区别程序员是怎么炼成的
真正完成类的加载工作是通过调用 defineClass来实现的；而启动类的加载过程是通过调用 loadClass来实现的；就是类加载器分为加载和定义 protected Class<?> findClass(String name) throws ClassNotFoundExcept
JDBC学习笔记-JDBC详细的操作流程 aijuans jdbc
所有的JDBC应用程序都具有下面的基本流程：　　1、加载数据库驱动并建立到数据库的连接。　　2、执行SQL语句。　　3、处理结果。　　4、从数据库断开连接释放资源。下面我们就来仔细看一看每一个步骤：其实按照上面所说每个阶段都可得单独拿出来写成一个独立的类方法文件。共别的应用来调用。 1、加载数据库驱动并建立到数据库的连接： Html代码 St
rome创建rss antonyup_2006 tomcat cms xml struts Opera
引用 1.RSS标准 RSS标准比较混乱，主要有以下3个系列 RSS 0.9x / 2.0 : RSS技术诞生于1999年的网景公司(Netscape)，其发布了一个0.9版本的规范。2001年，RSS技术标准的发展工作被Userland Software公司的戴夫温那(Dave Winer)所接手。陆续发布了0.9x的系列版本。当W3C小组发布RSS 1.0后，Dave W
html表格和表单基础百合不是茶 html 表格表单 meta 锚点
第一次用html来写东西,感觉压力山大,每次看见别人发的都是比较牛逼的再看看自己什么都还不会, html是一种标记语言,其实很简单都是固定的格式 _----------------------------------------表格和表单表格是html的重要组成部分,表格用在body里面的主要用法如下; <table> &
ibatis如何传入完整的sql语句 bijian1013 java sql ibatis
ibatis如何传入完整的sql语句？进一步说，String str ="select * from test_table"，我想把str传入ibatis中执行，是传递整条sql语句。解决办法： <
精通Oracle10编程SQL(14)开发动态SQL bijian1013 oracle 数据库 plsql
/* *开发动态SQL */ --使用EXECUTE IMMEDIATE处理DDL操作 CREATE OR REPLACE PROCEDURE drop_table(table_name varchar2) is sql_statement varchar2(100); begin sql_statement:='DROP TABLE '||table_name;
【Linux命令】Linux工作中常用命令 bit1129 linux命令
不断的总结工作中常用的Linux命令 1.查看端口被哪个进程占用通过这个命令可以得到占用8085端口的进程号，然后通过ps -ef|grep 进程号得到进程的详细信息 netstat -anp | grep 8085 察看进程ID对应的进程占用的端口号 netstat -anp | grep 进程ID &
优秀网站和文档收集白糖_ 网站
集成 Flex, Spring, Hibernate 构建应用程序性能测试工具-JMeter Hmtl5-IOCN网站 Oracle精简版教程网站鸟哥的linux私房菜 Jetty中文文档 50个jquery必备代码片段 swfobject.js检测flash版本号工具
angular.extend boyitech AngularJS angular.extend AngularJS API
angular.extend 复制src对象中的属性去dst对象中. 支持多个src对象. 如果你不想改变一个对象，你可以把dst设为空对象{}: var object = angular.extend({}, object1, object2). 注意: angular.extend不支持递归复制. 使用方法: angular.extend(dst, src); 参数:
java-谷歌面试题-设计方便提取中数的数据结构 bylijinnan java
网上找了一下这道题的解答，但都是提供思路，没有提供具体实现。其中使用大小堆这个思路看似简单，但实现起来要考虑很多。以下分别用排序数组和大小堆来实现。使用大小堆： import java.util.Arrays; public class MedianInHeap { /** * 题目：设计方便提取中数的数据结构 * 设计一个数据结构，其中包含两个函数，1.插
ajaxFileUpload 针对 ie jquery 1.7+不能使用问题修复版本 Chen.H ajaxFileUpload ie6 ie7 ie8 ie9
jQuery.extend({ handleError: function( s, xhr, status, e ) { // If a local callback was specified, fire it if ( s.error ) { s.error.call( s.context || s, xhr, status, e ); }
[机器人制造原则]机器人的电池和存储器必须可以替换 comsci 制造
机器人的身体随时随地可能被外来力量所破坏,但是如果机器人的存储器和电池可以更换,那么这个机器人的思维和记忆力就可以保存下来,即使身体受到伤害,在把存储器取下来安装到一个新的身体上之后,原有的性格和能力都可以继续维持..... 另外,如果一
Oracle Multitable INSERT 的用法 daizj oracle
转载Oracle笔记-Multitable INSERT 的用法 http://blog.chinaunix.net/uid-8504518-id-3310531.html 一、Insert基础用法语法： Insert Into 表名 (字段1,字段2,字段3...） Values (值1,
专访黑客历史学家George Dyson datamachine on
20世纪最具威力的两项发明——核弹和计算机出自同一时代、同一群年青人。可是，与大名鼎鼎的曼哈顿计划（第二次世界大战中美国原子弹研究计划）相比，计算机的起源显得默默无闻。出身计算机世家的历史学家George Dyson在其新书《图灵大教堂》（Turing’s Cathedral）中讲述了阿兰·图灵、约翰·冯·诺依曼等一帮子天才小子创造计算机及预见计算机未来
小学6年级英语单词背诵第一课 dcj3sjt126com english word
always 总是 rice 水稻，米饭 before 在...之前 live 生活，居住 usual 通常的 early 早的 begin 开始 month 月份 year 年 last 最后的 east 东方的 high 高的 far 远的 window 窗户 world 世界 than 比...更
在线IT教育和在线IT高端教育 dcj3sjt126com 教育
codecademy http://www.codecademy.com codeschool https://www.codeschool.com teamtreehouse http://teamtreehouse.com lynda http://www.lynda.com/ Coursera https://www.coursera.
Struts2 xml校验框架所定义的校验文件蕃薯耀 Struts2 xml校验 Struts2 xml校验框架 Struts2校验
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月11日 15:54:59 星期六 http://fa
mac下安装rar和unrar命令 hanqunfeng mac
1.下载：http://www.rarlab.com/download.htm 选择 RAR 5.21 for Mac OS X 2.解压下载后的文件 tar -zxvf rarosx-5.2.1.tar 3.cd rar sudo install -c -o $USER unrar /bin #输入当前用户登录密码 sudo install -c -o $USER rar
三种将list转换为map的方法 jackyrong list
在本文中，介绍三种将list转换为map的方法： 1）传统方法假设有某个类如下 class Movie { private Integer rank; private String description; public Movie(Integer rank, String des
年轻程序员需要学习的5大经验 lampcy 工作 PHP 程序员
在过去的7年半时间里，我带过的软件实习生超过一打，也看到过数以百计的学生和毕业生的档案。我发现很多事情他们都需要学习。或许你会说，我说的不就是某种特定的技术、算法、数学，或者其他特定形式的知识吗？没错，这的确是需要学习的，但却并不是最重要的事情。他们需要学习的最重要的东西是“自我规范”。这些规范就是：尽可能地写出最简洁的代码；如果代码后期会因为改动而变得凌乱不堪就得重构；尽量删除没用的代码，并添加
评“女孩遭野蛮引产致终身不育 60万赔偿款1分未得”医腐深入骨髓 nannan408
先来看南方网的一则报道：再正常不过的结婚、生子，对于29岁的郑畅来说，却是一个永远也无法实现的梦想。从2010年到2015年，从24岁到29岁，一张张新旧不一的诊断书记录了她病情的同时，也清晰地记下了她人生的悲哀。　　粗暴手术让人发寒　　2010年7月，在酒店做服务员的郑畅发现自己怀孕了，可男朋友却联系不上。在没有和家人商量的情况下，她决定堕胎。　　12月5日，
使用jQuery为input输入框绑定回车键事件 VS 为a标签绑定click事件 Everyday都不同 jsp input 回车键绑定 click enter
假设如题所示的事件为同一个，必须先把该js函数抽离出来，该函数定义了监听的处理： function search() { //监听函数略...... } 为input框绑定回车事件，当用户在文本框中输入搜索关键字时，按回车键，即可触发search(): //回车绑定 $(".search").keydown(fun
EXT学习记录 tntxia ext
1. 准备（1）官网：http://www.sencha.com/ 里面有源代码和API文档下载。 EXT的域名已经从www.extjs.com改成了www.sencha.com ，但extjs这个域名会自动转到sencha上。（2）帮助文档：想要查看EXT的官方文档的话，可以去这里h
mybatis3的mapper文件报Referenced file contains errors xingguangsixian mybatis
最近使用mybatis.3.1.0时无意中碰到一个问题： The errors below were detected when validating the file "mybatis-3-mapper.dtd" via the file "account-mapper.xml". In most cases these errors can be d