串行并jjjjj
串行并jjjjj

测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端

一、环境说明

操作系统 主机名 节点及功能 IP 备注
CentOS7.5 X86_64                                     

k8s-master                            

 master/etcd/registry                                   192.168.168.2                             kube-apiserver、kube-controller-manager、kube-scheduler、etcd、docker、calico-image
CentOS7.5 X86_64                                           

work-node01                                            

 node01/etcd 192.168.168.3                                     kube-proxy、kubelet、etcd、docker、calico
CentOS7.5 X86_64 work-node02 node02/etcd 192.168.168.4 kube-proxy、kubelet、etcd、docker、calico


 

 

 

测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端_第1张图片

测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端_第2张图片

集群功能各模块功能描述：

Master节点：
Master节点上面主要由四个模块组成，APIServer，schedule,controller-manager,etcd

APIServer: APIServer负责对外提供RESTful的kubernetes API的服务，它是系统管理指令的统一接口，任何对资源的增删该查都要交给APIServer处理后再交给etcd，如图，kubectl(kubernetes提供的客户端工具，该工具内部是对kubernetes API的调用）是直接和APIServer交互的。

schedule: schedule负责调度Pod到合适的Node上，如果把scheduler看成一个黑匣子，那么它的输入是pod和由多个Node组成的列表，输出是Pod和一个Node的绑定。 kubernetes目前提供了调度算法，同样也保留了接口。用户根据自己的需求定义自己的调度算法。

controller manager: 如果APIServer做的是前台的工作的话，那么controller manager就是负责后台的。每一个资源都对应一个控制器。而control manager就是负责管理这些控制器的，比如我们通过APIServer创建了一个Pod，当这个Pod创建成功后，APIServer的任务就算完成了。

etcd：etcd是一个高可用的键值存储系统，kubernetes使用它来存储各个资源的状态，从而实现了Restful的API。

Node节点：
每个Node节点主要由三个模板组成：kublet, kube-proxy

kube-proxy: 该模块实现了kubernetes中的服务发现和反向代理功能。kube-proxy支持TCP和UDP连接转发，默认基Round Robin算法将客户端流量转发到与service对应的一组后端pod。服务发现方面，kube-proxy使用etcd的watch机制监控集群中service和endpoint对象数据的动态变化，并且维护一个service到endpoint的映射关系，从而保证了后端pod的IP变化不会对访问者造成影响，另外，kube-proxy还支持session affinity。

kublet：kublet是Master在每个Node节点上面的agent，是Node节点上面最重要的模块，它负责维护和管理该Node上的所有容器，但是如果容器不是通过kubernetes创建的，它并不会管理。本质上，它负责使Pod的运行状态与期望的状态一致。

二、3台主机安装前准备

1）更新软件包和内核
yum -y update
2) 关闭防火墙 
systemclt disable firewalld.service
3) 关闭SELinux
vi /etc/selinux/config
改SELINUX=enforcing为SELINUX=disabled
4）安装常用
yum -y install net-tools ntpdate conntrack-tools
5）优化内核参数
net.ipv4.ip_local_port_range = 30000 60999
net.netfilter.nf_conntrack_max = 26214400
net.netfilter.nf_conntrack_tcp_timeout_established = 86400
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 3600

三、修改三台主机命名

1) k8s-master
hostnamectl --static set-hostname  k8s-master
2) work-node01
hostnamectl --static set-hostname  work-node01
3) work-node02

hostnamectl --static set-hostname  work-node02

四、制作CA证书

1.创建生成证书和存放证书目录(3台主机上都进行此操作)

 

  1. mkdir /root/ssl

  2. mkdir -p /opt/kubernetes/{conf,bin,ssl,yaml}

2.设置环境变量(3台主机上都进行此操作)

 

  1. vi /etc/profile.d/kubernetes.sh

  2. K8S_HOME=/opt/kubernetes

  3. export PATH=$K8S_HOME/bin/:$PATH

  4. source /etc/profile.d/kubernetes.sh

3.安装CFSSL并复制到node01号node02节点

 

  1. cd /root/ssl

  2. wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

  3. wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

  4. wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

  5. chmod +x cfssl*

  6. mv cfssl-certinfo_linux-amd64 /opt/kubernetes/bin/cfssl-certinfo

  7. mv cfssljson_linux-amd64 /opt/kubernetes/bin/cfssljson

  8. mv cfssl_linux-amd64 /opt/kubernetes/bin/cfssl

 

  1. scp /opt/kubernetes/bin/cfssl* 192.168.168.3:/opt/kubernetes/bin

  2. scp /opt/kubernetes/bin/cfssl* 192.168.168.4:/opt/kubernetes/bin

4.创建用来生成 CA 文件的 JSON 配置文件

 

  1. cd /root/ssl

  2. cat > ca-config.json <

  3. {

  4.   "signing": {

  5.     "default": {

  6.       "expiry": "87600h"

  7.     },

  8.     "profiles": {

  9.       "kubernetes": {

  10.         "usages": [

  11.             "signing",

  12.             "key encipherment",

  13.             "server auth",

  14.             "client auth"

  15.         ],

  16.         "expiry": "87600h"

  17.       }

  18.     }

  19.   }

  20. }

  21. EOF

server auth表示client可以用该ca对server提供的证书进行验证

client auth表示server可以用该ca对client提供的证书进行验证

5.创建用来生成 CA 证书签名请求（CSR）的 JSON 配置文件

 

  1. cat > ca-csr.json <

  2. {

  3.   "CN": "kubernetes",

  4.   "key": {

  5.     "algo": "rsa",

  6.     "size": 2048

  7.   },

  8.   "names": [

  9.     {

  10.       "C": "CN",

  11.       "ST": "BeiJing",

  12.       "L": "BeiJing",

  13.       "O": "k8s",

  14.       "OU": "System"

  15.     }

  16.   ]

  17. }

  18. EOF

6.生成CA证书和私钥

 

  1. # cfssl gencert -initca ca-csr.json | cfssljson -bare ca

  2. # ls ca*

  3. ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

将SCP证书分发到各节点

 

  1. # cp ca.csr ca.pem ca-key.pem ca-config.json /opt/kubernetes/ssl

  2. # scp ca.csr ca.pem ca-key.pem ca-config.json [email protected]:/opt/kubernetes/ssl

  3. # scp ca.csr ca.pem ca-key.pem ca-config.json [email protected]:/opt/kubernetes/ssl

7.创建etcd证书请求

 

  1. # cat > etcd-csr.json <

  2. {

  3. "CN": "etcd",

  4. "hosts": [

  5. "127.0.0.1",

  6. "192.168.168.2",

  7. "192.168.168.3",

  8. "192.168.168.4",

  9. "k8s-master",

  10. "work-node01",

  11. "work-node02"

  12. ],

  13. "key": {

  14. "algo": "rsa",

  15. "size": 2048

  16. },

  17. "names": [

  18. {

  19. "C": "CN",

  20. "ST": "BeiJing",

  21. "L": "BeiJing",

  22. "O": "k8s",

  23. "OU": "System"

  24. }

  25. ]

  26. }

  27. EOF

8.生成 etcd 证书和私钥

 

  1. # cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes etcd-csr.json | cfssljson -bare etcd

  2. # ls etc*

  3. etcd.csr  etcd-key.pem  etcd.pem

分发证书文件

 

  1. # cp /root/ssl/etcd*.pem /etc/kubernetes/ssl

  2. # scp /root/ssl/etcd*.pem [email protected]/opt/kubernetes/ssl

  3. # scp /root/ssl/etcd*.pem [email protected]/opt/kubernetes/ssl

五、Etcd集群安装配置(配置前3台主机需时间同步)

1.修改hosts(3台主机上都进行此操作)

vi /etc/hosts

 

  1. # echo '192.168.168.2 k8s-master

  2. 192.168.168.3 work-node01

  3. 192.168.168.4 work-node02' >> /etc/hosts

2.下载etcd安装包

wget https://github.com/coreos/etcd/releases/download/v3.3.7/etcd-v3.3.7-linux-amd64.tar.gz

3.解压安装etcd(3台主机做同样配置)

 

  1. mkdir /var/lib/etcd

  2. tar -zxvf etcd-v3.3.7-linux-amd64.tar.gz

  3. cp etcd etcdctl /opt/kubernetes/bin

4.创建etcd启动文件

 

  1. cat > /usr/lib/systemd/system/etcd.service <

  2. [Unit]

  3. Description=Etcd Server

  4. After=network.target

  5.  

  6. [Service]

  7. Type=simple

  8. WorkingDirectory=/var/lib/etcd

  9. EnvironmentFile=/opt/kubernetes/conf/etcd.conf

  10. # set GOMAXPROCS to number of processors

  11. ExecStart=/bin/bash -c "GOMAXPROCS=1 /opt/kubernetes/bin/etcd"

  12. Type=notify

  13.  

  14. [Install]

  15. WantedBy=multi-user.target

  16. EOF

将etcd.service文件分发到各node节点

 

  1. scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/etcd.service

  2. scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/etcd.service

5.k8s-master(192.168.168.2)编译etcd.conf文件

vi /opt/kubernetes/conf/ectd.conf

 

  1. #[Member]

  2. #ETCD_CORS=""

  3. ETCD_DATA_DIR="/var/lib/etcd/k8s-master.etcd"

  4. #ETCD_WAL_DIR=""

  5. ETCD_LISTEN_PEER_URLS="https://0.0.0.0:2380"

  6. ETCD_LISTEN_CLIENT_URLS="https://0.0.0.0:2379,http://127.0.0.1:4001"

  7. #ETCD_MAX_SNAPSHOTS="5"

  8. #ETCD_MAX_WALS="5"

  9. ETCD_NAME="k8s-master"

  10. #ETCD_SNAPSHOT_COUNT="100000"

  11. #ETCD_HEARTBEAT_INTERVAL="100"

  12. #ETCD_ELECTION_TIMEOUT="1000"

  13. #ETCD_QUOTA_BACKEND_BYTES="0"

  14. #ETCD_MAX_REQUEST_BYTES="1572864"

  15. #ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"

  16. #ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"

  17. #ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"

  18. #

  19. #[Clustering]

  20. #ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"

  21. ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.168.2:2380"

  22. ETCD_ADVERTISE_CLIENT_URLS="https://192.168.168.2:2379"

  23. #ETCD_DISCOVERY=""

  24. #ETCD_DISCOVERY_FALLBACK="proxy"

  25. #ETCD_DISCOVERY_PROXY=""

  26. #ETCD_DISCOVERY_SRV=""

  27. ETCD_INITIAL_CLUSTER="k8s-master=https://192.168.168.2:2380,work-node01=https://192.168.168.3:2380,work-node02=https://192.168.168.4:2380"

  28. ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

  29. ETCD_INITIAL_CLUSTER_STATE="new"

  30. #ETCD_STRICT_RECONFIG_CHECK="true"

  31. #ETCD_ENABLE_V2="true"

  32. #

  33. #[Proxy]

  34. #ETCD_PROXY="off"

  35. #ETCD_PROXY_FAILURE_WAIT="5000"

  36. #ETCD_PROXY_REFRESH_INTERVAL="30000"

  37. #ETCD_PROXY_DIAL_TIMEOUT="1000"

  38. #ETCD_PROXY_WRITE_TIMEOUT="5000"

  39. #ETCD_PROXY_READ_TIMEOUT="0"

  40. #

  41. #[Security]

  42. CLIENT_CERT_AUTH="true"

  43. ETCD_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  44. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  45. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  46. PEER_CLIENT_CERT_AUTH="true"

  47. ETCD_PEER_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  48. ETCD_PEER_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  49. ETCD_PEER_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  50. #

  51. #[Logging]

  52. #ETCD_DEBUG="false"

  53. #ETCD_LOG_PACKAGE_LEVELS=""

  54. #ETCD_LOG_OUTPUT="default"

  55. #

  56. #[Unsafe]

  57. #ETCD_FORCE_NEW_CLUSTER="false"

  58. #

  59. #[Version]

  60. #ETCD_VERSION="false"

  61. #ETCD_AUTO_COMPACTION_RETENTION="0"

  62. #

  63. #[Profiling]

  64. #ETCD_ENABLE_PPROF="false"

  65. #ETCD_METRICS="basic"

  66. #

  67. #[Auth]

  68. #ETCD_AUTH_TOKEN="simple"

6.work-node01(192.168.168.3)编译etcd.conf文件

vi /opt/kubernetes/conf/ectd.conf

 

  1. #[Member]

  2. #ETCD_CORS=""

  3. ETCD_DATA_DIR="/var/lib/etcd/work-node01.etcd"

  4. #ETCD_WAL_DIR=""

  5. ETCD_LISTEN_PEER_URLS="https://0.0.0.0:2380"

  6. ETCD_LISTEN_CLIENT_URLS="https://0.0.0.0:2379,https://127.0.0.1:4001"

  7. #ETCD_MAX_SNAPSHOTS="5"

  8. #ETCD_MAX_WALS="5"

  9. ETCD_NAME="work-node01"

  10. #ETCD_SNAPSHOT_COUNT="100000"

  11. #ETCD_HEARTBEAT_INTERVAL="100"

  12. #ETCD_ELECTION_TIMEOUT="1000"

  13. #ETCD_QUOTA_BACKEND_BYTES="0"

  14. #ETCD_MAX_REQUEST_BYTES="1572864"

  15. #ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"

  16. #ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"

  17. #ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"

  18. #

  19. #[Clustering]

  20. #ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"

  21. ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.168.3:2380"

  22. ETCD_ADVERTISE_CLIENT_URLS="https://192.168.168.3:2379"

  23. #ETCD_DISCOVERY=""

  24. #ETCD_DISCOVERY_FALLBACK="proxy"

  25. #ETCD_DISCOVERY_PROXY=""

  26. #ETCD_DISCOVERY_SRV=""

  27. ETCD_INITIAL_CLUSTER="k8s-master=https://192.168.168.2:2380,work-node01=https://192.168.168.3:2380,work-node02=https://192.168.168.4:2380"

  28. ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

  29. ETCD_INITIAL_CLUSTER_STATE="new"

  30. #ETCD_STRICT_RECONFIG_CHECK="true"

  31. #ETCD_ENABLE_V2="true"

  32. #

  33. #[Proxy]

  34. #ETCD_PROXY="off"

  35. #ETCD_PROXY_FAILURE_WAIT="5000"

  36. #ETCD_PROXY_REFRESH_INTERVAL="30000"

  37. #ETCD_PROXY_DIAL_TIMEOUT="1000"

  38. #ETCD_PROXY_WRITE_TIMEOUT="5000"

  39. #ETCD_PROXY_READ_TIMEOUT="0"

  40. #

  41. #[Security]

  42. CLIENT_CERT_AUTH="true"

  43. ETCD_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  44. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  45. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  46. PEER_CLIENT_CERT_AUTH="true"

  47. ETCD_PEER_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  48. ETCD_PEER_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  49. ETCD_PEER_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  50. #

  51. #[Logging]

  52. #ETCD_DEBUG="false"

  53. #ETCD_LOG_PACKAGE_LEVELS=""

  54. #ETCD_LOG_OUTPUT="default"

  55. #

  56. #[Unsafe]

  57. #ETCD_FORCE_NEW_CLUSTER="false"

  58. #

  59. #[Version]

  60. #ETCD_VERSION="false"

  61. #ETCD_AUTO_COMPACTION_RETENTION="0"

  62. #

  63. #[Profiling]

  64. #ETCD_ENABLE_PPROF="false"

  65. #ETCD_METRICS="basic"

  66. #

  67. #[Auth]

  68. #ETCD_AUTH_TOKEN="simple"

7.work-node02编译etcd.conf文件

vi /opt/kubernetes/conf/ectd.conf

 

  1. #[Member]

  2. #ETCD_CORS=""

  3. ETCD_DATA_DIR="/var/lib/etcd/work-node02.etcd"

  4. #ETCD_WAL_DIR=""

  5. ETCD_LISTEN_PEER_URLS="https://0.0.0.0:2380"

  6. ETCD_LISTEN_CLIENT_URLS="https://0.0.0.0:2379,https://127.0.0.1:4001"

  7. #ETCD_MAX_SNAPSHOTS="5"

  8. #ETCD_MAX_WALS="5"

  9. ETCD_NAME="work-node02"

  10. #ETCD_SNAPSHOT_COUNT="100000"

  11. #ETCD_HEARTBEAT_INTERVAL="100"

  12. #ETCD_ELECTION_TIMEOUT="1000"

  13. #ETCD_QUOTA_BACKEND_BYTES="0"

  14. #ETCD_MAX_REQUEST_BYTES="1572864"

  15. #ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"

  16. #ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"

  17. #ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"

  18. #

  19. #[Clustering]

  20. #ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"

  21. ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.168.4:2380"

  22. ETCD_ADVERTISE_CLIENT_URLS="https://192.168.168.4:2379"

  23. #ETCD_DISCOVERY=""

  24. #ETCD_DISCOVERY_FALLBACK="proxy"

  25. #ETCD_DISCOVERY_PROXY=""

  26. #ETCD_DISCOVERY_SRV=""

  27. ETCD_INITIAL_CLUSTER="k8s-master=https://192.168.168.2:2380,work-node01=https://192.168.168.3:2380,work-node02=https://192.168.168.4:2380"

  28. ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

  29. ETCD_INITIAL_CLUSTER_STATE="new"

  30. #ETCD_STRICT_RECONFIG_CHECK="true"

  31. #ETCD_ENABLE_V2="true"

  32. #

  33. #[Proxy]

  34. #ETCD_PROXY="off"

  35. #ETCD_PROXY_FAILURE_WAIT="5000"

  36. #ETCD_PROXY_REFRESH_INTERVAL="30000"

  37. #ETCD_PROXY_DIAL_TIMEOUT="1000"

  38. #ETCD_PROXY_WRITE_TIMEOUT="5000"

  39. #ETCD_PROXY_READ_TIMEOUT="0"

  40. #

  41. #[Security]

  42. CLIENT_CERT_AUTH="true"

  43. ETCD_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  44. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  45. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  46. PEER_CLIENT_CERT_AUTH="true"

  47. ETCD_PEER_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  48. ETCD_PEER_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  49. ETCD_PEER_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  50. #

  51. #[Logging]

  52. #ETCD_DEBUG="false"

  53. #ETCD_LOG_PACKAGE_LEVELS=""

  54. #ETCD_LOG_OUTPUT="default"

  55. #

  56. #[Unsafe]

  57. #ETCD_FORCE_NEW_CLUSTER="false"

  58. #

  59. #[Version]

  60. #ETCD_VERSION="false"

  61. #ETCD_AUTO_COMPACTION_RETENTION="0"

  62. #

  63. #[Profiling]

  64. #ETCD_ENABLE_PPROF="false"

  65. #ETCD_METRICS="basic"

  66. #

  67. #[Auth]

  68. #ETCD_AUTH_TOKEN="simple"

8.各etcd节点启动etcd并设置开机自动启动

 

  1. # systemctl daemon-reload

  2. # systemctl enable etcd

  3. # systemctl start etcd.service

  4. # systemctl status etcd.service

9.各etcd节点测试验证etcd集群配置

 

  1. # etcd --version //查看etcd安装版本

  2. etcd Version: 3.3.7

  3. Git SHA: 56536de55

  4. Go Version: go1.9.6

  5. Go OS/Arch: linux/amd64

查看etcd健康集群状态

 

  1. # etcdctl --endpoints=https://192.168.168.2:2379 \

  2.   --ca-file=/opt/kubernetes/ssl/ca.pem \

  3.   --cert-file=/opt/kubernetes/ssl/etcd.pem \

  4.   --key-file=/opt/kubernetes/ssl/etcd-key.pem cluster-health

  5. member b1840b0a404e1103 is healthy: got healthy result from https://192.168.168.2:2379

  6. member d15b66900329a12d is healthy: got healthy result from https://192.168.168.4:2379

  7. member f9794412c46a9cb0 is healthy: got healthy result from https://192.168.168.3:2379

  8. cluster is healthy

查看etcd集群状态

 

  1. # etcdctl --endpoints=https://192.168.168.2:2379 \

  2. --ca-file=/opt/kubernetes/ssl/ca.pem \

  3. --cert-file=/opt/kubernetes/ssl/etcd.pem \

  4. --key-file=/opt/kubernetes/ssl/etcd-key.pem member list

  5. b1840b0a404e1103: name=k8s-master peerURLs=https://192.168.168.2:2380 clientURLs=https://192.168.168.2:2379 isLeader=false

  6. d15b66900329a12d: name=work-node02 peerURLs=https://192.168.168.4:2380 clientURLs=https://192.168.168.4:2379 isLeader=true

  7. f9794412c46a9cb0: name=work-node01 peerURLs=https://192.168.168.3:2380 clientURLs=https://192.168.168.3:2379 isLeader=false

六、3台主机上安装docker-engine

1.详细步骤见“Oracle Linux7安装Docker”

2.配置Docker连接ETCD集群

设置docker的JSON文件

 

  1. # vi /etc/docker/daemon.json

  2. {

  3. "exec-opts": ["native.cgroupdriver=cgroupfs"],

  4. "registry-mirrors": ["https://wghlmi3i.mirror.aliyuncs.com"],

  5. "cluster-store": "etcd://192.168.168.2:2379,192.168.168.3:2379,192.168.168.4:2379"

  6. }

注：各node节点docker bip地址不重复，如node01为172.26.1.1/24，node02为172.26.2.1/24

设置docer启动文件

 

  1. # vi /usr/lib/systemd/system/docker.service

  2. 将

  3. ExecStart=/usr/bin/dockerd

  4. 改为

  5. ExecStart=/usr/bin/dockerd --tlsverify \

  6. --tlscacert=/opt/kubernetes/ssl/ca.pem \

  7. --tlscert=/opt/kubernetes/ssl/etcd.pem \

  8. --tlskey=/opt/kubernetes/ssl/etcd-key.pem -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

 

  1. # systemctl daemon-reload

  2. # systemctl enable docker.service

  3. # systemctl start docker.service

  4. # systemctl status docker.service

3.测试Docker TLS配置验证情况

七、Kubernetes集群安装配置

1.下载Kubernetes源码（本次使用k8s-1.10.4）

kubernetes-server-linux-amd64.tar.gz

2.解压Kubernets压缩包，生成一个kubernetes目录

tar -zxvf kubernetes-server-linux-amd64.tar.gz

3.配置k8s-master(192.168.168.2)

1）将k8s可执行文件拷贝至kubernets/bin目录下

 

  1. # cp -r /opt/software/kubernetes/server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler,kubectl,kubeadm} /opt/kubernetes/bin/

  2.  

  3. # scp /opt/software/kubernetes/server/bin/{kubectl,kube-proxy,kubelet} [email protected]:/opt/kubernetes/bin/

  4. # scp /opt/software/kubernetes/server/bin/{kubectl,kube-proxy,kubelet} [email protected]:/opt/kubernetes/bin/

2）创建生成K8S csr的JSON配置文件:

 

  1. # cd /root/ssl

  2. # cat > kubernetes-csr.json <

  3. {

  4. "CN": "kubernetes",

  5. "hosts": [

  6. "127.0.0.1",

  7. "192.168.168.2",

  8. "192.168.168.3",

  9. "192.168.168.4",

  10. "10.1.0.1",

  11. "localhost",

  12. "kubernetes",

  13. "kubernetes.default",

  14. "kubernetes.default.svc",

  15. "kubernetes.default.svc.cluster",

  16. "kubernetes.default.svc.cluster.local"

  17. ],

  18. "key": {

  19. "algo": "rsa",

  20. "size": 2048

  21. },

  22. "names": [

  23. {

  24. "C": "CN",

  25. "ST": "BeiJing",

  26. "L": "BeiJing",

  27. "O": "k8s",

  28. "OU": "System"

  29. }

  30. ]

  31. }

  32. EOF

注：10.1.0.1地址为service-cluster网段中第一个ip

3）在/root/ssl目录下生成k8s证书和私钥,并分发到各节点

 

  1. ＃ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes

  2.  

  3. # cp kubernetes*.pem /opt/kubernetes/ssl/

  4. # scp cp kubernetes*.pem [email protected]:/opt/kubernetes/ssl/

  5. # scp cp kubernetes*.pem [email protected]:/opt/kubernetes/ssl/

4）创建生成admin证书csr的JSON配置文件

 

  1. ＃ cat > admin-csr.json <

  2. {

  3. "CN": "admin",

  4. "hosts": [],

  5. "key": {

  6. "algo": "rsa",

  7. "size": 2048

  8. },

  9. "names": [

  10. {

  11. "C": "CN",

  12. "ST": "BeiJing",

  13. "L": "BeiJing",

  14. "O": "system:masters",

  15. "OU": "System"

  16. }

  17. ]

  18. }

  19. EOF

5）生成admin证书和私钥

 

  1. ＃ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin

  2. # cp admin*.pem /opt/kubernetes/ssl/

6）创建kube-apiserver使用的客户端token文件

 

  1. # mkdir /opt/kubernetes/token //在各k8s节点执行相同步骤

  2.  

  3. # export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ') //生成一个程序登录3rd_session

  4. # cat > /opt/kubernetes/token/bootstrap-token.csv <

  5. {BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"

  6. EOF

7）创建基础用户名/密码认证配置

 

  1. # vi /opt/kubernetes/token/basic-auth.csv //添加如下内容

  2. admin,admin,1

  3. readonly,readonly,2

8）创建Kube API Server启动文件

 

  1. # vi /usr/lib/systemd/system/kube-apiserver.service

  2. [Unit]

  3. Description=Kubernetes API Server

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5. After=network.target

  6. After=etcd.service

  7.  

  8. [Service]

  9. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  10. EnvironmentFile=/opt/kubernetes/conf/apiserver.conf

  11. ExecStart=/opt/kubernetes/bin/kube-apiserver \

  12.         $KUBE_LOGTOSTDERR \

  13.         $KUBE_LOG_LEVEL \

  14.         $KUBE_ETCD_SERVERS \

  15.         $KUBE_API_ADDRESS \

  16.         $KUBE_API_PORT \

  17.         $KUBELET_PORT \

  18.         $KUBE_ALLOW_PRIV \

  19.         $KUBE_SERVICE_ADDRESSES \

  20.         $KUBE_ADMISSION_CONTROL \

  21.         $KUBE_API_ARGS

  22. Restart=on-failure

  23. RestartSec=5

  24. Type=notify

  25. LimitNOFILE=65536

  26.  

  27. [Install]

  28. WantedBy=multi-user.target

mkdir /var/log/kubernetes      //在各k8s节点执行相同步骤
mkdir /var/log/kubernetes/apiserver

9）创建kube.conf文件

 

  1. # vi /opt/kubernetes/conf/kube.conf

  2. ###

  3. # kubernetes system config

  4. #

  5. # The following values are used to configure various aspects of all

  6. # kubernetes services, including

  7. #

  8. # kube-apiserver.service

  9. # kube-controller-manager.service

  10. # kube-scheduler.service

  11. # kubelet.service

  12. # kube-proxy.service

  13. # logging to stderr means we get it in the systemd journal

  14. KUBE_LOGTOSTDERR="--logtostderr=true"

  15. #

  16. # journal message level, 0 is debug

  17. KUBE_LOG_LEVEL="--v=2" //log级别

  18. #

  19. # Should this cluster be allowed to run privileged docker containers

  20. KUBE_ALLOW_PRIV="--allow-privileged=true"

  21. #

  22. # How the controller-manager, scheduler, and proxy find the apiserver

  23. #KUBE_MASTER="--master=http://sz-pg-oam-docker-test-001.tendcloud.com:8080"

  24. KUBE_MASTER="--master=http://127.0.0.1:8080"

注：该配置文件同时被kube-apiserver、kube-controller-manager、kube-scheduler、kubelet、kube-proxy共用，在各node节点KUBE_MASTER值注销

向各分发kube.conf文件

 

  1. # scp kube.conf [email protected]:/opt/kubernetes/conf/

  2. # scp kube.conf [email protected]:/opt/kubernetes/conf/

10）生成高级审计配置

 

  1. cat > /opt/kubernetes/yaml/audit-policy.yaml <

  2. # Log all requests at the Metadata level.

  3. apiVersion: audit.k8s.io/v1beta1

  4. kind: Policy

  5. rules:

  6. - level: Metadata

  7. EOF

11）创建kube API Server配置文件并启动

 

  1. # vi /opt/kubernetes/conf/apiserver.conf

  2. ###

  3. ## kubernetes system config

  4. ##

  5. ## The following values are used to configure the kube-apiserver

  6. ##

  7. #

  8. ## The address on the local server to listen to.

  9. #KUBE_API_ADDRESS="--insecure-bind-address=sz-pg-oam-docker-test-001.tendcloud.com"

  10. KUBE_API_ADDRESS="--advertise-address=192.168.168.2 --bind-address=192.168.168.2 --insecure-bind-address=127.0.0.1"

  11. #

  12. ## The port on the local server to listen on.

  13. #KUBE_API_PORT="--port=8080"

  14. #

  15. ## Port minions listen on

  16. #KUBELET_PORT="--kubelet-port=10250"

  17. #

  18. ## Comma separated list of nodes in the etcd cluster

  19. KUBE_ETCD_SERVERS="--etcd-servers=https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379"

  20. #

  21. ## Address range to use for services

  22. KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.1.0.0/16"

  23. #

  24. ## default admission control policies

  25. KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,NodeRestriction"

  26. #

  27. ## Add your own!

  28. KUBE_API_ARGS="--authorization-mode=Node,RBAC --runtime-config=rbac.authorization.k8s.io/v1 --kubelet-https=true --anonymous-auth=false --enable-bootstrap-token-auth --basic-auth-file=/opt/kubernetes/token/basic-auth.csv --token-auth-file=/opt/kubernetes/token/bootstrap-token.csv --service-node-port-range=30000-32767 --tls-cert-file=/opt/kubernetes/ssl/kubernetes.pem --tls-private-key-file=/opt/kubernetes/ssl/kubernetes-key.pem --client-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-key-file=/opt/kubernetes/ssl/ca-key.pem --etcd-cafile=/opt/kubernetes/ssl/ca.pem --etcd-certfile=/opt/kubernetes/ssl/kubernetes.pem --etcd-keyfile=/opt/kubernetes/ssl/kubernetes-key.pem --allow-privileged=true --enable-swagger-ui=true --apiserver-count=3 --audit-policy-file=/opt/kubernetes/etc/audit-policy.yaml --audit-log-maxage=30 --audit-log-maxbackup=3 --audit-log-maxsize=100 --audit-log-path=/var/log/kubernetes/apiserver/api-audit.log --log-dir=/var/log/kubernetes/apiserver --event-ttl=1h"

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-apiserver

  3. # systemctl start kube-apiserver

  4. # systemctl status kube-apiserver

11）创建Kube Controller Manager启动文件

 

  1. # vi /usr/lib/systemd/system/kube-controller-manager.service

  2. [Unit]

  3. Description=Kubernetes Controller Manager

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5.  

  6. [Service]

  7. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  8. EnvironmentFile=/opt/kubernetes/conf/controller-manager.conf

  9. ExecStart=/opt/kubernetes/bin/kube-controller-manager \

  10.         $KUBE_LOGTOSTDERR \

  11.         $KUBE_LOG_LEVEL \

  12.         $KUBE_MASTER \

  13.         $KUBE_CONTROLLER_MANAGER_ARGS

  14. Restart=on-failure

  15. RestartSec=5

  16.  

  17. [Install]

  18. WantedBy=multi-user.target

mkdir /var/log/kubernetes/controller-manager

13）创建kube Controller Manager配置文件并启动

 

  1. # vi /opt/kubernetes/conf/controller-manager.conf

  2. ###

  3. # The following values are used to configure the kubernetes controller-manager

  4. #

  5. # defaults from config and apiserver should be adequate

  6. #

  7. # Add your own!

  8. KUBE_CONTROLLER_MANAGER_ARGS="--address=127.0.0.1 --service-cluster-ip-range=10.1.0.0/16 --cluster-cidr=10.2.0.0/16 --cluster-name=kubernetes --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem --root-ca-file=/opt/kubernetes/ssl/ca.pem --leader-elect=true --log-dir=/var/log/kubernetes/controller-manager"

注：--service-cluster-ip-range参数指定Cluster中Service 的CIDR范围，该网络在各Node间必须路由不可达，必须和kube-apiserver中的参数一致

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-controller-manager

  3. # systemctl start kube-controller-manager

  4. # systemctl status kube-controller-manager

14）创建Kube Scheduler启动文件

 

  1. # vi /usr/lib/systemd/system/kube-scheduler.service

  2. [Unit]

  3. Description=Kubernetes Scheduler

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5.  

  6. [Service]

  7. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  8. EnvironmentFile=/opt/kubernetes/conf/scheduler.conf

  9. ExecStart=/opt/kubernetes/bin/kube-scheduler \

  10.             $KUBE_LOGTOSTDERR \

  11.             $KUBE_LOG_LEVEL \

  12.             $KUBE_MASTER \

  13.             $KUBE_SCHEDULER_ARGS

  14. Restart=on-failure

  15. RestartSec=5

  16.  

  17. [Install]

  18. WantedBy=multi-user.target

mkdir /var/log/kubernetes/scheduler

15）创建Kube Scheduler配置文件并启动

 

  1. # vi /opt/kubernetes/conf/scheduler.conf

  2. ###

  3. # kubernetes scheduler config

  4. #

  5. # default config should be adequate

  6. #

  7. # Add your own!

  8. KUBE_SCHEDULER_ARGS="--leader-elect=true --address=127.0.0.1 --log-dir=/var/log/kubernetes/scheduler"

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-scheduler

  3. # systemctl start kube-scheduler

  4. # systemctl status kube-scheduler

16）创建kubectl kubeconfig文件

设置集群参数

 

  1. # kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.168.2:6443

  2. Cluster "kubernetes" set.Cluster "kubernetes" set.

设置客户端认证参数

 

  1. # kubectl config set-credentials admin --client-certificate=/opt/kubernetes/ssl/admin.pem --embed-certs=true --client-key=/opt/kubernetes/ssl/admin-key.pem

  2. User "admin" set.

设置上下文参数

 

  1. # kubectl config set-context kubernetes --cluster=kubernetes --user=admin

  2. Context "kubernetes" created.

设置默认上下文

 

  1. # kubectl config use-context kubernetes

  2. Switched to context "kubernetes".

17）验证各组件健康状况

 

  1. # kubectl get cs

  2. NAME                 STATUS    MESSAGE             ERROR

  3. controller-manager   Healthy   ok                  

  4. scheduler            Healthy   ok                  

  5. etcd-0               Healthy   {"health":"true"}   

  6. etcd-1               Healthy   {"health":"true"}   

  7. etcd-2               Healthy   {"health":"true"}

18）创建角色绑定

 

  1. # kubectl create clusterrolebinding --user system:serviceaccount:kube-system:default kube-system-cluster-admin --clusterrole cluster-admin

  2. clusterrolebindings.rbac.authorization.k8s.io "kube-system-cluster-admin"

注：在kubernetes－1.10.4以前使用如下命令

 

  1. # kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

  2. clusterrolebinding.rbac.authorization.k8s.io "kubelet-bootstrap" created

19）创建kubelet bootstrapping kubeconfig文件

设置集群参数

 

  1. # kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.168.2:6443 --kubeconfig=bootstrap.kubeconfig

  2. Cluster "kubernetes" set.

设置客户端认证参数

 

  1. # kubectl config set-credentials kubelet-bootstrap --token=1cd425206a373f7cc75c958fd363e3fe --kubeconfig=bootstrap.kubeconfig

  2. User "kubelet-bootstrap" set.

token值为master创建token文件时生成的128bit字符串

设置上下文参数

 

  1. # kubectl config set-context default --cluster=kubernetes --user=kubelet-bootstrap --kubeconfig=bootstrap.kubeconfig

  2. Context "default" created.

设置默认上下文

 

  1. # kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

  2. Switched to context "default".

将生成的bootstrap.kubeconfig文件分发到各节点

 

  1. cp bootstrap.kubeconfig /opt/kubernetes/conf/

  2.  

  3. scp bootstrap.kubeconfig [email protected]:/opt/kubernetes/conf/

  4. scp bootstrap.kubeconfig [email protected]:/opt/kubernetes/conf/

20）创建生成kube-proxy证书csr的JSON配置文件

 

  1. # cd /root/ssl

  2. # cat > kube-proxy-csr.json << EOF

  3. {

  4.   "CN": "system:kube-proxy",

  5.   "hosts": [],

  6.   "key": {

  7.     "algo": "rsa",

  8.     "size": 2048

  9.   },

  10.   "names": [

  11.     {

  12.       "C": "CN",

  13.       "ST": "BeiJing",

  14.       "L": "BeiJing",

  15.       "O": "k8s",

  16.       "OU": "System"

  17.     }

  18.   ]

  19. }

  20. EOF

21）生成kube-proxy证书和私钥

 

  1. # cfssl gencert -ca=/opt/kubernetes/ssl/ca.pem -ca-key=/opt/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

  2.  

  3. # cp kube-proxy*.pem /opt/kubernetes/ssl/

  4. # scp kube-proxy*.pem [email protected]:/opt/kubernetes/ssl/

  5. # scp kube-proxy*.pem [email protected]:/opt/kubernetes/ssl/

21）创建kube-proxy kubeconfig文件

设置集群参数

 

  1. # kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.168.2:6443 --kubeconfig=kube-proxy.kubeconfig

  2. Cluster "kubernetes" set.

设置客户端认证参数

 

  1. # kubectl config set-credentials kube-proxy --client-certificate=/opt/kubernetes/ssl/kube-proxy.pem --client-key=/opt/kubernetes/ssl/kube-proxy-key.pem --embed-certs=true --kubeconfig=kube-proxy.kubeconfig

  2. User "kube-proxy" set.

设置上下文参数

 

  1. # kubectl config set-context default --cluster=kubernetes --user=kube-proxy --kubeconfig=kube-proxy.kubeconfig

  2. Context "default" created.

设置默认上下文

 

  1. # kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

  2. Switched to context "default".

分发kube-proxy.kubeconfig文件到各node节点

 

  1. cp /root/ssl/kube-proxy.kubeconfig /opt/kubernetes/conf/

  2. scp /root/ssl/kube-proxy.kubeconfig [email protected]:/opt/kubernetes/conf/

  3. scp /root/ssl/kube-proxy.kubeconfig [email protected]:/opt/kubernetes/conf/

4.配置work-node01/02

1）安装ipvsadm等工具(各node节点相同操作)

yum install -y ipvsadm ipset bridge-utils

2）创建kubelet工作目录（各node节点做相同操作）

mkdir /var/lib/kubelet

3）创建kubelet配置文件

 

  1. # vi /opt/kubernetes/conf/kubelet.conf

  2. ###

  3. ## kubernetes kubelet (minion) config

  4. #

  5. ## The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)

  6. KUBELET_ADDRESS="--address=192.168.168.3"

  7. #

  8. ## The port for the info server to serve on

  9. #KUBELET_PORT="--port=10250"

  10. #

  11. ## You may leave this blank to use the actual hostname

  12. KUBELET_HOSTNAME="--hostname-override=work-node01"

  13. #

  14. ## pod infrastructure container

  15. KUBELET_POD_INFRA_CONTAINER="--pod_infra_container_image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"

  16. #

  17. ## 

  18. #KUBELET_API_SERVER="--api-servers=https://192.168.168.2:6443"

  19. #

  20. ## Add your own!

  21. KUBELET_ARGS="--cluster-dns=10.1.0.2 --experimental-bootstrap-kubeconfig=/opt/kubernetes/conf/bootstrap.kubeconfig --kubeconfig=/opt/kubernetes/conf/kubelet.kubeconfig --cert-dir=/opt/kubernetes/ssl --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --allow-privileged=true --cluster-domain=cluster.local. --hairpin-mode=hairpin-veth --fail-swap-on=false --serialize-image-pulls=false --log-dir=/var/log/kubernetes/kubelet"

注：KUBELET_ADDRESS设置为各节点本机IP，KUBELET_HOSTNAME设为各节点的主机名，KUBELET_POD_INFRA_CONTAINER可设置为私有容器仓库地址，如有可设置为KUBELET_POD_INFRA_CONTAINER="--pod_infra_container_image={私有镜像仓库ip}:80/k8s/pause-amd64:v3.0"，cni-bin-dir值的路径在创建calico网络时会自动添加

mkdir /var/log/kubernetes/kubelet    //各node节点做相同操作

分发kubelet.conf到各node节点

scp /opt/kubernetes/conf/kubelet.conf [email protected]:/opt/kubernetes/conf/

4）创建CNI网络配置文件

 

  1. mkdir -p /etc/cni/net.d

  2. cat >/etc/cni/net.d/10-calico.conf <

  3. {

  4.     "name": "calico-k8s-network",

  5.     "cniVersion": "0.6.0",

  6.     "type": "calico",

  7.     "etcd_endpoints": "https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379",

  8.     "etcd_key_file": "/opt/kubernetes/ssl/etcd-key.pem",

  9.     "etcd_cert_file": "/opt/kubernetes/ssl/etcd.pem",

  10.     "etcd_ca_cert_file": "/opt/kubernetes/ssl/ca.pem",

  11.     "log_level": "info",

  12.     "mtu": 1500,

  13.     "ipam": {

  14.         "type": "calico-ipam"

  15.     },

  16.     "policy": {

  17.         "type": "k8s"

  18.     },

  19.     "kubernetes": {

  20.         "kubeconfig": "/opt/kubernetes/conf/kubelet.conf"

  21.     }

  22. }

  23. EOF

分发到各nodes节点

scp /etc/cni/net.d/10-calico.conf [email protected]:/etc/cni/net.d

5）创建Kubelet配置文件并启动

 

  1. # vi /usr/lib/systemd/system/kubelet.service

  2. [Unit]

  3. Description=Kubernetes Kubelet Server

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5. After=docker.service

  6. Requires=docker.service

  7.  

  8. [Service]

  9. WorkingDirectory=/var/lib/kubelet

  10. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  11. EnvironmentFile=/opt/kubernetes/conf/kubelet.conf

  12. ExecStart=/opt/kubernetes/bin/kubelet \

  13.             $KUBE_LOGTOSTDERR \

  14.             $KUBE_LOG_LEVEL \

  15.             $KUBELET_ADDRESS \

  16.             $KUBELET_PORT \

  17.             $KUBELET_HOSTNAME \

  18.             $KUBE_ALLOW_PRIV \

  19.             $KUBELET_POD_INFRA_CONTAINER \

  20.             $KUBELET_ARGS

  21. Restart=on-failure

  22. RestartSec=5

  23.  

  24. [Install]

  25. WantedBy=multi-user.target

分发kubelet.service文件到各node节点

scp /usr/lib/systemd/system/kubelet.service [email protected]:/usr/lib/systemd/system/
 

  1. systemctl daemon-reload

  2. systemctl enable kubelet

  3. systemctl start kubelet

  4. systemctl status kubelet

注：如无法自动在/opt/kubernetes/conf/没有自动生成kubelet.kubeconfig文件可将master中$HOME/.kube/config文件重命名为kubelet.kubeconfig并拷贝至各nodes节点的/opt/kubernetes/conf/目录下

6）查看CSR证书请求（在k8s-master上执行）

 

  1. kubectl get csr

  2. NAME AGE REQUESTOR CONDITION

  3. node-csr-0Vg_d__0vYzmrMn7o2S7jsek4xuQJ2v_YuCKwWN9n7M 4h kubelet-bootstrap Pending

7）批准kubelet 的 TLS 证书请求（在k8s-master上执行）

 

  1. # kubectl get csr|grep 'Pending' | awk 'NR>0{print $1}'| xargs kubectl certificate approve

  2. certificatesigningrequest.certificates.k8s.io "node-csr-0Vg_d__0vYzmrMn7o2S7jsek4xuQJ2v_YuCKwWN9n7M" approved

8）查看节点状态如果是Ready的状态就说明一切正常（在k8s-master上执行）

 

  1. # kubectl get node

  2. NAME         STATUS    ROLES     AGE       VERSION

  3. work-node01   Ready        11h       v1.10.4

  4. work-node02   Ready        11h       v1.10.4

9）创建kube-proxy工作目录（各node节点做相同操作）

mkdir /var/lib/kube-proxy

10）创建kube-proxy的启动文件

 

  1. # vi /usr/lib/systemd/system/kube-proxy.service

  2. [Unit]

  3. Description=Kubernetes Kube-Proxy Server

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5. After=network.target

  6.  

  7. [Service]

  8. WorkingDirectory=/var/lib/kube-proxy

  9. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  10. EnvironmentFile=/opt/kubernetes/conf/kube-proxy.conf

  11. ExecStart=/opt/kubernetes/bin/kube-proxy \

  12.             $KUBE_LOGTOSTDERR \

  13.             $KUBE_LOG_LEVEL \

  14.             $KUBE_MASTER \

  15.             $KUBE_PROXY_ARGS

  16. Restart=on-failure

  17. RestartSec=5

  18. LimitNOFILE=65536

  19.  

  20. [Install]

  21. WantedBy=multi-user.target

分发kube-proxy.service到各node节点

scp /usr/lib/systemd/system/kube-proxy.service [email protected]:/usr/lib/systemd/system/

11）创建kube-proxy配置文件并启动

 

  1. # vi /opt/kubernetes/conf/kube-proxy.conf

  2. ###

  3. # kubernetes proxy config

  4.  

  5. # default config should be adequate

  6.  

  7. # Add your own!

  8. KUBE_PROXY_ARGS="--bind-address=192.168.168.3 --hostname-override=work-node01 --kubeconfig=/opt/kubernetes/conf/kube-proxy.kubeconfig --masquerade-all --feature-gates=SupportIPVSProxyMode=true --proxy-mode=ipvs --ipvs-min-sync-period=5s --ipvs-sync-period=5s --ipvs-scheduler=rr --log-dir=/var/log/kubernetes/kube-proxy"

注：bind-address值设为各node节点本机IP，hostname-override值设为各node节点主机名

分发kube-proxy.conf到各node节点

scp /opt/kubernetes/conf/kube-proxy.conf [email protected]:/opt/kubernetes/conf/

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-proxy

  3. # systemctl start kube-proxy

  4. # systemctl status kube-proxy  

12）查看LVS状态

 

  1. # ipvsadm -L -n

  2. IP Virtual Server version 1.2.1 (size=4096)

  3. Prot LocalAddress:Port Scheduler Flags

  4. -> RemoteAddress:Port Forward Weight ActiveConn InActConn

  5. TCP 10.1.0.1:443 rr persistent 10800

  6. -> 192.168.168.2:6443 Masq 1 0 0

5.配置calico网络

1）下载calico插件

在master节点执行:

 

  1. # wget -N -P /usr/bin/ https://github.com/projectcalico/calicoctl/releases/download/v3.1.3/calicoctl

  2. # chmod +x /usr/bin/calicoctl

  3. # mkdir /etc/calico/yaml

  4. # docker pull quay.io/calico/node:v3.1.3

在各node节点执行:

 

  1. # wget -N -P /usr/bin/ https://github.com/projectcalico/calicoctl/releases/download/v3.1.3/calicoctl

  2. # chmod +x /usr/bin/calicoctl

  3. # mkdir /etc/calico/conf

  4. # mkdir /opt/cni/bin

  5. # wget -N -P /opt/cni/bin https://github.com/projectcalico/cni-plugin/releases/download/v3.1.3/calico

  6. # wget -N -P /opt/cni/bin https://github.com/projectcalico/cni-plugin/releases/download/v3.1.3/calico-ipam

  7. # chmod +x /opt/cni/bin/calico /opt/cni/bin/calico-ipam

  8. # docker pull quay.io/calico/node:v3.1.3

查看docker calico image信息

 

  1. # docker images

  2. REPOSITORY TAG IMAGE ID CREATED SIZE

  3. quay.io/calico/node v3.1.3 7eca10056c8e 6 weeks ago 248MB

2）创建calico和etcd交互文件

 

  1. # vi /etc/calico/calicoctl.cfg

  2. apiVersion: projectcalico.org/v3

  3. kind: CalicoAPIConfig

  4. metadata:

  5. spec:

  6.   datastoreType: "etcdv3"

  7.   etcdEndpoints: "https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379"

  8.   etcdKeyFile: "/opt/kubernetes/ssl/etcd-key.pem"

  9.   etcdCertFile: "/opt/kubernetes/ssl/etcd.pem"

  10.   etcdCACertFile: "/opt/kubernetes/ssl/ca.pem"

3）获取calico.yaml(在master执行)

 

  1. wget -N -P /etc/calico/yaml https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/rbac.yaml

  2. wget -N -P /etc/calico/yaml https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/calico.yaml

注：此处版本与docker calico image版本相同

修改calico.yaml文件内容

 

  1. # 替换 Etcd 地址

  2. sed -i 's@.*etcd_endpoints:.*@\ \ etcd_endpoints:\ \"https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379\"@gi' calico.yaml

  3.  

  4. # 替换 Etcd 证书

  5. export ETCD_CERT=`cat /opt/kubernetes/ssl/etcd.pem | base64 | tr -d '\n'`

  6. export ETCD_KEY=`cat /opt/kubernetes/ssl/etcd-key.pem | base64 | tr -d '\n'`

  7. export ETCD_CA=`cat /opt/kubernetes/ssl/ca.pem | base64 | tr -d '\n'`

  8.  

  9. sed -i "s@.*etcd-cert:.*@\ \ etcd-cert:\ ${ETCD_CERT}@gi" calico.yaml

  10. sed -i "s@.*etcd-key:.*@\ \ etcd-key:\ ${ETCD_KEY}@gi" calico.yaml

  11. sed -i "s@.*etcd-ca:.*@\ \ etcd-ca:\ ${ETCD_CA}@gi" calico.yaml

  12.  

  13. sed -i 's@.*etcd_ca:.*@\ \ etcd_ca:\ "/calico-secrets/etcd-ca"@gi' calico.yaml

  14. sed -i 's@.*etcd_cert:.*@\ \ etcd_cert:\ "/calico-secrets/etcd-cert"@gi' calico.yaml

  15. sed -i 's@.*etcd_key:.*@\ \ etcd_key:\ "/calico-secrets/etcd-key"@gi' calico.yaml

  16.  

  17. #上面是必须要修改的参数，文件中有一个参数是设置pod network地址的，根据实际情况做修改：

  18. - name: CALICO_IPV4POOL_CIDR

  19. value: "10.100.0.0/16"

calico资源进行配置

 

  1. kubectl apply -f /etc/calico/conf/rbac.yaml

  2. kubectl create -f /etc/calico/conf/calico.yaml

4）创建calico配置文件

 

  1. # vi /etc/calico/conf/calico.conf

  2. CALICO_NODENAME="work-node01"

  3. ETCD_ENDPOINTS=https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379

  4. ETCD_CA_CERT_FILE="/opt/kubernetes/ssl/ca.pem"

  5. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  6. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  7. CALICO_IP="192.168.168.3"

  8. CALICO_IP6=""

  9. CALICO_NETWORKING_BACKEND=bird

  10. CALICO_AS="65412"

  11. CALICO_NO_DEFAULT_POOLS=""

  12. CALICO_LIBNETWORK_ENABLED=true

  13. CALICO_IPV4POOL_IPIP="Always"

  14. IP_AUTODETECTION_METHOD=interface=ens34

  15. IP6_AUTODETECTION_METHOD=interface=ens34

注：CALICO_NODENAME值为各node节点主机名，CALICP_IP值为各node节点网口IP，IP_AUTODETECTION_METHOD和IP6_AUTODETECTION_METHOD值为各node节点对外网口标号

分发calico.conf文件到各node节点

scp /etc/calico/conf/calico.conf [email protected]:/etc/calico/conf/

5）创建calico启动文件

 

  1. # vi /usr/lib/systemd/system/calico-node.service

  2. [Unit]

  3. Description=calico-node

  4. After=docker.service

  5. Requires=docker.service

  6.  

  7. [Service]

  8. User=root

  9. PermissionsStartOnly=true

  10. EnvironmentFile=/etc/calico/conf/calico.conf

  11. ExecStart=/usr/bin/docker run --net=host --privileged --name=calico-node \

  12.  -e NODENAME=${CALICO_NODENAME} \

  13.  -e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \

  14.  -e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \

  15.  -e ETCD_CERT_FILE=${ETCD_CERT_FILE} \

  16.  -e ETCD_KEY_FILE=${ETCD_KEY_FILE} \

  17.  -e IP=${CALICO_IP} \

  18.  -e IP6=${CALICO_IP6} \

  19.  -e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \

  20.  -e AS=${CALICO_AS} \

  21.  -e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \

  22.  -e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \

  23.  -e CALICO_IPV4POOL_IPIP=${CALICO_IPV4POOL_IPIP} \

  24.  -e IP_AUTODETECTION_METHOD=${IP_AUTODETECTION_METHOD} \

  25.  -e IP6_AUTODETECTION_METHOD=${IP6_AUTODETECTION_METHOD} \

  26.  -v /opt/kubernetes/ssl:/opt/kubernetes/ssl \

  27.  -v /var/log/calico:/var/log/calico \

  28.  -v /run/docker/plugins:/run/docker/plugins \

  29.  -v /lib/modules:/lib/modules \

  30.  -v /var/run/calico:/var/run/calico \

  31.  quay.io/calico/node:v3.1.3

  32.  

  33. ExecStop=/usr/bin/docker rm -f calico-node

  34. Restart=always

  35. RestartSec=10

  36.  

  37. [Install]

  38. WantedBy=multi-user.target

mkdir /var/log/calico     //各nodes节点同样操作

注：NODENAME值为各主机名，IP值为各主机外连网口IP

分发calico-node文件到各node节点

scp /usr/lib/systemd/system/calico-node.service [email protected]:/usr/lib/systemd/system/
 

  1. # systemctl daemon-reload

  2. # systemctl enable calico-node

  3. # systemctl start calico-node

  4. # systemctl status calico-node  

5）在各主机以Docker方式启动calico-node

k8s-master:

calicoctl node run --node-image=quay.io/calico/node:v3.1.3 --ip=192.168.168.2

work-node01/node02:

calicoctl node run --node-image=quay.io/calico/node:v3.1.3 --ip=192.168.168.3
calicoctl node run --node-image=quay.io/calico/node:v3.1.3 --ip=192.168.168.4

查看calico-node启动情况

 

  1. # docker ps

  2. CONTAINER ID   IMAGE           COMMAND     CREATED       STATUS      PORTS      NAMES

  3. a1981d2dae6d   quay.io/calico/node:v3.1.3  "start_runit" 17 seconds ago   Up 17 seconds           calico-node

6）查看calico node信息

 

  1. # # calicoctl get node -o wide

  2. NAME         ASN         IPV4               IPV6   

  3. k8s-master   (unknown)   192.168.168.2/32          

  4. work-node01   65412      192.168.168.3/24          

  5. wrok-node02   65412      192.168.168.4/24          

7）查看peer信息

 

  1. # calicoctl node status

  2. Calico process is running.

  3.  

  4. IPv4 BGP status

  5. +---------------+-------------------+-------+----------+-------------+

  6. | PEER ADDRESS  |     PEER TYPE     | STATE |  SINCE   |    INFO     |

  7. +---------------+-------------------+-------+----------+-------------+

  8. | 192.168.168.2 | node-to-node mesh | up    | 07:41:40 | Established |

  9. | 192.168.168.3 | node-to-node mesh | up    | 07:41:43 | Established |

  10. +---------------+-------------------+-------+----------+-------------+

  11.  

  12. IPv6 BGP status

  13. No IPv6 peers found.

6.部署kubernetes Dashboard(在master执行)

1）创建dasnbord之前需要创建角色

 

  1. # vi /opt/kubernetes/yaml/dashboard-rbac.yaml

  2. apiVersion: v1

  3. kind: ServiceAccount

  4. metadata:

  5. labels:

  6. k8s-app: kubernetes-dashboard

  7. addonmanager.kubernetes.io/mode: Reconcile

  8. name: kubernetes-dashboard

  9. namespace: kube-system

  10. ---

  11.  

  12. kind: ClusterRoleBinding

  13. apiVersion: rbac.authorization.k8s.io/v1beta1

  14. metadata:

  15. name: kubernetes-dashboard-minimal

  16. namespace: kube-system

  17. labels:

  18. k8s-app: kubernetes-dashboard

  19. addonmanager.kubernetes.io/mode: Reconcile

  20. roleRef:

  21. apiGroup: rbac.authorization.k8s.io

  22. kind: ClusterRole

  23. name: cluster-admin

  24. subjects:

  25. - kind: ServiceAccount

  26. name: kubernetes-dashboard

  27. namespace: kube-system

kubectl create -f /opt/kubernetes/yaml/dashboard-rbac.yaml

2）为dashboard创建控制器

 

  1. # cat dashboard-deployment.yaml

  2. apiVersion: apps/v1beta2

  3. kind: Deployment

  4. metadata:

  5. name: kubernetes-dashboard

  6. namespace: kube-system

  7. labels:

  8. k8s-app: kubernetes-dashboard

  9. kubernetes.io/cluster-service: "true"

  10. addonmanager.kubernetes.io/mode: Reconcile

  11. spec:

  12. selector:

  13. matchLabels:

  14. k8s-app: kubernetes-dashboard

  15. template:

  16. metadata:

  17. labels:

  18. k8s-app: kubernetes-dashboard

  19. annotations:

  20. scheduler.alpha.kubernetes.io/critical-pod: ''

  21. spec:

  22. serviceAccountName: kubernetes-dashboard

  23. containers:

  24. - name: kubernetes-dashboard

  25. image: registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64:v1.8.3

  26. resources:

  27. limits:

  28. cpu: 100m

  29. memory: 300Mi

  30. requests:

  31. cpu: 100m

  32. memory: 100Mi

  33. ports:

  34. - containerPort: 9090

  35. protocol: TCP

  36. livenessProbe:

  37. httpGet:

  38. scheme: HTTP

  39. path: /

  40. port: 9090

  41. initialDelaySeconds: 30

  42. timeoutSeconds: 30

  43. tolerations:

  44. - key: "CriticalAddonsOnly"

  45. operator: "Exists"

kubectl create -f /opt/kubernetes/yaml/dashboard-deployment.yaml

3）创建service用于暴露服务，用于暴露服务

 

  1. # vi /opt/kubernetes/yaml/dashboard-service.yaml

  2. apiVersion: v1

  3. kind: Service

  4. metadata:

  5. name: kubernetes-dashboard

  6. namespace: kube-system

  7. labels:

  8. k8s-app: kubernetes-dashboard

  9. kubernetes.io/cluster-service: "true"

  10. addonmanager.kubernetes.io/mode: Reconcile

  11. spec:

  12. type: NodePort

  13. selector:

  14. k8s-app: kubernetes-dashboard

  15. ports:

  16. - port: 80

  17. targetPort: 9090

kubectl create -f /opt/kubernetes/yaml/dashboard-service.yaml

4）查看状态

查看service状态:

 

  1. # kubectl get svc -n kube-system

  2. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

  3. kubernetes-dashboard NodePort 10.1.193.97 80:31988/TCP 59m

注：PORT(S)值中31988为dashboard访问端口

查看pod状态:

 

  1. # kubectl get pods -n kube-system

  2. NAME READY STATUS RESTARTS AGE

  3. calico-kube-controllers-98989846-bgdkv 1/1 Running 2 1h

  4. calico-node-2x8m6 2/2 Running 6 1h

  5. calico-node-hrgg9 2/2 Running 5 1h

  6. kubernetes-dashboard-b9f5f9d87-stz4s 1/1 Running 1 1h

查看所有信息:

 

  1. # kubectl get all -n kube-system

  2. NAME READY STATUS RESTARTS AGE

  3. pod/calico-kube-controllers-98989846-bgdkv 1/1 Running 2 1h

  4. pod/calico-node-2x8m6 2/2 Running 6 1h

  5. pod/calico-node-hrgg9 2/2 Running 5 1h

  6. pod/kubernetes-dashboard-b9f5f9d87-stz4s 1/1 Running 1 1h

  7.  

  8. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

  9. service/kubernetes-dashboard NodePort 10.1.193.97 80:31988/TCP 1h

  10.  

  11. NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE

  12. daemonset.apps/calico-node 2 2 2 2 2 2h

  13.  

  14. NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE

  15. deployment.apps/calico-kube-controllers 1 1 1 1 2h

  16. deployment.apps/kubernetes-dashboard 1 1 1 1 1h

  17.  

  18. NAME DESIRED CURRENT READY AGE

  19. replicaset.apps/calico-kube-controllers-98989846 1 1 1 1h

  20. replicaset.apps/kubernetes-dashboard-b9f5f9d87 1 1 1 1h

5）使用node节点IP访问dashboard(http://192.168.168.3:31988)
测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端_第3张图片

你可能感兴趣的:(测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端)

  • python模块TA_Lib文件whl下载地址汇总 国产bug零零柒 whlpythonlinuxwindows
    序号项目名称下载地址1TA_Lib-0.4.28-cp312-cp312-win32.whl.zip点我下载2TA_Lib-0.4.28-cp38-cp38-win32.whl.zip点我下载3TA_Lib-0.4.28-cp312-cp312-win_amd64.whl.zip点我下载4TA_Lib-0.4.28-cp38-cp38-win_amd64.whl.zip点我下载5TA_Lib-0.
  • MATLAB在无线通信系统测试和验证中的应用 2401_85812053 matlab开发语言
    在无线通信系统的开发过程中，测试和验证是确保系统性能满足设计要求的关键步骤。MATLAB提供了一系列的工具和功能，这些工具在无线通信系统的测试和验证中发挥着重要作用。本文将详细介绍MATLAB在无线通信系统测试和验证中的应用，包括信道建模、调制解调、射频（RF）链路分析以及硬件验证等方面。1.信道建模信道建模是无线通信系统设计中的关键环节，它影响着信号的传输质量和系统的整体性能。MATLAB提供了
  • linux挂载文件夹 小码快撩 linux
    1.使用NFS（NetworkFileSystem）NFS是一种分布式文件系统协议，允许一个系统将其文件系统的一部分共享给其他系统。检查是否安装NFSrpm-qa|grepnfs2.启动和启用NFS服务假设服务名称为nfs-server.service，你可以使用以下命令启动和启用它：sudosystemctlstartnfs-server.servicesudosystemctlenablenf
  • 2022-02-05 倚剑白云天
    千秋岁床头历换，百岁过多半。山水秀，风雷变。载身天地老，卖赋文章贱。新句好，年来尽付红酥看。莫道春光晚，莫听林莺乱。抒啸傲，忘愁叹。劳劳冰雪调，坎坎烟霞愿。君不见，那人就在松江岸。
  • 移动订货小程序哪个好 批发订货系统源码哪个好 多用户商城系统 订货系统源码移动订货小程序批发订货系统订货系统源码
    订货小程序就是依托微信小程序的订货系统，微信小程序订货系统相较于其他终端的订货方式，能够更快进入商城，对经销商而言更为方便。今天，我们一起盘点三个主流的移动订货小程序，看看哪个移动订货小程序好。第一、核货宝订货小程序核货宝是商淘科技旗下的订货系统，可为批发企业提供不同客户不同商品、不同客户不同价格快速订货和商家账期管理。功能介绍：客户批发订货的专属数字化订货系统，可以移动端订货。与传统手写开单相比
  • 第十八单元自动化持续集成 胖虎大魔王
    一、概念互联网软件的开发和发布，已经形成了一套标准流程，最重要的组成部分就是持续集成（简称CI）。1、持续集成（采蜜）持续集成：频繁的将代码集成到主干。好处：1）、快速发现错误2）、防止分支大幅偏离主干。2、持续交付持续交付：频繁的将软件的新版本，交给测试，代码通过后，代码就进入生产阶段。3.持续部署持续部署：代码通过评审以后，主动部署到生产环境。目标：代码在任何时刻都是可部署的，可以进入生产阶段
  • 基于Python执行lua脚本 xu-jssy Python自动化脚本pythonlua自动化rpa
    一、依赖安装pipinstalllupa二、源码将lua文件存放在base_path路径，将lua文件名称（不包含后缀名）传递给lua_runner函数即可importmultiprocessingimportlupa#lua文件存放位置base_path='D:\\test\\lua'classLuaFuncion:#创建Lua运行时环境lua=lupa.LuaRuntime(unpack_re
  • IGBT模块直流参数测试系统STD6500 tianshili029 晶体管参数测试系统半导体特性曲线图示仪
    陕西天士立科技有限公司IGBT模块直流参数测试系统STD6500IGBT模块直流参数测试系统ST-DC6500基础信息开发背景：大功率IGBT和Diode模块j静态参数程控式设备技术标准：IEC60747-2/GB/T4023-1997半导体器件分立器件和集成电路第2部分（整流二极管）技术标准：IEC60747-9∶2007/GB/T29332-2012半导体器件分立器件第9部分（绝缘栅双极晶体管
  • Halo 开发者指南——容器私有化部署 SHENHUANJIE DockerHalo华为云SWRRegistry
    华为云SWR私有化部署镜像构建dockerbuild-thalo-dev/halo:2.20.0.上传镜像镜像标签sudodockertag{镜像名称}:{版本名称}swr.cn-south-1.myhuaweicloud.com/{组织名称}/{镜像名称}:{版本名称}sudodockertaghalo-dev/halo:2.20.0swr.cn-south-1.myhuaweicloud.co
  • three.js AnimationClip 和 AnimationMixer 灵魂清零 threeweb3前端javascriptvue.js
    AnimationClip动画剪辑（AnimationClip）是一个可重用的关键帧轨道集，它代表动画。构造器AnimationClip(name:String,duration:Number,tracks:Array)name-此剪辑的名称duration-持续时间(单位秒).如果传入负数,持续时间将会从传入的数组中计算得到。tracks-一个由关键帧轨道（KeyframeTracks）组成的数
  • 骑昆明到北海—181 靖西市鹅泉 61清风i
    从十年前第一次长途骑行青海湖开始每年一次长途骑行看风景，尝各地美食，探访异域文化，记录途中美食美景美事，已逐渐形成习惯。每年春季详细规划好线路，夏季出行，2020年因为疫情迟迟不能确定线路和行程。总算到了暑期疫情逐渐消失，规划了50多天的云南昆明—广西北海计划。本次行程从云南昆明出发到广西北海市结束，五十一天骑行二千多公里。2020年9月13日傍晚点从延平站出发，9月15日到达云南昆明开始这一旅程
  • SpringBoot整合ES搜索引擎 实现网站热搜词及热度计算 码踏云端 springbootElasticsearchspringbootelasticsearch后端热搜词热度计算java
    博主简介：历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于
  • 科普阅读两不误，这才是儿童科普阅读的正确打开方式 麦麦安
    "孩子数学不好，根源在于语文没学好"，这一观点已经被越来越多的老师和家长接受。虽然阅读理解力看上去只和语文有关，事实上，它是所有学科的根基。比如一道数学应用题，只有正确地看懂了各种条件，才能把答案快速地解出来。在美国的小学教育体系中，很重要的一项任务是帮助儿童进行大量阅读，从而培养出理解及思考的能力。这种说法虽然正确，但很多孩子也会存在这样一个问题：绘本故事类的阅读量不小，看小说听故事几乎可以独立
  • 什么是接口测试？做接口测试的意义是什么？ 白码会说 软件测试接口测试软件测试
    Timewilltell.1、什么是接口测试？为什么要做接口测试？接口测试是测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换，传递和控制管理过程，以及系统间的相互逻辑依赖关系等。由于如今的系统复杂度不断上升，传统的测试方法成本急剧增加且测试效率大幅下降，所以就要做接口测试。同时，接口测试相对容易实现自动化持续集成，且相
  • 哪些网站用python开发 hakesashou python基础知识python
    国内的话，知乎，网易，腾讯，搜狐，金山，豆瓣这些属于用Python比较知名的。大型的项目的话，网易的许多游戏，腾讯的某些网站，搜狐的邮箱，金山的测试框架等等都是或多或少使用了Python。YouTube-视频分享网站，在某些功能上使用到python。Quora-社交问答网站。Google-谷歌在很多项目中用python作为网络应用的后端，如GoogleGroups、Gmail、GoogleMaps
  • 软件测试/测试开发/全日制 |利用Django REST framework构建微服务 霍格沃兹-慕漓 django微服务sqlite
    霍格沃兹测试开发学社推出了《Python全栈开发与自动化测试班》。本课程面向开发人员、测试人员与运维人员，课程内容涵盖Python编程语言、人工智能应用、数据分析、自动化办公、平台开发、UI自动化测试、接口测试、性能测试等方向。为大家提供更全面、更深入、更系统化的学习体验，课程还增加了名企私教服务内容，不仅有名企经理为你1v1辅导，还有行业专家进行技术指导，针对性地解决学习、工作中遇到的难题。让找
  • 20180401晨课 Sunny飞镜
    是的，我祈祷你能“成功”，但我所理解的成功，是一个人对自己所做的事情有敬畏与热情——在妈妈看来，一个每天早上起床都觉得上班是个负担的律师，并不比一个骄傲地对顾客说“看，这个发型剪得漂亮吧”的理发师更加成功。但是，对你的“成就”无所寄望并不等于对你的品格无所寄望。妈妈希望你来到这个世界不是白来一趟，能有愿望和能力领略它波光潋滟的好，并以自己的好来成全它的更好。晨课：刘瑜-人的本质是无穷绽放，人的尊严
  • 软件测试缺陷的管理流程（上）：构成要素与流程说明 程序员笑笑 软件测试自动化测试软件测试功能测试程序人生职场和发展
    实施测试活动过程中，针对缺陷开展有效跟踪管理是测试工程师质量保证活动的重点。因此，在一个成熟的测试团队或组织内，缺陷管理流程的完善与否直接决定了测试活动的质量。缺陷管理流程通常由角色定义、流程定义、工具应用、缺陷分析模型等几个关键因素构成：角色定义：表述了在缺陷管理流程中所涉及的若干角色及其职责内容，从而清晰明确定义每个流程节点中角色所需完成的事务。流程定义：规定了在项目或产品实施测试活动时所需遵
  • 抵挡诱惑 化一化
    蒂蒂尔和米蒂尔发现墓地是一个很漂亮的花园里面有很多幸福，那些幸福们邀请他们入席。面包，火....他们都抵挡不住诱惑。而蒂蒂尔发现他们失去了理智，急的哇哇大叫。心想：难道他们要丢下，我们留下我和米蒂尔吗？单独去找青鸟吗？可是看的那些美味的食物，心里直痒痒，那里的玉盘珍馐，可是够多的了。那里什么都有，烤驼峰，糟鹅掌，叫花鸡，西湖醋鱼，东坡肉……应有尽有，就在蒂蒂尔快顶不住的时候。传来了米蒂尔的声音：“
  • 真传一句话，假传万卷经 覃榜言
    真传一句话，假传万卷经。这句话说的是大道至简。传说古时候，有一个中东地区的王，让他的大臣们编写一本书，以教化他的子民。过了很长一段时间，他的大臣们呈上了一本很厚的书。王说，能不能压缩一点。又过一段时间，他的大臣们呈上了一本薄了很多的书，王又说，还是太厚。他的大臣们只好再删减，终于写成了一本很薄的小册子。但王还是不是满意。大臣们这下可为难了，只好群策群力，绞尽脑汁，写下了一句话。写好了给王看。王很满
  • 在北京旅行，到了圆明园遗址公园，发现这天免费了 雅伦的旅行
    旅行的过程中，我常常会到一些出现在小学课本里的地方去走走，看看它们在现实中的模样是否和课本中的一样，或是有了什么变化？今天要说的圆明园遗址公园，也是其中一个。我事先在网上看了门票，大门票10元，西洋楼遗址15元。来到这一般没有不去西洋楼的道理，所以简单来说就是25元。而我却是免费参观了整个园区，到底是为什么呢？说来也巧，来到绮春园门口正准备买票的我发现窗口全都关闭了，没有工作人员，这是怎么回事？看
  • 懒人油泼面，治愈一切 惠顾星辰
    图片发自App说起油泼面，自然会想到电视剧《白鹿原》里的一个场景，一个和主线剧情关系不大的小细节，这个细节的主角就是一碗热气腾腾的油泼面。剧情中，秦海璐下厨为张嘉译做油泼面，做面的过程应该是正宗的陕西古法，面宽油香，热油泼在面上的一刹那，随着“刺啦”的一声，香气仿佛冲破屏幕，萦绕在观众身旁，让观众们纷纷在弹幕中留下：“油泼面来了，流口水啊”、“看饿了想吃”等留言。一部《白鹿原》，连带着火了陕西油泼
  • 宋真宗御笔书名的“岳麓书院”，历经千年魅力永续 博物馆学文化
    中国古代书院，兴起于唐，清代诗人袁枚在《随园随笔》中记载：“书院之名起唐玄宗时，丽正书院、集贤书院皆建于朝省，为修书之地，非士子肄业之所也。”在《新唐书·百官志》中记载：“唐开元六年，将乾元院改为丽正修书院，十三年又改丽正修书院为集贤殿书院。”这是史料中有关书院最早的记载。是唐代为了搜集图书、校刊经籍，撰写文章的场所，而非教育机构，也非朝廷的正式办事机构。最早具有教育功能的书院是白鹿洞书院，与它一
  • 华为USG6000E-S12防火墙Key exchange failed.无法SSH解决方案 redmond88 网络技术ssh华为运维
    由于目前防火墙算法太新，导致crt和xshell的版本无法登陆，按以下方法解决一、下载华为本地加载除弱安全算法组件包之外的组件包https://download.csdn.net/download/redmond88/89620664?spm=1001.2014.3001.5503二、先改后缀名为.cfg,上传文件到防火墙三、在用户视图下改后缀名为.mod四、move文件到$_install_mo
  • 两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑python开发语言
      Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。  Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。  Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
  • docker改容器IP的两种方法 redmond88 linuxdockertcp/ip容器
    最简单实用的方法：docker默认的内网网段为172.17.0.0/16，如果公司内网网段也是172.17.x.x的话，就会发生路由冲突。解决办法改路由比较办法，可以一开始就将docker配置的bip改成169.254.0.1/24，可以避免冲突。在daemon配置文件里加个"bip":“169.254.0.1/24”，重启docker就可以了1234[root@st-dev6~]#vim/etc
  • Linux命令行基础——软件包管理 HHwxtx linux运维服务器
    1.软件包管理的发展初始阶段最早的软件包管理可以追溯到Unix系统的早期版本。在那时，软件通常以源代码的形式分发，并由系统管理员手动编译和安装。这种方式的管理比较原始和繁琐，因为每次安装都需要手动解决依赖关系和编译问题。软件包的引入为了简化安装过程，软件包被引入Linux，它将软件及其所有文件和资源打包在一起的集合，通常包括可执行文件、库文件、配置文件、文档和元数据（如软件名称、版本号、依赖关系等
  • 重看《天道》，芸芸众生分为4个层次，看看你属于哪一层? 拂尘记
    听说纯原创的公众号不超过7%，这是拂尘记的第701篇原创文章，字数1676，阅读大概需要3分钟最近用3天时间，重刷一遍《天道》，经典就是经典，每次看都能有不同的收获与感悟。这次最大的感悟是，纵观全剧，有以下4类人：1、俗人：为了名利面子，贪嗔痴，不停地追求索取。比如刘冰，退了股还想呆在格律诗，就为了那辆宝马以及北京的繁华，然而看着肖亚文忙里忙外，开始心态失衡：我们打下的江山，凭什么给你？殊不知，是
  • 《易经•节卦》，懂得适度节制的智慧，才能健康安定！ 读史明智慧
    先看卦画和标题：本卦的卦名节，本义是竹节，引申为节制、节俭的意思。从卦画上可以看到，节卦是上坎下兑，上卦坎为水，下卦兑为泽，水流入泽中，过度就会溢出，所以用竹节的形象表示要加以限制。节卦与之前的涣卦互为综卦，卦象相反，义理相通，涣散与节制，二者相反相成。节制也是人类与自然的共同规律，春夏秋冬各季节，每“节”都要适度，人的生活和健康，也需要有节制，把握好分寸。接着看正文和卦辞：原文：节，亨。苦节不可
  • 《与爱逆行》二十九 阿依迪
    二十九蝴蝶理论喜迎奥运的热浪催开了2008年春天火红的花朵。Z大奥运开幕式入场式引导员的选拔也进入了白热化阶段，向天已经冲进了前四，离全国集训只有一步之遥了。她忙得更是见不到人影了。我没事的时候就到她宿舍楼下舍管大妈的小屋门口坐等，这样向天经过的时候，可以和她说上几句话。这天晚上，舍管大妈递给我一个饭盒：“你是等向天的吧，我该换班了，她回来的时候你把这个交给她吧。”打开看里面是饺子，心想向天人缘真
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他