串行并jjjjj
串行并jjjjj

测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端

一、环境说明

操作系统 主机名 节点及功能 IP 备注
CentOS7.5 X86_64                                     

k8s-master                            

 master/etcd/registry                                   192.168.168.2                             kube-apiserver、kube-controller-manager、kube-scheduler、etcd、docker、calico-image
CentOS7.5 X86_64                                           

work-node01                                            

 node01/etcd 192.168.168.3                                     kube-proxy、kubelet、etcd、docker、calico
CentOS7.5 X86_64 work-node02 node02/etcd 192.168.168.4 kube-proxy、kubelet、etcd、docker、calico


 

 

 

测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端_第1张图片

测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端_第2张图片

集群功能各模块功能描述：

Master节点：
Master节点上面主要由四个模块组成，APIServer，schedule,controller-manager,etcd

APIServer: APIServer负责对外提供RESTful的kubernetes API的服务，它是系统管理指令的统一接口，任何对资源的增删该查都要交给APIServer处理后再交给etcd，如图，kubectl(kubernetes提供的客户端工具，该工具内部是对kubernetes API的调用）是直接和APIServer交互的。

schedule: schedule负责调度Pod到合适的Node上，如果把scheduler看成一个黑匣子，那么它的输入是pod和由多个Node组成的列表，输出是Pod和一个Node的绑定。 kubernetes目前提供了调度算法，同样也保留了接口。用户根据自己的需求定义自己的调度算法。

controller manager: 如果APIServer做的是前台的工作的话，那么controller manager就是负责后台的。每一个资源都对应一个控制器。而control manager就是负责管理这些控制器的，比如我们通过APIServer创建了一个Pod，当这个Pod创建成功后，APIServer的任务就算完成了。

etcd：etcd是一个高可用的键值存储系统，kubernetes使用它来存储各个资源的状态，从而实现了Restful的API。

Node节点：
每个Node节点主要由三个模板组成：kublet, kube-proxy

kube-proxy: 该模块实现了kubernetes中的服务发现和反向代理功能。kube-proxy支持TCP和UDP连接转发，默认基Round Robin算法将客户端流量转发到与service对应的一组后端pod。服务发现方面，kube-proxy使用etcd的watch机制监控集群中service和endpoint对象数据的动态变化，并且维护一个service到endpoint的映射关系，从而保证了后端pod的IP变化不会对访问者造成影响，另外，kube-proxy还支持session affinity。

kublet：kublet是Master在每个Node节点上面的agent，是Node节点上面最重要的模块，它负责维护和管理该Node上的所有容器，但是如果容器不是通过kubernetes创建的，它并不会管理。本质上，它负责使Pod的运行状态与期望的状态一致。

二、3台主机安装前准备

1）更新软件包和内核
yum -y update
2) 关闭防火墙 
systemclt disable firewalld.service
3) 关闭SELinux
vi /etc/selinux/config
改SELINUX=enforcing为SELINUX=disabled
4）安装常用
yum -y install net-tools ntpdate conntrack-tools
5）优化内核参数
net.ipv4.ip_local_port_range = 30000 60999
net.netfilter.nf_conntrack_max = 26214400
net.netfilter.nf_conntrack_tcp_timeout_established = 86400
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 3600

三、修改三台主机命名

1) k8s-master
hostnamectl --static set-hostname  k8s-master
2) work-node01
hostnamectl --static set-hostname  work-node01
3) work-node02

hostnamectl --static set-hostname  work-node02

四、制作CA证书

1.创建生成证书和存放证书目录(3台主机上都进行此操作)

 

  1. mkdir /root/ssl

  2. mkdir -p /opt/kubernetes/{conf,bin,ssl,yaml}

2.设置环境变量(3台主机上都进行此操作)

 

  1. vi /etc/profile.d/kubernetes.sh

  2. K8S_HOME=/opt/kubernetes

  3. export PATH=$K8S_HOME/bin/:$PATH

  4. source /etc/profile.d/kubernetes.sh

3.安装CFSSL并复制到node01号node02节点

 

  1. cd /root/ssl

  2. wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

  3. wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

  4. wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

  5. chmod +x cfssl*

  6. mv cfssl-certinfo_linux-amd64 /opt/kubernetes/bin/cfssl-certinfo

  7. mv cfssljson_linux-amd64 /opt/kubernetes/bin/cfssljson

  8. mv cfssl_linux-amd64 /opt/kubernetes/bin/cfssl

 

  1. scp /opt/kubernetes/bin/cfssl* 192.168.168.3:/opt/kubernetes/bin

  2. scp /opt/kubernetes/bin/cfssl* 192.168.168.4:/opt/kubernetes/bin

4.创建用来生成 CA 文件的 JSON 配置文件

 

  1. cd /root/ssl

  2. cat > ca-config.json <

  3. {

  4.   "signing": {

  5.     "default": {

  6.       "expiry": "87600h"

  7.     },

  8.     "profiles": {

  9.       "kubernetes": {

  10.         "usages": [

  11.             "signing",

  12.             "key encipherment",

  13.             "server auth",

  14.             "client auth"

  15.         ],

  16.         "expiry": "87600h"

  17.       }

  18.     }

  19.   }

  20. }

  21. EOF

server auth表示client可以用该ca对server提供的证书进行验证

client auth表示server可以用该ca对client提供的证书进行验证

5.创建用来生成 CA 证书签名请求（CSR）的 JSON 配置文件

 

  1. cat > ca-csr.json <

  2. {

  3.   "CN": "kubernetes",

  4.   "key": {

  5.     "algo": "rsa",

  6.     "size": 2048

  7.   },

  8.   "names": [

  9.     {

  10.       "C": "CN",

  11.       "ST": "BeiJing",

  12.       "L": "BeiJing",

  13.       "O": "k8s",

  14.       "OU": "System"

  15.     }

  16.   ]

  17. }

  18. EOF

6.生成CA证书和私钥

 

  1. # cfssl gencert -initca ca-csr.json | cfssljson -bare ca

  2. # ls ca*

  3. ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

将SCP证书分发到各节点

 

  1. # cp ca.csr ca.pem ca-key.pem ca-config.json /opt/kubernetes/ssl

  2. # scp ca.csr ca.pem ca-key.pem ca-config.json [email protected]:/opt/kubernetes/ssl

  3. # scp ca.csr ca.pem ca-key.pem ca-config.json [email protected]:/opt/kubernetes/ssl

7.创建etcd证书请求

 

  1. # cat > etcd-csr.json <

  2. {

  3. "CN": "etcd",

  4. "hosts": [

  5. "127.0.0.1",

  6. "192.168.168.2",

  7. "192.168.168.3",

  8. "192.168.168.4",

  9. "k8s-master",

  10. "work-node01",

  11. "work-node02"

  12. ],

  13. "key": {

  14. "algo": "rsa",

  15. "size": 2048

  16. },

  17. "names": [

  18. {

  19. "C": "CN",

  20. "ST": "BeiJing",

  21. "L": "BeiJing",

  22. "O": "k8s",

  23. "OU": "System"

  24. }

  25. ]

  26. }

  27. EOF

8.生成 etcd 证书和私钥

 

  1. # cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes etcd-csr.json | cfssljson -bare etcd

  2. # ls etc*

  3. etcd.csr  etcd-key.pem  etcd.pem

分发证书文件

 

  1. # cp /root/ssl/etcd*.pem /etc/kubernetes/ssl

  2. # scp /root/ssl/etcd*.pem [email protected]/opt/kubernetes/ssl

  3. # scp /root/ssl/etcd*.pem [email protected]/opt/kubernetes/ssl

五、Etcd集群安装配置(配置前3台主机需时间同步)

1.修改hosts(3台主机上都进行此操作)

vi /etc/hosts

 

  1. # echo '192.168.168.2 k8s-master

  2. 192.168.168.3 work-node01

  3. 192.168.168.4 work-node02' >> /etc/hosts

2.下载etcd安装包

wget https://github.com/coreos/etcd/releases/download/v3.3.7/etcd-v3.3.7-linux-amd64.tar.gz

3.解压安装etcd(3台主机做同样配置)

 

  1. mkdir /var/lib/etcd

  2. tar -zxvf etcd-v3.3.7-linux-amd64.tar.gz

  3. cp etcd etcdctl /opt/kubernetes/bin

4.创建etcd启动文件

 

  1. cat > /usr/lib/systemd/system/etcd.service <

  2. [Unit]

  3. Description=Etcd Server

  4. After=network.target

  5.  

  6. [Service]

  7. Type=simple

  8. WorkingDirectory=/var/lib/etcd

  9. EnvironmentFile=/opt/kubernetes/conf/etcd.conf

  10. # set GOMAXPROCS to number of processors

  11. ExecStart=/bin/bash -c "GOMAXPROCS=1 /opt/kubernetes/bin/etcd"

  12. Type=notify

  13.  

  14. [Install]

  15. WantedBy=multi-user.target

  16. EOF

将etcd.service文件分发到各node节点

 

  1. scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/etcd.service

  2. scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/etcd.service

5.k8s-master(192.168.168.2)编译etcd.conf文件

vi /opt/kubernetes/conf/ectd.conf

 

  1. #[Member]

  2. #ETCD_CORS=""

  3. ETCD_DATA_DIR="/var/lib/etcd/k8s-master.etcd"

  4. #ETCD_WAL_DIR=""

  5. ETCD_LISTEN_PEER_URLS="https://0.0.0.0:2380"

  6. ETCD_LISTEN_CLIENT_URLS="https://0.0.0.0:2379,http://127.0.0.1:4001"

  7. #ETCD_MAX_SNAPSHOTS="5"

  8. #ETCD_MAX_WALS="5"

  9. ETCD_NAME="k8s-master"

  10. #ETCD_SNAPSHOT_COUNT="100000"

  11. #ETCD_HEARTBEAT_INTERVAL="100"

  12. #ETCD_ELECTION_TIMEOUT="1000"

  13. #ETCD_QUOTA_BACKEND_BYTES="0"

  14. #ETCD_MAX_REQUEST_BYTES="1572864"

  15. #ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"

  16. #ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"

  17. #ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"

  18. #

  19. #[Clustering]

  20. #ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"

  21. ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.168.2:2380"

  22. ETCD_ADVERTISE_CLIENT_URLS="https://192.168.168.2:2379"

  23. #ETCD_DISCOVERY=""

  24. #ETCD_DISCOVERY_FALLBACK="proxy"

  25. #ETCD_DISCOVERY_PROXY=""

  26. #ETCD_DISCOVERY_SRV=""

  27. ETCD_INITIAL_CLUSTER="k8s-master=https://192.168.168.2:2380,work-node01=https://192.168.168.3:2380,work-node02=https://192.168.168.4:2380"

  28. ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

  29. ETCD_INITIAL_CLUSTER_STATE="new"

  30. #ETCD_STRICT_RECONFIG_CHECK="true"

  31. #ETCD_ENABLE_V2="true"

  32. #

  33. #[Proxy]

  34. #ETCD_PROXY="off"

  35. #ETCD_PROXY_FAILURE_WAIT="5000"

  36. #ETCD_PROXY_REFRESH_INTERVAL="30000"

  37. #ETCD_PROXY_DIAL_TIMEOUT="1000"

  38. #ETCD_PROXY_WRITE_TIMEOUT="5000"

  39. #ETCD_PROXY_READ_TIMEOUT="0"

  40. #

  41. #[Security]

  42. CLIENT_CERT_AUTH="true"

  43. ETCD_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  44. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  45. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  46. PEER_CLIENT_CERT_AUTH="true"

  47. ETCD_PEER_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  48. ETCD_PEER_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  49. ETCD_PEER_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  50. #

  51. #[Logging]

  52. #ETCD_DEBUG="false"

  53. #ETCD_LOG_PACKAGE_LEVELS=""

  54. #ETCD_LOG_OUTPUT="default"

  55. #

  56. #[Unsafe]

  57. #ETCD_FORCE_NEW_CLUSTER="false"

  58. #

  59. #[Version]

  60. #ETCD_VERSION="false"

  61. #ETCD_AUTO_COMPACTION_RETENTION="0"

  62. #

  63. #[Profiling]

  64. #ETCD_ENABLE_PPROF="false"

  65. #ETCD_METRICS="basic"

  66. #

  67. #[Auth]

  68. #ETCD_AUTH_TOKEN="simple"

6.work-node01(192.168.168.3)编译etcd.conf文件

vi /opt/kubernetes/conf/ectd.conf

 

  1. #[Member]

  2. #ETCD_CORS=""

  3. ETCD_DATA_DIR="/var/lib/etcd/work-node01.etcd"

  4. #ETCD_WAL_DIR=""

  5. ETCD_LISTEN_PEER_URLS="https://0.0.0.0:2380"

  6. ETCD_LISTEN_CLIENT_URLS="https://0.0.0.0:2379,https://127.0.0.1:4001"

  7. #ETCD_MAX_SNAPSHOTS="5"

  8. #ETCD_MAX_WALS="5"

  9. ETCD_NAME="work-node01"

  10. #ETCD_SNAPSHOT_COUNT="100000"

  11. #ETCD_HEARTBEAT_INTERVAL="100"

  12. #ETCD_ELECTION_TIMEOUT="1000"

  13. #ETCD_QUOTA_BACKEND_BYTES="0"

  14. #ETCD_MAX_REQUEST_BYTES="1572864"

  15. #ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"

  16. #ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"

  17. #ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"

  18. #

  19. #[Clustering]

  20. #ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"

  21. ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.168.3:2380"

  22. ETCD_ADVERTISE_CLIENT_URLS="https://192.168.168.3:2379"

  23. #ETCD_DISCOVERY=""

  24. #ETCD_DISCOVERY_FALLBACK="proxy"

  25. #ETCD_DISCOVERY_PROXY=""

  26. #ETCD_DISCOVERY_SRV=""

  27. ETCD_INITIAL_CLUSTER="k8s-master=https://192.168.168.2:2380,work-node01=https://192.168.168.3:2380,work-node02=https://192.168.168.4:2380"

  28. ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

  29. ETCD_INITIAL_CLUSTER_STATE="new"

  30. #ETCD_STRICT_RECONFIG_CHECK="true"

  31. #ETCD_ENABLE_V2="true"

  32. #

  33. #[Proxy]

  34. #ETCD_PROXY="off"

  35. #ETCD_PROXY_FAILURE_WAIT="5000"

  36. #ETCD_PROXY_REFRESH_INTERVAL="30000"

  37. #ETCD_PROXY_DIAL_TIMEOUT="1000"

  38. #ETCD_PROXY_WRITE_TIMEOUT="5000"

  39. #ETCD_PROXY_READ_TIMEOUT="0"

  40. #

  41. #[Security]

  42. CLIENT_CERT_AUTH="true"

  43. ETCD_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  44. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  45. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  46. PEER_CLIENT_CERT_AUTH="true"

  47. ETCD_PEER_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  48. ETCD_PEER_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  49. ETCD_PEER_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  50. #

  51. #[Logging]

  52. #ETCD_DEBUG="false"

  53. #ETCD_LOG_PACKAGE_LEVELS=""

  54. #ETCD_LOG_OUTPUT="default"

  55. #

  56. #[Unsafe]

  57. #ETCD_FORCE_NEW_CLUSTER="false"

  58. #

  59. #[Version]

  60. #ETCD_VERSION="false"

  61. #ETCD_AUTO_COMPACTION_RETENTION="0"

  62. #

  63. #[Profiling]

  64. #ETCD_ENABLE_PPROF="false"

  65. #ETCD_METRICS="basic"

  66. #

  67. #[Auth]

  68. #ETCD_AUTH_TOKEN="simple"

7.work-node02编译etcd.conf文件

vi /opt/kubernetes/conf/ectd.conf

 

  1. #[Member]

  2. #ETCD_CORS=""

  3. ETCD_DATA_DIR="/var/lib/etcd/work-node02.etcd"

  4. #ETCD_WAL_DIR=""

  5. ETCD_LISTEN_PEER_URLS="https://0.0.0.0:2380"

  6. ETCD_LISTEN_CLIENT_URLS="https://0.0.0.0:2379,https://127.0.0.1:4001"

  7. #ETCD_MAX_SNAPSHOTS="5"

  8. #ETCD_MAX_WALS="5"

  9. ETCD_NAME="work-node02"

  10. #ETCD_SNAPSHOT_COUNT="100000"

  11. #ETCD_HEARTBEAT_INTERVAL="100"

  12. #ETCD_ELECTION_TIMEOUT="1000"

  13. #ETCD_QUOTA_BACKEND_BYTES="0"

  14. #ETCD_MAX_REQUEST_BYTES="1572864"

  15. #ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"

  16. #ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"

  17. #ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"

  18. #

  19. #[Clustering]

  20. #ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"

  21. ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.168.4:2380"

  22. ETCD_ADVERTISE_CLIENT_URLS="https://192.168.168.4:2379"

  23. #ETCD_DISCOVERY=""

  24. #ETCD_DISCOVERY_FALLBACK="proxy"

  25. #ETCD_DISCOVERY_PROXY=""

  26. #ETCD_DISCOVERY_SRV=""

  27. ETCD_INITIAL_CLUSTER="k8s-master=https://192.168.168.2:2380,work-node01=https://192.168.168.3:2380,work-node02=https://192.168.168.4:2380"

  28. ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

  29. ETCD_INITIAL_CLUSTER_STATE="new"

  30. #ETCD_STRICT_RECONFIG_CHECK="true"

  31. #ETCD_ENABLE_V2="true"

  32. #

  33. #[Proxy]

  34. #ETCD_PROXY="off"

  35. #ETCD_PROXY_FAILURE_WAIT="5000"

  36. #ETCD_PROXY_REFRESH_INTERVAL="30000"

  37. #ETCD_PROXY_DIAL_TIMEOUT="1000"

  38. #ETCD_PROXY_WRITE_TIMEOUT="5000"

  39. #ETCD_PROXY_READ_TIMEOUT="0"

  40. #

  41. #[Security]

  42. CLIENT_CERT_AUTH="true"

  43. ETCD_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  44. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  45. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  46. PEER_CLIENT_CERT_AUTH="true"

  47. ETCD_PEER_CA_FILE="/opt/kubernetes/ssl/ca.pem"

  48. ETCD_PEER_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  49. ETCD_PEER_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  50. #

  51. #[Logging]

  52. #ETCD_DEBUG="false"

  53. #ETCD_LOG_PACKAGE_LEVELS=""

  54. #ETCD_LOG_OUTPUT="default"

  55. #

  56. #[Unsafe]

  57. #ETCD_FORCE_NEW_CLUSTER="false"

  58. #

  59. #[Version]

  60. #ETCD_VERSION="false"

  61. #ETCD_AUTO_COMPACTION_RETENTION="0"

  62. #

  63. #[Profiling]

  64. #ETCD_ENABLE_PPROF="false"

  65. #ETCD_METRICS="basic"

  66. #

  67. #[Auth]

  68. #ETCD_AUTH_TOKEN="simple"

8.各etcd节点启动etcd并设置开机自动启动

 

  1. # systemctl daemon-reload

  2. # systemctl enable etcd

  3. # systemctl start etcd.service

  4. # systemctl status etcd.service

9.各etcd节点测试验证etcd集群配置

 

  1. # etcd --version //查看etcd安装版本

  2. etcd Version: 3.3.7

  3. Git SHA: 56536de55

  4. Go Version: go1.9.6

  5. Go OS/Arch: linux/amd64

查看etcd健康集群状态

 

  1. # etcdctl --endpoints=https://192.168.168.2:2379 \

  2.   --ca-file=/opt/kubernetes/ssl/ca.pem \

  3.   --cert-file=/opt/kubernetes/ssl/etcd.pem \

  4.   --key-file=/opt/kubernetes/ssl/etcd-key.pem cluster-health

  5. member b1840b0a404e1103 is healthy: got healthy result from https://192.168.168.2:2379

  6. member d15b66900329a12d is healthy: got healthy result from https://192.168.168.4:2379

  7. member f9794412c46a9cb0 is healthy: got healthy result from https://192.168.168.3:2379

  8. cluster is healthy

查看etcd集群状态

 

  1. # etcdctl --endpoints=https://192.168.168.2:2379 \

  2. --ca-file=/opt/kubernetes/ssl/ca.pem \

  3. --cert-file=/opt/kubernetes/ssl/etcd.pem \

  4. --key-file=/opt/kubernetes/ssl/etcd-key.pem member list

  5. b1840b0a404e1103: name=k8s-master peerURLs=https://192.168.168.2:2380 clientURLs=https://192.168.168.2:2379 isLeader=false

  6. d15b66900329a12d: name=work-node02 peerURLs=https://192.168.168.4:2380 clientURLs=https://192.168.168.4:2379 isLeader=true

  7. f9794412c46a9cb0: name=work-node01 peerURLs=https://192.168.168.3:2380 clientURLs=https://192.168.168.3:2379 isLeader=false

六、3台主机上安装docker-engine

1.详细步骤见“Oracle Linux7安装Docker”

2.配置Docker连接ETCD集群

设置docker的JSON文件

 

  1. # vi /etc/docker/daemon.json

  2. {

  3. "exec-opts": ["native.cgroupdriver=cgroupfs"],

  4. "registry-mirrors": ["https://wghlmi3i.mirror.aliyuncs.com"],

  5. "cluster-store": "etcd://192.168.168.2:2379,192.168.168.3:2379,192.168.168.4:2379"

  6. }

注：各node节点docker bip地址不重复，如node01为172.26.1.1/24，node02为172.26.2.1/24

设置docer启动文件

 

  1. # vi /usr/lib/systemd/system/docker.service

  2. 将

  3. ExecStart=/usr/bin/dockerd

  4. 改为

  5. ExecStart=/usr/bin/dockerd --tlsverify \

  6. --tlscacert=/opt/kubernetes/ssl/ca.pem \

  7. --tlscert=/opt/kubernetes/ssl/etcd.pem \

  8. --tlskey=/opt/kubernetes/ssl/etcd-key.pem -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

 

  1. # systemctl daemon-reload

  2. # systemctl enable docker.service

  3. # systemctl start docker.service

  4. # systemctl status docker.service

3.测试Docker TLS配置验证情况

七、Kubernetes集群安装配置

1.下载Kubernetes源码（本次使用k8s-1.10.4）

kubernetes-server-linux-amd64.tar.gz

2.解压Kubernets压缩包，生成一个kubernetes目录

tar -zxvf kubernetes-server-linux-amd64.tar.gz

3.配置k8s-master(192.168.168.2)

1）将k8s可执行文件拷贝至kubernets/bin目录下

 

  1. # cp -r /opt/software/kubernetes/server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler,kubectl,kubeadm} /opt/kubernetes/bin/

  2.  

  3. # scp /opt/software/kubernetes/server/bin/{kubectl,kube-proxy,kubelet} [email protected]:/opt/kubernetes/bin/

  4. # scp /opt/software/kubernetes/server/bin/{kubectl,kube-proxy,kubelet} [email protected]:/opt/kubernetes/bin/

2）创建生成K8S csr的JSON配置文件:

 

  1. # cd /root/ssl

  2. # cat > kubernetes-csr.json <

  3. {

  4. "CN": "kubernetes",

  5. "hosts": [

  6. "127.0.0.1",

  7. "192.168.168.2",

  8. "192.168.168.3",

  9. "192.168.168.4",

  10. "10.1.0.1",

  11. "localhost",

  12. "kubernetes",

  13. "kubernetes.default",

  14. "kubernetes.default.svc",

  15. "kubernetes.default.svc.cluster",

  16. "kubernetes.default.svc.cluster.local"

  17. ],

  18. "key": {

  19. "algo": "rsa",

  20. "size": 2048

  21. },

  22. "names": [

  23. {

  24. "C": "CN",

  25. "ST": "BeiJing",

  26. "L": "BeiJing",

  27. "O": "k8s",

  28. "OU": "System"

  29. }

  30. ]

  31. }

  32. EOF

注：10.1.0.1地址为service-cluster网段中第一个ip

3）在/root/ssl目录下生成k8s证书和私钥,并分发到各节点

 

  1. ＃ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes

  2.  

  3. # cp kubernetes*.pem /opt/kubernetes/ssl/

  4. # scp cp kubernetes*.pem [email protected]:/opt/kubernetes/ssl/

  5. # scp cp kubernetes*.pem [email protected]:/opt/kubernetes/ssl/

4）创建生成admin证书csr的JSON配置文件

 

  1. ＃ cat > admin-csr.json <

  2. {

  3. "CN": "admin",

  4. "hosts": [],

  5. "key": {

  6. "algo": "rsa",

  7. "size": 2048

  8. },

  9. "names": [

  10. {

  11. "C": "CN",

  12. "ST": "BeiJing",

  13. "L": "BeiJing",

  14. "O": "system:masters",

  15. "OU": "System"

  16. }

  17. ]

  18. }

  19. EOF

5）生成admin证书和私钥

 

  1. ＃ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin

  2. # cp admin*.pem /opt/kubernetes/ssl/

6）创建kube-apiserver使用的客户端token文件

 

  1. # mkdir /opt/kubernetes/token //在各k8s节点执行相同步骤

  2.  

  3. # export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ') //生成一个程序登录3rd_session

  4. # cat > /opt/kubernetes/token/bootstrap-token.csv <

  5. {BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"

  6. EOF

7）创建基础用户名/密码认证配置

 

  1. # vi /opt/kubernetes/token/basic-auth.csv //添加如下内容

  2. admin,admin,1

  3. readonly,readonly,2

8）创建Kube API Server启动文件

 

  1. # vi /usr/lib/systemd/system/kube-apiserver.service

  2. [Unit]

  3. Description=Kubernetes API Server

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5. After=network.target

  6. After=etcd.service

  7.  

  8. [Service]

  9. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  10. EnvironmentFile=/opt/kubernetes/conf/apiserver.conf

  11. ExecStart=/opt/kubernetes/bin/kube-apiserver \

  12.         $KUBE_LOGTOSTDERR \

  13.         $KUBE_LOG_LEVEL \

  14.         $KUBE_ETCD_SERVERS \

  15.         $KUBE_API_ADDRESS \

  16.         $KUBE_API_PORT \

  17.         $KUBELET_PORT \

  18.         $KUBE_ALLOW_PRIV \

  19.         $KUBE_SERVICE_ADDRESSES \

  20.         $KUBE_ADMISSION_CONTROL \

  21.         $KUBE_API_ARGS

  22. Restart=on-failure

  23. RestartSec=5

  24. Type=notify

  25. LimitNOFILE=65536

  26.  

  27. [Install]

  28. WantedBy=multi-user.target

mkdir /var/log/kubernetes      //在各k8s节点执行相同步骤
mkdir /var/log/kubernetes/apiserver

9）创建kube.conf文件

 

  1. # vi /opt/kubernetes/conf/kube.conf

  2. ###

  3. # kubernetes system config

  4. #

  5. # The following values are used to configure various aspects of all

  6. # kubernetes services, including

  7. #

  8. # kube-apiserver.service

  9. # kube-controller-manager.service

  10. # kube-scheduler.service

  11. # kubelet.service

  12. # kube-proxy.service

  13. # logging to stderr means we get it in the systemd journal

  14. KUBE_LOGTOSTDERR="--logtostderr=true"

  15. #

  16. # journal message level, 0 is debug

  17. KUBE_LOG_LEVEL="--v=2" //log级别

  18. #

  19. # Should this cluster be allowed to run privileged docker containers

  20. KUBE_ALLOW_PRIV="--allow-privileged=true"

  21. #

  22. # How the controller-manager, scheduler, and proxy find the apiserver

  23. #KUBE_MASTER="--master=http://sz-pg-oam-docker-test-001.tendcloud.com:8080"

  24. KUBE_MASTER="--master=http://127.0.0.1:8080"

注：该配置文件同时被kube-apiserver、kube-controller-manager、kube-scheduler、kubelet、kube-proxy共用，在各node节点KUBE_MASTER值注销

向各分发kube.conf文件

 

  1. # scp kube.conf [email protected]:/opt/kubernetes/conf/

  2. # scp kube.conf [email protected]:/opt/kubernetes/conf/

10）生成高级审计配置

 

  1. cat > /opt/kubernetes/yaml/audit-policy.yaml <

  2. # Log all requests at the Metadata level.

  3. apiVersion: audit.k8s.io/v1beta1

  4. kind: Policy

  5. rules:

  6. - level: Metadata

  7. EOF

11）创建kube API Server配置文件并启动

 

  1. # vi /opt/kubernetes/conf/apiserver.conf

  2. ###

  3. ## kubernetes system config

  4. ##

  5. ## The following values are used to configure the kube-apiserver

  6. ##

  7. #

  8. ## The address on the local server to listen to.

  9. #KUBE_API_ADDRESS="--insecure-bind-address=sz-pg-oam-docker-test-001.tendcloud.com"

  10. KUBE_API_ADDRESS="--advertise-address=192.168.168.2 --bind-address=192.168.168.2 --insecure-bind-address=127.0.0.1"

  11. #

  12. ## The port on the local server to listen on.

  13. #KUBE_API_PORT="--port=8080"

  14. #

  15. ## Port minions listen on

  16. #KUBELET_PORT="--kubelet-port=10250"

  17. #

  18. ## Comma separated list of nodes in the etcd cluster

  19. KUBE_ETCD_SERVERS="--etcd-servers=https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379"

  20. #

  21. ## Address range to use for services

  22. KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.1.0.0/16"

  23. #

  24. ## default admission control policies

  25. KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,NodeRestriction"

  26. #

  27. ## Add your own!

  28. KUBE_API_ARGS="--authorization-mode=Node,RBAC --runtime-config=rbac.authorization.k8s.io/v1 --kubelet-https=true --anonymous-auth=false --enable-bootstrap-token-auth --basic-auth-file=/opt/kubernetes/token/basic-auth.csv --token-auth-file=/opt/kubernetes/token/bootstrap-token.csv --service-node-port-range=30000-32767 --tls-cert-file=/opt/kubernetes/ssl/kubernetes.pem --tls-private-key-file=/opt/kubernetes/ssl/kubernetes-key.pem --client-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-key-file=/opt/kubernetes/ssl/ca-key.pem --etcd-cafile=/opt/kubernetes/ssl/ca.pem --etcd-certfile=/opt/kubernetes/ssl/kubernetes.pem --etcd-keyfile=/opt/kubernetes/ssl/kubernetes-key.pem --allow-privileged=true --enable-swagger-ui=true --apiserver-count=3 --audit-policy-file=/opt/kubernetes/etc/audit-policy.yaml --audit-log-maxage=30 --audit-log-maxbackup=3 --audit-log-maxsize=100 --audit-log-path=/var/log/kubernetes/apiserver/api-audit.log --log-dir=/var/log/kubernetes/apiserver --event-ttl=1h"

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-apiserver

  3. # systemctl start kube-apiserver

  4. # systemctl status kube-apiserver

11）创建Kube Controller Manager启动文件

 

  1. # vi /usr/lib/systemd/system/kube-controller-manager.service

  2. [Unit]

  3. Description=Kubernetes Controller Manager

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5.  

  6. [Service]

  7. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  8. EnvironmentFile=/opt/kubernetes/conf/controller-manager.conf

  9. ExecStart=/opt/kubernetes/bin/kube-controller-manager \

  10.         $KUBE_LOGTOSTDERR \

  11.         $KUBE_LOG_LEVEL \

  12.         $KUBE_MASTER \

  13.         $KUBE_CONTROLLER_MANAGER_ARGS

  14. Restart=on-failure

  15. RestartSec=5

  16.  

  17. [Install]

  18. WantedBy=multi-user.target

mkdir /var/log/kubernetes/controller-manager

13）创建kube Controller Manager配置文件并启动

 

  1. # vi /opt/kubernetes/conf/controller-manager.conf

  2. ###

  3. # The following values are used to configure the kubernetes controller-manager

  4. #

  5. # defaults from config and apiserver should be adequate

  6. #

  7. # Add your own!

  8. KUBE_CONTROLLER_MANAGER_ARGS="--address=127.0.0.1 --service-cluster-ip-range=10.1.0.0/16 --cluster-cidr=10.2.0.0/16 --cluster-name=kubernetes --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem --root-ca-file=/opt/kubernetes/ssl/ca.pem --leader-elect=true --log-dir=/var/log/kubernetes/controller-manager"

注：--service-cluster-ip-range参数指定Cluster中Service 的CIDR范围，该网络在各Node间必须路由不可达，必须和kube-apiserver中的参数一致

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-controller-manager

  3. # systemctl start kube-controller-manager

  4. # systemctl status kube-controller-manager

14）创建Kube Scheduler启动文件

 

  1. # vi /usr/lib/systemd/system/kube-scheduler.service

  2. [Unit]

  3. Description=Kubernetes Scheduler

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5.  

  6. [Service]

  7. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  8. EnvironmentFile=/opt/kubernetes/conf/scheduler.conf

  9. ExecStart=/opt/kubernetes/bin/kube-scheduler \

  10.             $KUBE_LOGTOSTDERR \

  11.             $KUBE_LOG_LEVEL \

  12.             $KUBE_MASTER \

  13.             $KUBE_SCHEDULER_ARGS

  14. Restart=on-failure

  15. RestartSec=5

  16.  

  17. [Install]

  18. WantedBy=multi-user.target

mkdir /var/log/kubernetes/scheduler

15）创建Kube Scheduler配置文件并启动

 

  1. # vi /opt/kubernetes/conf/scheduler.conf

  2. ###

  3. # kubernetes scheduler config

  4. #

  5. # default config should be adequate

  6. #

  7. # Add your own!

  8. KUBE_SCHEDULER_ARGS="--leader-elect=true --address=127.0.0.1 --log-dir=/var/log/kubernetes/scheduler"

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-scheduler

  3. # systemctl start kube-scheduler

  4. # systemctl status kube-scheduler

16）创建kubectl kubeconfig文件

设置集群参数

 

  1. # kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.168.2:6443

  2. Cluster "kubernetes" set.Cluster "kubernetes" set.

设置客户端认证参数

 

  1. # kubectl config set-credentials admin --client-certificate=/opt/kubernetes/ssl/admin.pem --embed-certs=true --client-key=/opt/kubernetes/ssl/admin-key.pem

  2. User "admin" set.

设置上下文参数

 

  1. # kubectl config set-context kubernetes --cluster=kubernetes --user=admin

  2. Context "kubernetes" created.

设置默认上下文

 

  1. # kubectl config use-context kubernetes

  2. Switched to context "kubernetes".

17）验证各组件健康状况

 

  1. # kubectl get cs

  2. NAME                 STATUS    MESSAGE             ERROR

  3. controller-manager   Healthy   ok                  

  4. scheduler            Healthy   ok                  

  5. etcd-0               Healthy   {"health":"true"}   

  6. etcd-1               Healthy   {"health":"true"}   

  7. etcd-2               Healthy   {"health":"true"}

18）创建角色绑定

 

  1. # kubectl create clusterrolebinding --user system:serviceaccount:kube-system:default kube-system-cluster-admin --clusterrole cluster-admin

  2. clusterrolebindings.rbac.authorization.k8s.io "kube-system-cluster-admin"

注：在kubernetes－1.10.4以前使用如下命令

 

  1. # kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

  2. clusterrolebinding.rbac.authorization.k8s.io "kubelet-bootstrap" created

19）创建kubelet bootstrapping kubeconfig文件

设置集群参数

 

  1. # kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.168.2:6443 --kubeconfig=bootstrap.kubeconfig

  2. Cluster "kubernetes" set.

设置客户端认证参数

 

  1. # kubectl config set-credentials kubelet-bootstrap --token=1cd425206a373f7cc75c958fd363e3fe --kubeconfig=bootstrap.kubeconfig

  2. User "kubelet-bootstrap" set.

token值为master创建token文件时生成的128bit字符串

设置上下文参数

 

  1. # kubectl config set-context default --cluster=kubernetes --user=kubelet-bootstrap --kubeconfig=bootstrap.kubeconfig

  2. Context "default" created.

设置默认上下文

 

  1. # kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

  2. Switched to context "default".

将生成的bootstrap.kubeconfig文件分发到各节点

 

  1. cp bootstrap.kubeconfig /opt/kubernetes/conf/

  2.  

  3. scp bootstrap.kubeconfig [email protected]:/opt/kubernetes/conf/

  4. scp bootstrap.kubeconfig [email protected]:/opt/kubernetes/conf/

20）创建生成kube-proxy证书csr的JSON配置文件

 

  1. # cd /root/ssl

  2. # cat > kube-proxy-csr.json << EOF

  3. {

  4.   "CN": "system:kube-proxy",

  5.   "hosts": [],

  6.   "key": {

  7.     "algo": "rsa",

  8.     "size": 2048

  9.   },

  10.   "names": [

  11.     {

  12.       "C": "CN",

  13.       "ST": "BeiJing",

  14.       "L": "BeiJing",

  15.       "O": "k8s",

  16.       "OU": "System"

  17.     }

  18.   ]

  19. }

  20. EOF

21）生成kube-proxy证书和私钥

 

  1. # cfssl gencert -ca=/opt/kubernetes/ssl/ca.pem -ca-key=/opt/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

  2.  

  3. # cp kube-proxy*.pem /opt/kubernetes/ssl/

  4. # scp kube-proxy*.pem [email protected]:/opt/kubernetes/ssl/

  5. # scp kube-proxy*.pem [email protected]:/opt/kubernetes/ssl/

21）创建kube-proxy kubeconfig文件

设置集群参数

 

  1. # kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.168.2:6443 --kubeconfig=kube-proxy.kubeconfig

  2. Cluster "kubernetes" set.

设置客户端认证参数

 

  1. # kubectl config set-credentials kube-proxy --client-certificate=/opt/kubernetes/ssl/kube-proxy.pem --client-key=/opt/kubernetes/ssl/kube-proxy-key.pem --embed-certs=true --kubeconfig=kube-proxy.kubeconfig

  2. User "kube-proxy" set.

设置上下文参数

 

  1. # kubectl config set-context default --cluster=kubernetes --user=kube-proxy --kubeconfig=kube-proxy.kubeconfig

  2. Context "default" created.

设置默认上下文

 

  1. # kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

  2. Switched to context "default".

分发kube-proxy.kubeconfig文件到各node节点

 

  1. cp /root/ssl/kube-proxy.kubeconfig /opt/kubernetes/conf/

  2. scp /root/ssl/kube-proxy.kubeconfig [email protected]:/opt/kubernetes/conf/

  3. scp /root/ssl/kube-proxy.kubeconfig [email protected]:/opt/kubernetes/conf/

4.配置work-node01/02

1）安装ipvsadm等工具(各node节点相同操作)

yum install -y ipvsadm ipset bridge-utils

2）创建kubelet工作目录（各node节点做相同操作）

mkdir /var/lib/kubelet

3）创建kubelet配置文件

 

  1. # vi /opt/kubernetes/conf/kubelet.conf

  2. ###

  3. ## kubernetes kubelet (minion) config

  4. #

  5. ## The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)

  6. KUBELET_ADDRESS="--address=192.168.168.3"

  7. #

  8. ## The port for the info server to serve on

  9. #KUBELET_PORT="--port=10250"

  10. #

  11. ## You may leave this blank to use the actual hostname

  12. KUBELET_HOSTNAME="--hostname-override=work-node01"

  13. #

  14. ## pod infrastructure container

  15. KUBELET_POD_INFRA_CONTAINER="--pod_infra_container_image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"

  16. #

  17. ## 

  18. #KUBELET_API_SERVER="--api-servers=https://192.168.168.2:6443"

  19. #

  20. ## Add your own!

  21. KUBELET_ARGS="--cluster-dns=10.1.0.2 --experimental-bootstrap-kubeconfig=/opt/kubernetes/conf/bootstrap.kubeconfig --kubeconfig=/opt/kubernetes/conf/kubelet.kubeconfig --cert-dir=/opt/kubernetes/ssl --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --allow-privileged=true --cluster-domain=cluster.local. --hairpin-mode=hairpin-veth --fail-swap-on=false --serialize-image-pulls=false --log-dir=/var/log/kubernetes/kubelet"

注：KUBELET_ADDRESS设置为各节点本机IP，KUBELET_HOSTNAME设为各节点的主机名，KUBELET_POD_INFRA_CONTAINER可设置为私有容器仓库地址，如有可设置为KUBELET_POD_INFRA_CONTAINER="--pod_infra_container_image={私有镜像仓库ip}:80/k8s/pause-amd64:v3.0"，cni-bin-dir值的路径在创建calico网络时会自动添加

mkdir /var/log/kubernetes/kubelet    //各node节点做相同操作

分发kubelet.conf到各node节点

scp /opt/kubernetes/conf/kubelet.conf [email protected]:/opt/kubernetes/conf/

4）创建CNI网络配置文件

 

  1. mkdir -p /etc/cni/net.d

  2. cat >/etc/cni/net.d/10-calico.conf <

  3. {

  4.     "name": "calico-k8s-network",

  5.     "cniVersion": "0.6.0",

  6.     "type": "calico",

  7.     "etcd_endpoints": "https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379",

  8.     "etcd_key_file": "/opt/kubernetes/ssl/etcd-key.pem",

  9.     "etcd_cert_file": "/opt/kubernetes/ssl/etcd.pem",

  10.     "etcd_ca_cert_file": "/opt/kubernetes/ssl/ca.pem",

  11.     "log_level": "info",

  12.     "mtu": 1500,

  13.     "ipam": {

  14.         "type": "calico-ipam"

  15.     },

  16.     "policy": {

  17.         "type": "k8s"

  18.     },

  19.     "kubernetes": {

  20.         "kubeconfig": "/opt/kubernetes/conf/kubelet.conf"

  21.     }

  22. }

  23. EOF

分发到各nodes节点

scp /etc/cni/net.d/10-calico.conf [email protected]:/etc/cni/net.d

5）创建Kubelet配置文件并启动

 

  1. # vi /usr/lib/systemd/system/kubelet.service

  2. [Unit]

  3. Description=Kubernetes Kubelet Server

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5. After=docker.service

  6. Requires=docker.service

  7.  

  8. [Service]

  9. WorkingDirectory=/var/lib/kubelet

  10. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  11. EnvironmentFile=/opt/kubernetes/conf/kubelet.conf

  12. ExecStart=/opt/kubernetes/bin/kubelet \

  13.             $KUBE_LOGTOSTDERR \

  14.             $KUBE_LOG_LEVEL \

  15.             $KUBELET_ADDRESS \

  16.             $KUBELET_PORT \

  17.             $KUBELET_HOSTNAME \

  18.             $KUBE_ALLOW_PRIV \

  19.             $KUBELET_POD_INFRA_CONTAINER \

  20.             $KUBELET_ARGS

  21. Restart=on-failure

  22. RestartSec=5

  23.  

  24. [Install]

  25. WantedBy=multi-user.target

分发kubelet.service文件到各node节点

scp /usr/lib/systemd/system/kubelet.service [email protected]:/usr/lib/systemd/system/
 

  1. systemctl daemon-reload

  2. systemctl enable kubelet

  3. systemctl start kubelet

  4. systemctl status kubelet

注：如无法自动在/opt/kubernetes/conf/没有自动生成kubelet.kubeconfig文件可将master中$HOME/.kube/config文件重命名为kubelet.kubeconfig并拷贝至各nodes节点的/opt/kubernetes/conf/目录下

6）查看CSR证书请求（在k8s-master上执行）

 

  1. kubectl get csr

  2. NAME AGE REQUESTOR CONDITION

  3. node-csr-0Vg_d__0vYzmrMn7o2S7jsek4xuQJ2v_YuCKwWN9n7M 4h kubelet-bootstrap Pending

7）批准kubelet 的 TLS 证书请求（在k8s-master上执行）

 

  1. # kubectl get csr|grep 'Pending' | awk 'NR>0{print $1}'| xargs kubectl certificate approve

  2. certificatesigningrequest.certificates.k8s.io "node-csr-0Vg_d__0vYzmrMn7o2S7jsek4xuQJ2v_YuCKwWN9n7M" approved

8）查看节点状态如果是Ready的状态就说明一切正常（在k8s-master上执行）

 

  1. # kubectl get node

  2. NAME         STATUS    ROLES     AGE       VERSION

  3. work-node01   Ready        11h       v1.10.4

  4. work-node02   Ready        11h       v1.10.4

9）创建kube-proxy工作目录（各node节点做相同操作）

mkdir /var/lib/kube-proxy

10）创建kube-proxy的启动文件

 

  1. # vi /usr/lib/systemd/system/kube-proxy.service

  2. [Unit]

  3. Description=Kubernetes Kube-Proxy Server

  4. Documentation=https://github.com/GoogleCloudPlatform/kubernetes

  5. After=network.target

  6.  

  7. [Service]

  8. WorkingDirectory=/var/lib/kube-proxy

  9. EnvironmentFile=/opt/kubernetes/conf/kube.conf

  10. EnvironmentFile=/opt/kubernetes/conf/kube-proxy.conf

  11. ExecStart=/opt/kubernetes/bin/kube-proxy \

  12.             $KUBE_LOGTOSTDERR \

  13.             $KUBE_LOG_LEVEL \

  14.             $KUBE_MASTER \

  15.             $KUBE_PROXY_ARGS

  16. Restart=on-failure

  17. RestartSec=5

  18. LimitNOFILE=65536

  19.  

  20. [Install]

  21. WantedBy=multi-user.target

分发kube-proxy.service到各node节点

scp /usr/lib/systemd/system/kube-proxy.service [email protected]:/usr/lib/systemd/system/

11）创建kube-proxy配置文件并启动

 

  1. # vi /opt/kubernetes/conf/kube-proxy.conf

  2. ###

  3. # kubernetes proxy config

  4.  

  5. # default config should be adequate

  6.  

  7. # Add your own!

  8. KUBE_PROXY_ARGS="--bind-address=192.168.168.3 --hostname-override=work-node01 --kubeconfig=/opt/kubernetes/conf/kube-proxy.kubeconfig --masquerade-all --feature-gates=SupportIPVSProxyMode=true --proxy-mode=ipvs --ipvs-min-sync-period=5s --ipvs-sync-period=5s --ipvs-scheduler=rr --log-dir=/var/log/kubernetes/kube-proxy"

注：bind-address值设为各node节点本机IP，hostname-override值设为各node节点主机名

分发kube-proxy.conf到各node节点

scp /opt/kubernetes/conf/kube-proxy.conf [email protected]:/opt/kubernetes/conf/

 

  1. # systemctl daemon-reload

  2. # systemctl enable kube-proxy

  3. # systemctl start kube-proxy

  4. # systemctl status kube-proxy  

12）查看LVS状态

 

  1. # ipvsadm -L -n

  2. IP Virtual Server version 1.2.1 (size=4096)

  3. Prot LocalAddress:Port Scheduler Flags

  4. -> RemoteAddress:Port Forward Weight ActiveConn InActConn

  5. TCP 10.1.0.1:443 rr persistent 10800

  6. -> 192.168.168.2:6443 Masq 1 0 0

5.配置calico网络

1）下载calico插件

在master节点执行:

 

  1. # wget -N -P /usr/bin/ https://github.com/projectcalico/calicoctl/releases/download/v3.1.3/calicoctl

  2. # chmod +x /usr/bin/calicoctl

  3. # mkdir /etc/calico/yaml

  4. # docker pull quay.io/calico/node:v3.1.3

在各node节点执行:

 

  1. # wget -N -P /usr/bin/ https://github.com/projectcalico/calicoctl/releases/download/v3.1.3/calicoctl

  2. # chmod +x /usr/bin/calicoctl

  3. # mkdir /etc/calico/conf

  4. # mkdir /opt/cni/bin

  5. # wget -N -P /opt/cni/bin https://github.com/projectcalico/cni-plugin/releases/download/v3.1.3/calico

  6. # wget -N -P /opt/cni/bin https://github.com/projectcalico/cni-plugin/releases/download/v3.1.3/calico-ipam

  7. # chmod +x /opt/cni/bin/calico /opt/cni/bin/calico-ipam

  8. # docker pull quay.io/calico/node:v3.1.3

查看docker calico image信息

 

  1. # docker images

  2. REPOSITORY TAG IMAGE ID CREATED SIZE

  3. quay.io/calico/node v3.1.3 7eca10056c8e 6 weeks ago 248MB

2）创建calico和etcd交互文件

 

  1. # vi /etc/calico/calicoctl.cfg

  2. apiVersion: projectcalico.org/v3

  3. kind: CalicoAPIConfig

  4. metadata:

  5. spec:

  6.   datastoreType: "etcdv3"

  7.   etcdEndpoints: "https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379"

  8.   etcdKeyFile: "/opt/kubernetes/ssl/etcd-key.pem"

  9.   etcdCertFile: "/opt/kubernetes/ssl/etcd.pem"

  10.   etcdCACertFile: "/opt/kubernetes/ssl/ca.pem"

3）获取calico.yaml(在master执行)

 

  1. wget -N -P /etc/calico/yaml https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/rbac.yaml

  2. wget -N -P /etc/calico/yaml https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/calico.yaml

注：此处版本与docker calico image版本相同

修改calico.yaml文件内容

 

  1. # 替换 Etcd 地址

  2. sed -i 's@.*etcd_endpoints:.*@\ \ etcd_endpoints:\ \"https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379\"@gi' calico.yaml

  3.  

  4. # 替换 Etcd 证书

  5. export ETCD_CERT=`cat /opt/kubernetes/ssl/etcd.pem | base64 | tr -d '\n'`

  6. export ETCD_KEY=`cat /opt/kubernetes/ssl/etcd-key.pem | base64 | tr -d '\n'`

  7. export ETCD_CA=`cat /opt/kubernetes/ssl/ca.pem | base64 | tr -d '\n'`

  8.  

  9. sed -i "s@.*etcd-cert:.*@\ \ etcd-cert:\ ${ETCD_CERT}@gi" calico.yaml

  10. sed -i "s@.*etcd-key:.*@\ \ etcd-key:\ ${ETCD_KEY}@gi" calico.yaml

  11. sed -i "s@.*etcd-ca:.*@\ \ etcd-ca:\ ${ETCD_CA}@gi" calico.yaml

  12.  

  13. sed -i 's@.*etcd_ca:.*@\ \ etcd_ca:\ "/calico-secrets/etcd-ca"@gi' calico.yaml

  14. sed -i 's@.*etcd_cert:.*@\ \ etcd_cert:\ "/calico-secrets/etcd-cert"@gi' calico.yaml

  15. sed -i 's@.*etcd_key:.*@\ \ etcd_key:\ "/calico-secrets/etcd-key"@gi' calico.yaml

  16.  

  17. #上面是必须要修改的参数，文件中有一个参数是设置pod network地址的，根据实际情况做修改：

  18. - name: CALICO_IPV4POOL_CIDR

  19. value: "10.100.0.0/16"

calico资源进行配置

 

  1. kubectl apply -f /etc/calico/conf/rbac.yaml

  2. kubectl create -f /etc/calico/conf/calico.yaml

4）创建calico配置文件

 

  1. # vi /etc/calico/conf/calico.conf

  2. CALICO_NODENAME="work-node01"

  3. ETCD_ENDPOINTS=https://192.168.168.2:2379,https://192.168.168.3:2379,https://192.168.168.4:2379

  4. ETCD_CA_CERT_FILE="/opt/kubernetes/ssl/ca.pem"

  5. ETCD_CERT_FILE="/opt/kubernetes/ssl/etcd.pem"

  6. ETCD_KEY_FILE="/opt/kubernetes/ssl/etcd-key.pem"

  7. CALICO_IP="192.168.168.3"

  8. CALICO_IP6=""

  9. CALICO_NETWORKING_BACKEND=bird

  10. CALICO_AS="65412"

  11. CALICO_NO_DEFAULT_POOLS=""

  12. CALICO_LIBNETWORK_ENABLED=true

  13. CALICO_IPV4POOL_IPIP="Always"

  14. IP_AUTODETECTION_METHOD=interface=ens34

  15. IP6_AUTODETECTION_METHOD=interface=ens34

注：CALICO_NODENAME值为各node节点主机名，CALICP_IP值为各node节点网口IP，IP_AUTODETECTION_METHOD和IP6_AUTODETECTION_METHOD值为各node节点对外网口标号

分发calico.conf文件到各node节点

scp /etc/calico/conf/calico.conf [email protected]:/etc/calico/conf/

5）创建calico启动文件

 

  1. # vi /usr/lib/systemd/system/calico-node.service

  2. [Unit]

  3. Description=calico-node

  4. After=docker.service

  5. Requires=docker.service

  6.  

  7. [Service]

  8. User=root

  9. PermissionsStartOnly=true

  10. EnvironmentFile=/etc/calico/conf/calico.conf

  11. ExecStart=/usr/bin/docker run --net=host --privileged --name=calico-node \

  12.  -e NODENAME=${CALICO_NODENAME} \

  13.  -e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \

  14.  -e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \

  15.  -e ETCD_CERT_FILE=${ETCD_CERT_FILE} \

  16.  -e ETCD_KEY_FILE=${ETCD_KEY_FILE} \

  17.  -e IP=${CALICO_IP} \

  18.  -e IP6=${CALICO_IP6} \

  19.  -e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \

  20.  -e AS=${CALICO_AS} \

  21.  -e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \

  22.  -e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \

  23.  -e CALICO_IPV4POOL_IPIP=${CALICO_IPV4POOL_IPIP} \

  24.  -e IP_AUTODETECTION_METHOD=${IP_AUTODETECTION_METHOD} \

  25.  -e IP6_AUTODETECTION_METHOD=${IP6_AUTODETECTION_METHOD} \

  26.  -v /opt/kubernetes/ssl:/opt/kubernetes/ssl \

  27.  -v /var/log/calico:/var/log/calico \

  28.  -v /run/docker/plugins:/run/docker/plugins \

  29.  -v /lib/modules:/lib/modules \

  30.  -v /var/run/calico:/var/run/calico \

  31.  quay.io/calico/node:v3.1.3

  32.  

  33. ExecStop=/usr/bin/docker rm -f calico-node

  34. Restart=always

  35. RestartSec=10

  36.  

  37. [Install]

  38. WantedBy=multi-user.target

mkdir /var/log/calico     //各nodes节点同样操作

注：NODENAME值为各主机名，IP值为各主机外连网口IP

分发calico-node文件到各node节点

scp /usr/lib/systemd/system/calico-node.service [email protected]:/usr/lib/systemd/system/
 

  1. # systemctl daemon-reload

  2. # systemctl enable calico-node

  3. # systemctl start calico-node

  4. # systemctl status calico-node  

5）在各主机以Docker方式启动calico-node

k8s-master:

calicoctl node run --node-image=quay.io/calico/node:v3.1.3 --ip=192.168.168.2

work-node01/node02:

calicoctl node run --node-image=quay.io/calico/node:v3.1.3 --ip=192.168.168.3
calicoctl node run --node-image=quay.io/calico/node:v3.1.3 --ip=192.168.168.4

查看calico-node启动情况

 

  1. # docker ps

  2. CONTAINER ID   IMAGE           COMMAND     CREATED       STATUS      PORTS      NAMES

  3. a1981d2dae6d   quay.io/calico/node:v3.1.3  "start_runit" 17 seconds ago   Up 17 seconds           calico-node

6）查看calico node信息

 

  1. # # calicoctl get node -o wide

  2. NAME         ASN         IPV4               IPV6   

  3. k8s-master   (unknown)   192.168.168.2/32          

  4. work-node01   65412      192.168.168.3/24          

  5. wrok-node02   65412      192.168.168.4/24          

7）查看peer信息

 

  1. # calicoctl node status

  2. Calico process is running.

  3.  

  4. IPv4 BGP status

  5. +---------------+-------------------+-------+----------+-------------+

  6. | PEER ADDRESS  |     PEER TYPE     | STATE |  SINCE   |    INFO     |

  7. +---------------+-------------------+-------+----------+-------------+

  8. | 192.168.168.2 | node-to-node mesh | up    | 07:41:40 | Established |

  9. | 192.168.168.3 | node-to-node mesh | up    | 07:41:43 | Established |

  10. +---------------+-------------------+-------+----------+-------------+

  11.  

  12. IPv6 BGP status

  13. No IPv6 peers found.

6.部署kubernetes Dashboard(在master执行)

1）创建dasnbord之前需要创建角色

 

  1. # vi /opt/kubernetes/yaml/dashboard-rbac.yaml

  2. apiVersion: v1

  3. kind: ServiceAccount

  4. metadata:

  5. labels:

  6. k8s-app: kubernetes-dashboard

  7. addonmanager.kubernetes.io/mode: Reconcile

  8. name: kubernetes-dashboard

  9. namespace: kube-system

  10. ---

  11.  

  12. kind: ClusterRoleBinding

  13. apiVersion: rbac.authorization.k8s.io/v1beta1

  14. metadata:

  15. name: kubernetes-dashboard-minimal

  16. namespace: kube-system

  17. labels:

  18. k8s-app: kubernetes-dashboard

  19. addonmanager.kubernetes.io/mode: Reconcile

  20. roleRef:

  21. apiGroup: rbac.authorization.k8s.io

  22. kind: ClusterRole

  23. name: cluster-admin

  24. subjects:

  25. - kind: ServiceAccount

  26. name: kubernetes-dashboard

  27. namespace: kube-system

kubectl create -f /opt/kubernetes/yaml/dashboard-rbac.yaml

2）为dashboard创建控制器

 

  1. # cat dashboard-deployment.yaml

  2. apiVersion: apps/v1beta2

  3. kind: Deployment

  4. metadata:

  5. name: kubernetes-dashboard

  6. namespace: kube-system

  7. labels:

  8. k8s-app: kubernetes-dashboard

  9. kubernetes.io/cluster-service: "true"

  10. addonmanager.kubernetes.io/mode: Reconcile

  11. spec:

  12. selector:

  13. matchLabels:

  14. k8s-app: kubernetes-dashboard

  15. template:

  16. metadata:

  17. labels:

  18. k8s-app: kubernetes-dashboard

  19. annotations:

  20. scheduler.alpha.kubernetes.io/critical-pod: ''

  21. spec:

  22. serviceAccountName: kubernetes-dashboard

  23. containers:

  24. - name: kubernetes-dashboard

  25. image: registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64:v1.8.3

  26. resources:

  27. limits:

  28. cpu: 100m

  29. memory: 300Mi

  30. requests:

  31. cpu: 100m

  32. memory: 100Mi

  33. ports:

  34. - containerPort: 9090

  35. protocol: TCP

  36. livenessProbe:

  37. httpGet:

  38. scheme: HTTP

  39. path: /

  40. port: 9090

  41. initialDelaySeconds: 30

  42. timeoutSeconds: 30

  43. tolerations:

  44. - key: "CriticalAddonsOnly"

  45. operator: "Exists"

kubectl create -f /opt/kubernetes/yaml/dashboard-deployment.yaml

3）创建service用于暴露服务，用于暴露服务

 

  1. # vi /opt/kubernetes/yaml/dashboard-service.yaml

  2. apiVersion: v1

  3. kind: Service

  4. metadata:

  5. name: kubernetes-dashboard

  6. namespace: kube-system

  7. labels:

  8. k8s-app: kubernetes-dashboard

  9. kubernetes.io/cluster-service: "true"

  10. addonmanager.kubernetes.io/mode: Reconcile

  11. spec:

  12. type: NodePort

  13. selector:

  14. k8s-app: kubernetes-dashboard

  15. ports:

  16. - port: 80

  17. targetPort: 9090

kubectl create -f /opt/kubernetes/yaml/dashboard-service.yaml

4）查看状态

查看service状态:

 

  1. # kubectl get svc -n kube-system

  2. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

  3. kubernetes-dashboard NodePort 10.1.193.97 80:31988/TCP 59m

注：PORT(S)值中31988为dashboard访问端口

查看pod状态:

 

  1. # kubectl get pods -n kube-system

  2. NAME READY STATUS RESTARTS AGE

  3. calico-kube-controllers-98989846-bgdkv 1/1 Running 2 1h

  4. calico-node-2x8m6 2/2 Running 6 1h

  5. calico-node-hrgg9 2/2 Running 5 1h

  6. kubernetes-dashboard-b9f5f9d87-stz4s 1/1 Running 1 1h

查看所有信息:

 

  1. # kubectl get all -n kube-system

  2. NAME READY STATUS RESTARTS AGE

  3. pod/calico-kube-controllers-98989846-bgdkv 1/1 Running 2 1h

  4. pod/calico-node-2x8m6 2/2 Running 6 1h

  5. pod/calico-node-hrgg9 2/2 Running 5 1h

  6. pod/kubernetes-dashboard-b9f5f9d87-stz4s 1/1 Running 1 1h

  7.  

  8. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

  9. service/kubernetes-dashboard NodePort 10.1.193.97 80:31988/TCP 1h

  10.  

  11. NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE

  12. daemonset.apps/calico-node 2 2 2 2 2 2h

  13.  

  14. NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE

  15. deployment.apps/calico-kube-controllers 1 1 1 1 2h

  16. deployment.apps/kubernetes-dashboard 1 1 1 1 1h

  17.  

  18. NAME DESIRED CURRENT READY AGE

  19. replicaset.apps/calico-kube-controllers-98989846 1 1 1 1h

  20. replicaset.apps/kubernetes-dashboard-b9f5f9d87 1 1 1 1h

5）使用node节点IP访问dashboard(http://192.168.168.3:31988)
测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端_第3张图片

你可能感兴趣的:(测试改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端改名称看移动端)

  • C#中使用 Prism 框架 0仰望星空007 C#基础c#开发语言.netPrismwpf
    C#中使用Prism框架前言一、安装Prism框架二、模块化开发三、依赖注入四、导航五、事件聚合六、状态管理七、测试前言Prism框架是一个用于构建可维护、灵活和可扩展的XAML应用程序的框架。它提供了一套工具和库，帮助开发者实现诸如依赖注入、模块化、导航、事件聚合等功能。使用Prism可以帮助我们构建具有良好结构的应用程序，并且使得代码更易于理解和维护。一、安装Prism框架在VisualStu
  • Leetcode No.46 全排列（DFS） AI算法攻城狮 #DFS深度优先遍历leetcode算法
    一、题目介绍给定一个没有重复数字的序列，返回其所有可能的全排列。示例:输入:[1,2,3]输出:[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]]二、解题思路这个问题可以看作有n个排列成一行的空格，我们需要从左往右依此填入题目给定的n个数，每个数只能使用一次。那么很直接的可以想到一种穷举的算法，即从左往右每一个位置都依此尝试填入一个数，看能不能填完这
  • 转：javascript获取上一访问页面 dianai7709 javascript移动开发ViewUI
    原文链接：移动端返回上一页，刚需！document.referrer详解全文如下：返回上一页，在PC端我们可以使用：history.go(-1)或者history.back()，可以正常返回第一层。这样，我们不需要上一页的url具体是什么，只要使用history一般都没啥问题。但是在移动端，如果想要返回上一页。比如从A页面跳到B页面，如果B页面想返回A页面，为了防止不会跳错，必须要有一个返回那如果
  • Jenkins介绍 chenbin520 jenkins运维
    什么是JenkinsJenkins是一个开源的自动化服务器，主要用于持续集成和持续交付（CI/CD）。它帮助开发团队自动化构建、测试和部署软件，从而提高开发效率和软件质量。如果一个系统是前后端分离的开发模式，在集成阶段会需要经常执行部署动作。从拉取代码、编译、部署，少则几分钟多则按小时计算。所以很多开发人员只想推送代码，不想发布部署。Jenkins就能很好的解决这个问题。Jenkins可以与Git
  • linux终端文件管理命令‌ kevinfkq linux运维服务器
    ls：列出目录内容。cd：切换当前工作目录。pwd：显示当前工作目录的绝对路径。mkdir：创建新目录。rmdir：删除空目录。cp：复制文件或目录。rm：删除文件或目录。mv：移动文件与目录，或修改名称。‌chmod+x文件名：指定某个文件赋予权限。chmod-R777:所有文件给权限
  • WCF服务测试实践：wcftest项目分析 时光派
    本文还有配套的精品资源，点击获取简介：wcftest是一个与C#相关的项目，用于测试WindowsCommunicationFoundation（WCF）服务。WCF是微软提供的一种框架，支持构建、配置和服务间通信。本项目涵盖服务实现、配置文件、客户端代理、测试代码、解决方案文件、项目文件、示例客户端和项目文档资源。学习该项目需要掌握WCF和.NETFramework基础知识。1.WCF基础与应用
  • WPS Excel 日期控件下载 曹筱习Dwayne
    WPSExcel日期控件下载项目地址:https://gitcode.com/open-source-toolkit/8b1f0简介本仓库提供了一个用于WPS中Excel的日期控件资源文件下载。该日期控件可以帮助用户在WPSExcel中更方便地选择和输入日期，提高工作效率。资源文件描述文件名称:wps中excel日期控件下载文件类型:资源文件适用软件:WPSOffice功能描述:该资源文件包含了一
  • 06 Django-orm-多表操作 lzplum619 DjangoLinux相关djangopython
    一创建模型实例：我们来假定下面这些概念，字段和关系作者模型：一个作者有姓名和年龄。作者详细模型：把作者的详情放到详情表，包含生日，手机号，家庭住址等信息。作者详情模型和作者模型之间是一对一的关系（one-to-one）出版商模型：出版商有名称，所在城市以及email。书籍模型：书籍有书名和出版日期，一本书可能会有多个作者，一个作者也可以写多本书，所以作者和书籍的关系就是多对多的关联关系(many-
  • 如何编写有效的管理系统测试文档模板？ 项目管理
    管理系统测试文档模板是确保软件质量和项目成功的关键工具。一个优秀的测试文档模板不仅能提高测试效率，还能促进团队协作，减少错误和疏漏。本文将深入探讨如何编写有效的管理系统测试文档模板，为研发项目管理从业者提供实用的指导和建议。测试文档模板的重要性在管理系统开发过程中，测试文档模板扮演着至关重要的角色。它不仅是测试过程的指南，更是项目质量的保证。一个设计良好的模板能够：1.标准化测试流程：通过统一的格
  • conda安装qgis，实现智能编图（亲测） LEILEI18A PythonGIS-WebGIScondaqgispyqtpyqgis
    conda安装qgis（亲测没问题，目前测试win10+，linux其实也是可以的）目录0.注意1.前提2.准备条件3.实战4.相关开发资料5.扩展0.注意qgis是开源的基于QT5，pyqgis基于pyqt5，QT5可以免费商用（只要不重新编译修改源码），pyqt5商用需要花钱，只能开源！“仁者见仁智者见智了”。1.前提意外发现conda可以安装qgis，即使不是完全版，但是矢量空间分析都可以用
  • python自动化框架pytest_全功能Python测试框架：pytest weixin_39637646
    python通用测试框架大多数人用的是unittest+HTMLTestRunner，这段时间看到了pytest文档，发现这个框架和丰富的plugins很好用，所以来学习下pytest.image.pngpytest是一个非常成熟的全功能的Python测试框架，主要有以下几个特点：简单灵活，容易上手支持参数化能够支持简单的单元测试和复杂的功能测试，还可以用来做selenium/appnium等自动
  • print不起作用 pytest_全功能Python测试框架：pytest 吕欲知 print不起作用pytest
    python通用测试框架大多数人用的是unittest+HTMLTestRunner，这段时间看到了pytest文档，发现这个框架和丰富的plugins很好用，所以来学习下pytest.pytest是一个非常成熟的全功能的Python测试框架，主要有以下几个特点：简单灵活，容易上手支持参数化能够支持简单的单元测试和复杂的功能测试，还可以用来做selenium/appnium等自动化测试、接口自动化
  • Apache JMeter 快速入门【图文详情】 甘蓝聊Java 【更新中...】项目中的那些事apachejmeterjava性能测试压力测试
    文章目录ApacheJMeter简介安装ApacheJMeter入门Demo-测试HTTP接口第1步：创建线程组，模拟并发用户第2步：添加HTTPRequest采样器提供HTTP接口创建HTTPRequest采样器创建JSON断言第3步：添加Listener第4步：运行第5步：查看运行结果更多介绍参考本文目标：快速了解ApacheJMeter，并实现一个简单的HTTP接口的性能测试。官网：http
  • 【ISO 14229-1:2023 UDS诊断全量测试用例清单系列：第五节】 车端域控测试工程师 ISO14229-1:2023UDS诊断测试用例全解析测试用例网络学习汽车经验分享学习方法
    ISO14229-1:2023UDS诊断服务测试用例全解析（WriteDataByIdentifier0x2E服务）作者：车端域控测试工程师更新日期：2025-02-13关键词：UDS协议、0x2E服务、DID写入、ISO14229-1:2023、ECU测试一、服务功能概述0x2E服务（WriteDataByIdentifier）用于通过数据标识符（DID）向ECU写入数据记录值，该服务需要安全访
  • 软件工程：构建数字世界的基石 JKER97 软件工程后端前端
    目录前言一、软件工程的定义与目标二、软件工程的核心要素1.需求分析：2.设计：3.实现：4.测试：5.维护：三、软件工程面临的挑战及其应对策略1.需求变更：2.技术迭代迅速3.安全性问题四、未来趋势五，实例总结前言在这个数字化时代，软件无处不在，从手机上的各种应用到企业级的复杂系统，它们构成了现代社会运行的神经系统。而这一切的背后，是软件工程这门学科在发挥着至关重要的作用。本文将带您探索软件工程的
  • Python测试框架：pytest 入门 互联网杂货铺 职场和发展python自动化测试测试工具软件测试pytest测试用例
    点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快pytest是一个功能强大而易于使用的Python测试框架。它提供了简单的语法和灵活的功能，用于编写和组织测试代码。1、简单易用：pytest的语法简洁明了，使得编写测试用例更加直观和易于理解。它使用assert语句来验证预期结果，让测试代码更加简洁易读。2、自动发现测试：pytest能够自动发现并执行测试文件和测试函数。它遵循命名规则（
  • 2025年最新软件测试面试题【附文档答案】 字节程序员 软件测试软件测试
    【纯干货！！！】花费了整整3天，整理出来的全网最实用软件测试面试大全，一共30道题目+答案的纯干货，希望大家多多支持，建议点赞！！收藏！！长文警告，全文共12000+字，涵盖软件测试面试可能遇到的所有问题，希望对大家有帮助，不过大家最好不要硬背，实战大于理论。祝大家面试顺利！1、问：你在测试中发现了一个bug，但是开发经理认为这不是一个bug，你应该怎样解决？首先，将问题提交到缺陷管理库里面进行备
  • 相位相干切换超低相噪多通道信号源解决方案 射频微波精密 jupyteremacsgithub
    仿真和测试诸如相控阵或波束成形天线之类的多天线系统，需要测试系统能够提供多路具有确定性频率和幅度的信号，并且这些信号之间具有稳定的、用户可调的相位关系。AnaPico的APMS多通道信号发生器为这些应用提供了精心设计的解决方案，封装紧凑，具有独特的相位相干信号功能。APMS40G-ULN-PHS是一款紧凑的四通道40GHz信号发生器，可以经济高效地满足多种新测试应用的苛刻要求。术语在谈论信号和相位
  • 应对高速芯片从相位噪声到时间抖动的挑战 射频微波精密 单片机stm32嵌入式硬件
    当今数字芯片的接口时钟、采样时钟等速度越来越快，因此对时钟或晶体振荡器的抖动要求越来越严格。因为比如采样时钟的抖动就可能会给高性能ADC的信噪比性能带来灾难性影响。虽然信噪比与抖动之间的关系已为大家所熟知，但大多数振荡器（时钟来源于振荡器）都是用相位噪声来描述特性的。本文介绍了如何利用AnaPico的APPH系列相位噪声分析仪将相位噪声转换为抖动的测试方案，以便轻松计算信噪比的下降幅度等影响。抖动
  • 柑橘叶子病害检测数据集VOC+YOLO格900张3类别 FL1623863129 数据集YOLO深度学习机器学习
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：900标注数量(xml文件个数)：900标注数量(txt文件个数)：900标注类别数：3标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["canker","kar
  • Spring Boot（8）深入理解 @Autowired 注解：使用场景与实战示例 綦枫Maple #SpringBootspringbootlog4j后端
    搞个引言在Spring框架的开发中，依赖注入（DependencyInjection，简称DI）是它的一个核心特性，它能够让代码更加模块化、可测试，并且易于维护。而@Autowired注解作为Spring实现依赖注入的关键工具，给咱们开发者提供了极大的便利。本文将通过具体的示例详细介绍@Autowired注解的多种使用场景，帮助你更好地掌握这一重要注解~一、构造函数注入1.1基本原理当一个类依赖于
  • uniapp开发小程序实现-获取手机号码（二） 故里2130 包教会专栏uni-app小程序微信
    一共3篇文章，共同描述，看序号进行寻找。真机效果图1.前提获取手机号码，一定要企业账号，不是企业账号会出现下面提示所以没有企业账号的，就可以不用看了，申请企业账号去官网申请就行了，申请成功了后，我们接着看。2.代码代码参考文章获取手机号|微信开放文档<
  • 从0开始的操作系统手搓教程 4：做好准备，跳到加载器（Loader） charlie114514191 从0开始的操作系统教程学习汇编操作系统手搓教程bochs调试MBR
    目录为什么要加载Loader，Loader是干什么的？上菜！NASM的预处理语句%include包含其他文件%define定义一个常量%macro来定义一个代码宏进一步说明常见的NASM的常见的语法和指令进一步理解我们的实模式关于NASM中对于-I指令的使用办法关于bochs的高级调试手段步入正轨：对硬盘进行系统编程系统编程中对硬盘编程的办法对硬盘进行编程最后一瞥添加一个Loader.S作为测试修
  • （萌新入门）如何从起步阶段开始学习STM32 ——2 我应该学习HAL库还是寄存器库？ charlie114514191 粉丝请求STM32学习笔记单片机嵌入式STM32HAL库寄存器
    概念笔者下面需要介绍的是库寄存器和HAL库两个重要的概念，在各位看完之后，需要决定自己的学习路线到底是学习HAL呢？还是寄存器呢？还是两者都学习呢？库寄存器库寄存器就是简单的封装了我们对寄存器的操作，至少，不用咔咔访问结构体去嗯改里面的数据，否则开发效率会低到发指。库寄存器的特征如下：低层级：直接操作硬件寄存器，代码与硬件紧密相关。高效：由于直接操作寄存器，代码执行效率高，资源占用少。灵活性：我们
  • 简析 .NET Core 构成体系 weixin_30613727 操作系统c#runtime
    简析.NETCore构成体系出处：http://www.cnblogs.com/vipyoumay/p/5613373.htmlhttps://github.com/PrismLibrary/Prism是一个用于在WPF，Windows10UWP和XamarinForms中构建松散耦合，可维护和可测试的XAML应用程序的框架。https://docs.microsoft.com/en-us/pre
  • DeepSeek 如何获取数据库中的表信息（表名和字段名称） Python测试之道 数据库python
    问题背景在测试或开发过程中，了解数据库的表结构（包括表名和字段名称）是非常重要的一环，尤其是当我们需要测试数据库相关的功能或验证数据时。然而，手动查看数据库结构可能耗时且容易出错。如果能够通过DeepSeek与数据库直接交互，自动获取表名和字段信息，将大大提升测试效率。本文将介绍如何利用DeepSeek模型结合数据库查询，自动生成表结构信息（包括表名和字段名称）。此外，还会展示如何通过自然语言描述
  • 【MySQL】 常见数据类型 web13688565871 面试学习路线阿里巴巴mysql数据库
    MySQL常见数据类型1.整数类型2.浮点数类型3.定点数类型4.bit类型5.字符串类型5.1char和varchar类型5.2日期类型和时间类型5.3enum和set类型1.整数类型整数类型默认都是有符号整数类型名称字节数类型说明tinyint1带符号的范围-128127，无符号范围0255smallint2带符号的范围-2^15~2^15-1，无符号2^16-1mediumint3带符号的范
  • 性能测试的类型有哪些？ Feng.Lee 漫谈测试测试工具性能优化
    目录1.基准测试2.负载测试3.压力测试4.峰值测试5.并发测试6.容积测试7.稳定性测试8.可扩展性测试9.配置测试性能测试是为测量或评估被测软件系统与性能效率相关的特性而实施的一类测试，它关注被测系统在不同负载下的各种性能效率。软件系统的性能效率相关特性的覆盖面非常广泛，包括系统的执行效率、资源占用、系统容量等。性能测试是一个广泛的领域，它包括多种类型的测试，每种类型都有其特定的目标和应用场景
  • 建筑物损坏程度分割数据集labelme格式2816张5类别 FL1623863129 数据集深度学习
    数据集格式：labelme格式(不包含mask文件，仅仅包含jpg图片和对应的json文件)图片数量(jpg文件个数)：2816标注数量(json文件个数)：2816标注类别数：5标注类别名称:["minor-damage","destroyed","un-classified","major-damage","no-damage"]每个类别标注的框数：minor-damagecount=1371
  • 【bug】spacedesk Display Driver has expired!Please download the most recent driver version on https Java手札 Java后端bug
    #扩展屏软件出问题#场景：出现扩展屏黑屏解决：重新下载软件，清除设置，重启设备软件：https://allall02.baidupcs.com/file/9其他问题：在主控电脑安装的是控制台在扩展屏安装的是可视屏软件需要设置主屏幕和副屏幕：这个排列代表的是鼠标的移动方向，可以自定义更改。如果副屏幕的分辨率不够也需要更改。看自己使用的是啥。
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他