发飙的蜗牛_

Kubernetes二进制搭建集群（保姆级）

Kubernetes二进制搭建集群（保姆级教程）

1.1 环境准备
- 版本说明
- 签名工具：
- 虚拟机/服务器配置
1.2 系统初始化（所有节点均需操作）
- 1.2.1 主机名解析
- 1.2.2 时间同步（所有节点均需操作）
- 1.2.3 禁用iptable和firewalld服务（所有节点均需操作）
- 1.2.4 禁用selinux（所有节点均需操作）
- 1.2.5 禁用swap分区（所有节点均需操作）
永久关闭
- 1.2.6 将桥接的 IPv4流量传递到 iptables的链上（所有节点均需操作）
1.3 部署二进制包
- 1.3.1 安装docker
- - 1.3.1.1 下载二进制包
  - 1.3.1.2 systemd管理docker
  - 1.3.1.3 创建配置文件，配置镜像加速
  - 1.3.1.4 启动docker并设置开机启动
- 1.3.2 部署etcd集群
- - 1.3.2.1 下载cfssl
  - 1.3.2.2 创建自签证书颁发机构（CA）的配置文件
- 创建ca-config配置文件
- - 1.3.2.3 生成证书
  - 1.3.2.4 自签CA签发etcd HTTPS证书
  - 1.3.2.5 下载ETCD二进制包
  - 1.3.2.6 创建etcd 配置文件
  - 1.3.2.7 systemd 管理etcd
  - 1.3.2.8 将配置文件、证书和etcd.service文件复制到其他节点
  - 1.3.2.9 修改其他节点的etcd配置
  - 1.3.2.10 三台节点启动etcd集群
- 1.3.3 部署Master Node
- - 1.3.3.1 部署kube-apiserver
  - - 1.3.3.1.1 生成kube-apiserver证书
    - 1.3.3.1.2 下载kubernetes-server二进制包
    - 1.3.3.1.3 生成kube-apiserver的token文件
    - 1.3.3.1.4 创建配置文件
    - 1.3.3.1.5 拷贝生成的k8s证书
    - 1.3.3.1.6 system管理apiserver
    - 1.3.3.1.7 启动 kube-apiserver并设置开机启动
  - 1.3.3.2 部署kube-controller-manager
  - - 1.3.3.2.1 创建证书申请文件
    - 1.3.3.2.2 生成证书
    - 1.3.3.2.3 生成kube-controller-manager.kubeconfig配置文件
    - 1.3.3.2.4 创建配置文件
    - 1.3.3.2.5 systemd 管理controller-manager
    - 1.3.3.2.6 启动kube-controller-manager并设置开机启动
  - 1.3.3.3 部署kube-scheduler
  - - 1.3.3.3.1 创建证书申请文件
    - 1.3.3.3.2 生成证书
    - 1.3.3.3.3 生成kube-scheduler.kubeconfig配置文件
    - 1.3.3.3.4 创建配置文件
    - 1.3.3.3.5 systemd 管理scheduler
    - 1.3.3.3.6 启动kube-scheduler并设置开机启动
  - 1.3.3.4 查看集群状态
  - - 1.3.3.4.1 生成kubectl连接集群的证书
    - 1.3.3.4.2 生成证书
    - 1.3.3.4.3 生成kubectl连接集群的配置文件
    - 1.3.3.4.4 查看集群组件状态
    - 1.3.3.4.5 授权kubelet-bootstrap用户允许请求证书
- 1.3.4 部署Worker Node
- - 1.3.4.1 创建工作目录并拷贝二进制文件
  - 1.3.4.2 部署kubelet
  - - 1.3.4.2.1 创建配置文件
    - 1.3.4.2.2 配置参数文件
    - 1.3.4.2.3 生成kubelet初次加入集群引导kubeconfig文件
    - 1.3.4.2.4 systemctl管理kubelet
    - 1.3.4.2.5 启动kubelet并设置开机启动
  - 1.3.4.3 批准 kubelet 证书申请
  - 1.3.4.4 部署kube-proxy
  - - 1.3.4.4.1 创建证书申请文件
    - 1.3.4.4.2 生成证书
    - 1.3.4.4.3 创建配置文件
    - 1.3.4.4.4 创建参数文件
    - 1.3.4.4.4 生成kube-proxy.kubeconfig配置文件
    - 1.3.4.4.6 启动kube-proxy并设置开机启动
  - 1.3.4.5 部署网络组件（在master节点部署）
  - - 1.3.4.5.1 Calico
    - 1.3.4.5.2 查看组件状态
  - 1.3.4.6 授权apiserver访问kubelet（master节点操作）
- 1.3.5 新增Worker Node
- - 1.3.5.1-1 拷贝已部署好的Node相关文件到新节点
  - 1.3.5.2-1 删除kubelet证书和kubeconfig文件
  - 1.3.5.3-1 修改主机名
  - 1.3.5.4-1 启动kubelet、kube-proxy并设置开机启动
  - 1.3.5.5-1 在Master上批准新Node kubelet证书申请
  - 1.3.5.6-1 查看Node状态
  - 1.3.5.2-2 删除kubelet证书和kubeconfig文件
  - 1.3.5.3-2 修改主机名
  - 1.3.5.4-2 启动kubelet、kube-proxy并设置开机启动
  - 1.3.5.5-2 在Master上批准新Node kubelet证书申请
  - 1.3.5.6-2 查看Node状态
  - 1.3.5.7 测试kubernetes集群
- 1.3.6 部署dashboard可视化模块
- - 1.3.6.1 服务部署
  - 1.3.6.2 访问测试
  - 1.3.6.3 创建ServiceAccount进行登录
- 文献：https://www.cnblogs.com/jiangshusheng/p/15853195.html

1.1 环境准备

版本说明

Linux：CentOS Linux release 7.6.1810 (Core)
Container runtimes : docker-20.10.9
Etcd : v3.5.1
Kubernetes : v1.23.1

签名工具：

cfssl
cfssljson
cfssl-certinfo

虚拟机/服务器配置

CPU：2核
内存：2G
硬盘:：20G
必须要有网络

服务器必要安装
yum install vim
yum install wget
yum install net-tools

虚拟机初始化
1.vi /etc/sysconfig/network-scripts/ifcfg-ens33

2.重启网络
service network restart

3.ping测试
ping www.baidu.com

1.2 系统初始化（所有节点均需操作）

1.2.1 主机名解析

##修改主机名
[root@master ~]# hostnamectl set-hostname master #master节点
[root@node1 ~]# hostnamectl set-hostname node1 #node1节点
[root@node2 ~]# hostnamectl set-hostname node2 #node2节点

##三台服务器的地址和主机名添加到三个节点的/etc/hosts文件中
##master节点执行##
[root@master ~]# cat >> /etc/hosts << EOF
192.168.10.210 master
192.168.10.211 node1
192.168.10.212 node2
EOF

##node1节点执行##
[root@node1 ~]# cat >> /etc/hosts << EOF
192.168.10.210 master
192.168.10.211 node1
192.168.10.212 node2
EOF

##node2节点执行##
[root@node2 ~]# cat >> /etc/hosts << EOF
192.168.10.210 master
192.168.10.211 node1
192.168.10.212 node2
EOF

1.2.2 时间同步（所有节点均需操作）

##kubernetes要求集群中的节点时间必须精确一直，这里使用chronyd服务从网络同步时间
##启动chronyd服务，设置开机启动
##master节点执行##
[root@master ~]# systemctl start chronyd && systemctl enable chronyd

##node1节点执行##
[root@node1 ~]# systemctl start chronyd && systemctl enable chronyd

##node2节点执行##
[root@node2 ~]# systemctl start chronyd && systemctl enable chronyd

##核验时间，查看三个节点时间是否同步
##master节点执行##
[root@master ~]# date

##node1节点执行##
[root@node1 ~]# date

##node2节点执行##
[root@node2 ~]# date

1.2.3 禁用iptable和firewalld服务（所有节点均需操作）

##kubernetes和docker 在运行的中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则
##关闭firewalld服务
##master节点执行##
[root@master ~]# systemctl stop firewalld && systemctl disable firewalld

##node1节点执行##
[root@node1 ~]# systemctl stop firewalld && systemctl disable firewalld

##node2节点执行##
[root@node2 ~]# systemctl stop firewalld && systemctl disable firewalld

##关闭iptables服务
##master节点执行##
[root@master ~]# systemctl stop iptables && systemctl disable iptables

##node1节点执行##
[root@node1 ~]# systemctl stop iptables && systemctl disable iptables

##node2节点执行##
[root@node2 ~]# systemctl stop iptables && systemctl disable iptables

1.2.4 禁用selinux（所有节点均需操作）

##selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题
##永久关闭
##master节点执行##
[root@master ~]# sed -i ‘s/enforcing/disabled/’ /etc/selinux/config

##node1节点执行##
[root@node1 ~]# sed -i ‘s/enforcing/disabled/’ /etc/selinux/config

##node2节点执行##
[root@node2 ~]# sed -i ‘s/enforcing/disabled/’ /etc/selinux/config

##临时关闭
##master节点执行##
[root@master ~]# setenforce 0

##node1节点执行##
[root@node1 ~]# setenforce 0

##node2节点执行##
[root@node2 ~]# setenforce 0

1.2.5 禁用swap分区（所有节点均需操作）

##swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

永久关闭

##master节点执行##
[root@master ~]# vim /etc/fstab

##node1节点执行##
[root@node1 ~]# vim /etc/fstab

##node2节点执行##
[root@node2 ~]# vim /etc/fstab
##临时关闭
##master节点执行##
[root@master ~]# swapoff -a

##node1节点执行##
[root@node1 ~]# swapoff -a

##node2节点执行##
[root@node2 ~]# swapoff -a

1.2.6 将桥接的 IPv4流量传递到 iptables的链上（所有节点均需操作）

##加载网桥过滤模块
##master节点执行##
[root@master ~]# cat < br_netfilter
EOF

##node1节点执行##
[root@node1 ~]# cat < br_netfilter
EOF

##node2节点执行##
[root@node2 ~]# cat < br_netfilter
EOF

##修改内核参数
##node1节点执行##
[root@master ~]# cat < net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

##node1节点执行##
[root@node1 ~]# cat < net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

##node2节点执行##
[root@node2 ~]# cat < net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

##配置生效
##master节点执行##
[root@master ~]# sysctl --system

##node1节点执行##
[root@node1 ~]# sysctl --system

##node2节点执行##
[root@node2 ~]# sysctl --system

1.3 部署二进制包

1.3.1 安装docker

1.3.1.1 下载二进制包

操作对象：所有节点
##master节点执行操作##
##在master主机创建目录存放二进制软件包
[root@master ~]# mkdir -p /usr/local/k8s
[root@master ~]# cd /usr/local/k8s

##下载docker包
[root@master ~]# wget https://download.docker.com/linux/static/stable/x86_64/docker-20.10.9.tgz
##如果不想执行wget获取安装包，可以直接用下方提供的安装包
百度网盘链接：https://pan.baidu.com/s/1N2cxoDuGPw6zYr35TYxQ8w
提取码：vgcc

##解压
[root@master ~]# tar zxvf docker-20.10.9.tgz

##复制到本地运行目录
[root@master ~]# mv docker/* /usr/bin

1.3.1.2 systemd管理docker

###创建docker.service脚本
[root@master ~]# cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target
EOF

1.3.1.3 创建配置文件，配置镜像加速

#在所有节点主机创建docker配置文件默认的目录
[root@master ~]# mkdir /etc/docker

[root@master ~]# cat > /etc/docker/daemon.json<< EOF
{
“registry-mirrors”: [“https://b9pmyelo.mirror.aliyuncs.com”],
“exec-opts”: [“native.cgroupdriver=systemd”],
“log-driver”: “json-file”,
“log-opts”: {
“max-size”: “100m”
},
“storage-driver”: “overlay2”
}
EOF

1.3.1.4 启动docker并设置开机启动

[root@master ~]# systemctl daemon-reload && systemctl start docker && systemctl enable docker

#查看docker启动状态
[root@master ~]# systemctl status docker

在master节点中将docker配置文件复制到其他节点
##复制到node1节点
[root@master ~]# scp -r /usr/bin/{containerd,containerd-shim,containerd-shim-runc-v2,ctr,docker,dockerd,docker-init,docker-proxy,runc} root@node1:/usr/bin/
[root@master ~]# scp /usr/lib/systemd/system/docker.service root@node1:/usr/lib/systemd/system/
[root@master ~]# scp -r /etc/docker/ root@node1:/etc/

##复制到node2节点
[root@master ~]# scp -r /usr/bin/{containerd,containerd-shim,containerd-shim-runc-v2,ctr,docker,dockerd,docker-init,docker-proxy,runc} root@node2:/usr/bin/
[root@master ~]# scp /usr/lib/systemd/system/docker.service root@node2:/usr/lib/systemd/system/
[root@master ~]# scp -r /etc/docker/ root@node2:/etc/

##node1节点执行操作##
[root@node1~]# cd /etc/docker

##删除从master节点拷贝过来的key.json文件，启动docker会自动生成
[root@node1~]# rm key.json

##加载配置文件、启动docker、设置开机自启
[root@node1~]# systemctl daemon-reload && systemctl start docker && systemctl enable docker

##node2节点执行操作##
[root@node2~]# cd /etc/docker

##删除从master节点拷贝过来的key.json文件，启动docker会自动生成
[root@node2~]# rm key.json

##加载配置文件、启动docker、设置开机自启
[root@node2~]# systemctl daemon-reload && systemctl start docker && systemctl enable docker

1.3.2 部署etcd集群

1.3.2.1 下载cfssl

操作对象：master节点
##master节点执行操作##
[root@master ~]# cd /usr/local/k8s

##（1）创建下载配置文件
[root@master ~]# cat > cfssl << EOF
https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
EOF

##（2）下载
[root@master ~]# wget -i cfssl

##（3）赋予可执行的权限
[root@master ~]# chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64

##（4）移动cfssl文件
[root@master ~]# mv cfssl_linux-amd64 /usr/local/bin/cfssl
[root@master ~]# mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
[root@master ~]# mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

##如果不想执行（1）~（4）操作步骤，可将如下三个文件直接放入到usr/local/bin当中
链接：https://pan.baidu.com/s/1-PNvV4-4DI8cQWEIs7MFVw
提取码：i7qo

1.3.2.2 创建自签证书颁发机构（CA）的配置文件

##创建证书生成的工作目录（后面相关证书的生成都在此目录下操作）
[root@master ~]# mkdir -p ~/TLS/{etcd,k8s}
[root@master ~]# cd ~/TLS/etcd

创建ca-config配置文件

[root@master ~]# cat > ca-config.json << EOF
{
“signing”: {
“default”: {
“expiry”: “87600h”
},
“profiles”: {
“www”: {
“expiry”: “87600h”,
“usages”: [
“signing”,
“key encipherment”,
“server auth”,
“client auth”
]
}
}
}
}
EOF

##创建ca-csr配置文件
[root@master ~]# cat > ca-csr.json << EOF
{
“CN”: “etcd CA”,
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “Beijing”,
“ST”: “Beijing”
}
]
}
EOF

1.3.2.3 生成证书

[root@master ~]# cfssl gencert -initca ca-csr.json | cfssljson -bare ca –

##会生成ca.pem和ca-key.pem文件
[root@master ~]# ls *pem

1.3.2.4 自签CA签发etcd HTTPS证书

##创建证书申请文件
[root@master ~]# cat > server-csr.json << EOF
{
“CN”: “etcd”,
“hosts”: [
“10.27.134.250”, # 修改为自己的ip地址
“10.27.134.251”, # 修改为自己的ip地址
“10.27.134.252” # 修改为自己的ip地址
],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”
}
]
}
EOF

##生成HTTPS证书
[root@master ~]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

##会生成server.pem和server-key.pem文件
[root@master ~]# ls server*pem

1.3.2.5 下载ETCD二进制包

##master节点操作
[root@master ~]# cd /usr/local/k8s
[root@master ~]# wget https://github.com/etcd-io/etcd/releases/download/v3.5.1/etcd-v3.5.1-linux-amd64.tar.gz
##不想wget从网上下载文件，可以直接用如下文件
链接：https://pan.baidu.com/s/1IWWjnoZhYyV4GXQIMJryEw
提取码：5sct

##创建etcd的工作目录
[root@master ~]# mkdir -p /opt/etcd/{bin,cfg,ssl}
##解压
[root@master ~]# tar zxvf etcd-v3.5.1-linux-amd64.tar.gz

##将二进制文件复制到工作目录
[root@master ~]# cp etcd-v3.5.1-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

1.3.2.6 创建etcd 配置文件

##根据实际情况修改节点地址
[root@master ~]# cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME=“etcd-1”
ETCD_DATA_DIR=“/var/lib/etcd/default.etcd”
ETCD_LISTEN_PEER_URLS=“https://192.168.10.210:2380”
ETCD_LISTEN_CLIENT_URLS=“https://192.168.10.210:2379”
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS=“https://192.168.10.210:2380”
ETCD_ADVERTISE_CLIENT_URLS=“https://192.168.10.210:2379”
ETCD_INITIAL_CLUSTER=“etcd-1=https://192.168.10.210:2380,etcd-2=https://192.168.10.211:2380,etcd-3=https://192.168.10.212:2380”
ETCD_INITIAL_CLUSTER_TOKEN=“etcd-cluster”
ETCD_INITIAL_CLUSTER_STATE=“new”
ETCD_ENABLE_V2=“true”
EOF

##解释：
ETCD_NAME：节点名称，集群中唯一
ETCD_DATA_DIR：数据目录
ETCD_LISTEN_PEER_URLS：集群通信监听地址
ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址
ETCD_INITIAL_ADVERTISE_PEERURLS：集群通告地址
ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址
ETCD_INITIAL_CLUSTER：集群节点地址
ETCD_INITIALCLUSTER_TOKEN：集群Token
ETCD_INITIALCLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群

1.3.2.7 systemd 管理etcd

##将之前生成的证书复制到etcd的工作目录
[root@master ~]# cp ~/TLS/etcd/capem ~/TLS/etcd/serverpem /opt/etcd/ssl

[root@master ~]# cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd
–cert-file=/opt/etcd/ssl/server.pem
–key-file=/opt/etcd/ssl/server-key.pem
–peer-cert-file=/opt/etcd/ssl/server.pem
–peer-key-file=/opt/etcd/ssl/server-key.pem
–trusted-ca-file=/opt/etcd/ssl/ca.pem
–peer-trusted-ca-file=/opt/etcd/ssl/ca.pem
–logger=zap
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

1.3.2.8 将配置文件、证书和etcd.service文件复制到其他节点

##复制到node1
[root@master ~]# scp -r /opt/etcd/ root@node1:/opt/
[root@master ~]# scp /usr/lib/systemd/system/etcd.service root@node1:/usr/lib/systemd/system/

##复制到node2
[root@master ~]# scp -r /opt/etcd/ root@node2:/opt/
[root@master ~]# scp /usr/lib/systemd/system/etcd.service root@node2:/usr/lib/systemd/system/

1.3.2.9 修改其他节点的etcd配置

##node1节点操作
##修改etcd.conf 配置文件中的节点名称和节点地址
[root@node1~]# vim /opt/etcd/cfg/etcd.conf

##node2节点操作
##修改etcd.conf 配置文件中的节点名称和节点地址
[root@node2 ~]# vim /opt/etcd/cfg/etcd.conf

1.3.2.10 三台节点启动etcd集群

##启动etcd服务并设置开机启动，若在node上启动失败，可以先启动master。
##master节点操作
[root@master~]# systemctl daemon-reload && systemctl start etcd && systemctl enable etcd

##node1节点操作
[root@node1~]# systemctl daemon-reload && systemctl start etcd && systemctl enable etcd

##node2节点操作
[root@node2~]# systemctl daemon-reload && systemctl start etcd && systemctl enable etcd

##检查集群状态
##master节点操作
##注意换成自己的IP地址
[root@master~]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints=“https://192.168.10.210:2379,https://192.168.10.211:2379,https://192.168.10.212:2379” endpoint health --write-out=table

1.3.3 部署Master Node

1.3.3.1 部署kube-apiserver

1.3.3.1.1 生成kube-apiserver证书

##master节点执行##

（1）创建自签证书颁发机构（CA）配置
[root@master~]# cd ~/TLS/k8s

##创建ca-config配置文件
[root@master~]# cat > ca-config.json << EOF
{
“signing”: {
“default”: {
“expiry”: “87600h”
},
“profiles”: {
“kubernetes”: {
“expiry”: “87600h”,
“usages”: [
“signing”,
“key encipherment”,
“server auth”,
“client auth”
]
}
}
}
}
EOF

##创建ca-csr配置文件
[root@master~]# cat > ca-csr.json << EOF
{
“CN”: “kubernetes”,
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “Beijing”,
“ST”: “Beijing”,
“O”: “k8s”,
“OU”: “System”
}
]
}
EOF

（2）生成证书
[root@master~]# cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

##会生成ca.pem和ca-key.pem文件
[root@master~]# ls *pem

（3）使用自签证书签发kube-apiserver HTTPS证书
##创建证书申请文件
[root@master~]# cat > server-csr.json << EOF
{
“CN”: “kubernetes”,
“hosts”: [
“10.0.0.1”,
“127.0.0.1”,
“192.168.10.210”, # master节点ip
“192.168.10.211”, # node1节点ip
“192.168.10.212”, # node2节点ip
“kubernetes”,
“kubernetes.default”,
“kubernetes.default.svc”,
“kubernetes.default.svc.cluster”,
“kubernetes.default.svc.cluster.local”
],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “k8s”,
“OU”: “System”
}
]
}
EOF

（4）生成https证书
[root@master~]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

##会生成server.pem和server-key.pem文件
[root@master~]# ls server*pem

1.3.3.1.2 下载kubernetes-server二进制包

[root@master~]# cd /usr/local/k8s/
##下载
[root@master~]# wget https://dl.k8s.io/v1.23.1/kubernetes-server-linux-amd64.tar.gz
##如果不想wget下载，可以直接用下方包
链接：https://pan.baidu.com/s/1E53P-3aCb4Q48yP-0MFK2Q
提取码：kh1l

##解压
[root@master~]# tar zxvf kubernetes-server-linux-amd64.tar.gz

##创建kubernetes工作目录
[root@master~]# mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

##从软件包内拷贝组件
[root@master~]# cd /usr/local/k8s/kubernetes/server/bin

[root@master~]# cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin

[root@master~]# cp kubectl /usr/bin/

1.3.3.1.3 生成kube-apiserver的token文件

[root@master~]# echo $(head -c 16 /dev/urandom | od -An -t x | tr -d ’ '),kubelet-bootstrap,10001,“system:kubelet-bootstrap” > /opt/kubernetes/cfg/token.csv

1.3.3.1.4 创建配置文件

[root@master~]# cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
KUBE_APISERVER_OPTS=“–logtostderr=false
–v=2
–log-dir=/opt/kubernetes/logs
–etcd-servers=https://192.168.10.210:2379,https://192.168.10.211:2379,https://192.168.10.212:2379
–bind-address=192.168.10.210
–secure-port=6443
–advertise-address=192.168.10.210
–allow-privileged=true
–service-cluster-ip-range=10.0.0.0/24
–enable-admission-plugins=NodeRestriction
–authorization-mode=RBAC,Node
–enable-bootstrap-token-auth=true
–token-auth-file=/opt/kubernetes/cfg/token.csv
–service-node-port-range=30000-32767
–kubelet-client-certificate=/opt/kubernetes/ssl/server.pem
–kubelet-client-key=/opt/kubernetes/ssl/server-key.pem
–tls-cert-file=/opt/kubernetes/ssl/server.pem
–tls-private-key-file=/opt/kubernetes/ssl/server-key.pem
–client-ca-file=/opt/kubernetes/ssl/ca.pem
–service-account-key-file=/opt/kubernetes/ssl/ca-key.pem
–service-account-issuer=api
–service-account-signing-key-file=/opt/kubernetes/ssl/ca-key.pem
–etcd-cafile=/opt/etcd/ssl/ca.pem
–etcd-certfile=/opt/etcd/ssl/server.pem
–etcd-keyfile=/opt/etcd/ssl/server-key.pem
–requestheader-client-ca-file=/opt/kubernetes/ssl/ca.pem
–proxy-client-cert-file=/opt/kubernetes/ssl/server.pem
–proxy-client-key-file=/opt/kubernetes/ssl/server-key.pem
–enable-aggregator-routing=true
–audit-log-maxage=30
–audit-log-maxbackup=3
–audit-log-maxsize=100
–audit-log-path=/opt/kubernetes/logs/k8s-audit.log”

##配置参数解释
–logtostderr：启用日志
––v：日志等级
–log-dir：日志目录
–etcd-servers：etcd 集群地址
–bind-address：监听地址
–secure-port：https 安全端口
–advertise-address：集群通告地址
–allow-privileged：启用授权
–service-cluster-ip-range：Service 虚拟IP 地址段
–enable-admission-plugins：准入控制模块
–authorization-mode：认证授权，启用RBAC 授权和节点自管理
–enable-bootstrap-token-auth：启用TLS bootstrap 机制
–token-auth-file：bootstrap token 文件
–service-node-port-range：Service nodeport 类型默认分配端口范围
–kubelet-client-xxx：apiserver 访问kubelet 客户端证书
–tls-xxx-file：apiserver https 证书
–etcd-xxxfile：连接Etcd 集群证书
–audit-log-xxx：审计日志
–service-account-issuer=string 指定service account token issuer的标识符;该issuer将在iss声明中分发Token以使标识符生效;该参数的值为字符串或URL
–service-account-signing-key-file=string含有当前service account token issuer私钥的文件路径 ;该issuer将以此私钥签名发布的ID token（需开启TokenRequest特性）

1.3.3.1.5 拷贝生成的k8s证书

[root@master~]# cp ~/TLS/k8s/capem ~/TLS/k8s/serverpem /opt/kubernetes/ssl

1.3.3.1.6 system管理apiserver

[root@master~]# cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver $KUBE_APISERVER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

1.3.3.1.7 启动 kube-apiserver并设置开机启动

[root@master~]# systemctl daemon-reload && systemctl start kube-apiserver && systemctl enable kube-apiserver
##查看状态
[root@master~]# systemctl status kube-apiserver

1.3.3.2 部署kube-controller-manager

1.3.3.2.1 创建证书申请文件

[root@master~]# cd ~/TLS/k8s

[root@master~]# cat > kube-controller-manager-csr.json << EOF
{
“CN”: “system:kube-controller-manager”,
“hosts”: [],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “system:masters”,
“OU”: “System”
}
]
}
EOF

1.3.3.2.2 生成证书

[root@master~]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager

1.3.3.2.3 生成kube-controller-manager.kubeconfig配置文件

[root@master~]# KUBE_CONFIG=“/opt/kubernetes/cfg/kube-controller-manager.kubeconfig”
[root@master~]# KUBE_APISERVER=“https://192.168.10.210:6443”

[root@master~]# kubectl config set-cluster kubernetes
–certificate-authority=/opt/kubernetes/ssl/ca.pem
–embed-certs=true
–server= $KaTeX parse error: Undefined control sequence: \ at position 18: …UBE_APISERVER} \̲ ̲ --kubeconfig=$ {KUBE_CONFIG}

[root@master~]# kubectl config set-credentials kube-controller-manager
–client-certificate=./kube-controller-manager.pem
–client-key=./kube-controller-manager-key.pem
–embed-certs=true
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config set-context default
–cluster=kubernetes
–user=kube-controller-manager
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

1.3.3.2.4 创建配置文件

[root@master~]# cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF
KUBE_CONTROLLER_MANAGER_OPTS=“–logtostderr=false \
–v=2 \
–log-dir=/opt/kubernetes/logs \
–leader-elect=true \
–kubeconfig=/opt/kubernetes/cfg/kube-controller-manager.kubeconfig \
–bind-address=127.0.0.1 \
–allocate-node-cidrs=true \
–cluster-cidr=10.244.0.0/16 \
–service-cluster-ip-range=10.0.0.0/24 \
–cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \
–cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem \
–root-ca-file=/opt/kubernetes/ssl/ca.pem \
–service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \
–cluster-signing-duration=87600h0m0s”
EOF

##解释：
–master：通过本地非安全本地端口8080 连接apiserver
–leader-elect：当该组件启动多个时，自动选举（HA）
–cluster-signing-cert-file/–cluster-signing-key-file：自动为kubelet 颁发证书的CA，与apiserver 保持一致

1.3.3.2.5 systemd 管理controller-manager

[root@master~]# cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/Kubernetes

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

1.3.3.2.6 启动kube-controller-manager并设置开机启动

[root@master~]# systemctl daemon-reload && systemctl start kube-controller-manager && systemctl enable kube-controller-manager

1.3.3.3 部署kube-scheduler

1.3.3.3.1 创建证书申请文件

[root@master~]# cd ~/TLS/k8s

[root@master~]# cat > kube-scheduler-csr.json << EOF
{
“CN”: “system:kube-scheduler”,
“hosts”: [],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “system:masters”,
“OU”: “System”
}
]
}
EOF

1.3.3.3.2 生成证书

[root@master~]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-scheduler-csr.json | cfssljson -bare kube-scheduler

1.3.3.3.3 生成kube-scheduler.kubeconfig配置文件

[root@master~]# KUBE_CONFIG=“/opt/kubernetes/cfg/kube-scheduler.kubeconfig”
[root@master~]# KUBE_APISERVER=“https://10.27.134.250:6443”

[root@master~]# kubectl config set-credentials kube-scheduler
–client-certificate=./kube-scheduler.pem
–client-key=./kube-scheduler-key.pem
–embed-certs=true
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config set-context default
–cluster=kubernetes
–user=kube-scheduler
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

1.3.3.3.4 创建配置文件

[root@master~]# cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF
KUBE_SCHEDULER_OPTS=“–logtostderr=false \
–v=2 \
–log-dir=/opt/kubernetes/logs \
–leader-elect \
–kubeconfig=/opt/kubernetes/cfg/kube-scheduler.kubeconfig \
–bind-address=127.0.0.1”
EOF

##解释：
–master：通过本地非安全本地端口8080 连接apiserver。
–leader-elect：当该组件启动多个时，自动选举（HA）

1.3.3.3.5 systemd 管理scheduler

[root@master~]# cat > /usr/lib/systemd/system/kube-scheduler.service<< EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/Kubernetes

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler $KUBE_SCHEDULER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

1.3.3.3.6 启动kube-scheduler并设置开机启动

[root@master~]# systemctl daemon-reload && systemctl start kube-scheduler && systemctl enable kube-scheduler

1.3.3.4 查看集群状态

1.3.3.4.1 生成kubectl连接集群的证书

##创建证书申请文件
[root@master~]# cat > admin-csr.json < {
“CN”: “admin”,
“hosts”: [],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “system:masters”,
“OU”: “System”
}
]
}
EOF

1.3.3.4.2 生成证书

[root@master~]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin

1.3.3.4.3 生成kubectl连接集群的配置文件

##创建配置文件位置,如果提示文件夹已存在，则忽略
[root@master~]# mkdir /root/.kube

##创建配置文件（注意：此时路径应该是要在 /usr/local/k8s下）
[root@master~]# KUBE_CONFIG=“/root/.kube/config”
[root@master~]# KUBE_APISERVER=“https://10.27.134.250:6443”

[root@master~]# kubectl config set-credentials cluster-admin
–client-certificate=./admin.pem
–client-key=./admin-key.pem
–embed-certs=true
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config set-context default
–cluster=kubernetes
–user=cluster-admin
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

1.3.3.4.4 查看集群组件状态

[root@master~]# kubectl get cs

1.3.3.4.5 授权kubelet-bootstrap用户允许请求证书

[root@master~]# kubectl create clusterrolebinding kubelet-bootstrap
–clusterrole=system:node-bootstrapper
–user=kubelet-bootstrap

1.3.4 部署Worker Node

##master节点也部署成worker节点，一并参加调度

1.3.4.1 创建工作目录并拷贝二进制文件

##在node1中节点操作，创建目录
[root@node1 ~]# mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

##在node2中节点操作，创建目录
[root@node2 ~]# mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

##在master中操作
##进入解压的kubernetes文件夹中
[root@master~]# cd /usr/local/k8s/kubernetes/server/bin

##将kubelet、kube-proxy组件拷贝至本地文件中
[root@master~]# cp kubelet kube-proxy /opt/kubernetes/bin

1.3.4.2 部署kubelet

1.3.4.2.1 创建配置文件

[root@master~]# cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS=“–logtostderr=false \
–v=2 \
–log-dir=/opt/kubernetes/logs \
–hostname-override=master \
–network-plugin=cni \
–kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \
–bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \
–config=/opt/kubernetes/cfg/kubelet-config.yml \
–cert-dir=/opt/kubernetes/ssl \
–pod-infra-container-image=lizhenliang/pause-amd64:3.0”
EOF

##解释：
–hostname-override：显示名称，集群中唯一
–network-plugin：启用CNI
–kubeconfig：空路径，会自动生成，后面用于连接apiserver
–bootstrap-kubeconfig：首次启动向apiserver申请证书
–config：配置参数文件
–cert-dir：kubelet证书生成目录
–pod-infra-container-image：管理Pod网络容器的镜像

1.3.4.2.2 配置参数文件

[root@master~]# cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: systemd
clusterDNS:

10.0.0.2
clusterDomain: cluster.local
failSwapOn: false
authentication:
anonymous:
enabled: false
webhook:
cacheTTL: 2m0s
enabled: true
x509:
clientCAFile: /opt/kubernetes/ssl/ca.pem
authorization:
mode: Webhook
webhook:
cacheAuthorizedTTL: 5m0s
cacheUnauthorizedTTL: 30s
evictionHard:
imagefs.available: 15%
memory.available: 100Mi
nodefs.available: 10%
nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

1.3.4.2.3 生成kubelet初次加入集群引导kubeconfig文件

[root@master~]# KUBE_CONFIG=“/opt/kubernetes/cfg/bootstrap.kubeconfig”
[root@master~]# KUBE_APISERVER=https://192.168.10.210:6443

##TOKEN值与token.csv里保持一致
##查看token值
[root@master~]# cat /opt/kubernetes/cfg/token.csv

[root@master~]# TOKEN=“dd26e9d22897822de8f2926b338988ab”

##生成 kubelet bootstrap kubeconfig 配置文件
[root@master~]# kubectl config set-cluster kubernetes
–certificate-authority=/opt/kubernetes/ssl/ca.pem
–embed-certs=true
–server= $KaTeX parse error: Undefined control sequence: \ at position 18: …UBE_APISERVER} \̲ ̲ --kubeconfig=$ {KUBE_CONFIG}

[root@master~]# kubectl config set-credentials “kubelet-bootstrap”
–token= $KaTeX parse error: Undefined control sequence: \ at position 9: {TOKEN} \̲ ̲ --kubeconfig=$ {KUBE_CONFIG}

[root@master~]# kubectl config set-context default
–cluster=kubernetes
–user=“kubelet-bootstrap”
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

1.3.4.2.4 systemctl管理kubelet

[root@master~]# cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet $KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

1.3.4.2.5 启动kubelet并设置开机启动

[root@master~]# systemctl daemon-reload && systemctl start kubelet && systemctl enable kubelet

##注意：kubernetes官方推荐docker等使用systemd作为Cgroup Driver
##如果kubelet服务状态异常，查看日志是cgroupDriver不匹配的话
##先查看docker使用的Cgroup Driver
[root@master~]# docker info|grep “Cgroup Driver”
##再修改kubelet的yaml文件中Cgroup Driver的参数

1.3.4.3 批准 kubelet 证书申请

##每个节点部署申请后都需被批准才能加入集群
（1）在master节点查看 kubelet 证书请求
[root@master~]# kubectl get csr

（2）批准申请
[root@master~]# kubectl certificate approve node-csr-31V7IbsN3zDicNmLUTyIs-s9uv9biTzpkMRE6vPrx7w

（3）查看节点
[root@master~]# kubectl get nodes

1.3.4.4 部署kube-proxy

1.3.4.4.1 创建证书申请文件

[root@master~]# cd ~/TLS/k8s
[root@master~]# cat > kube-proxy-csr.json << EOF
{
“CN”: “system:kube-proxy”,
“hosts”: [],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “k8s”,
“OU”: “System”
}
]
}
EOF

1.3.4.4.2 生成证书

[root@master~]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

1.3.4.4.3 创建配置文件

[root@master~]# cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS=“–logtostderr=false \
–v=2 \
–log-dir=/opt/kubernetes/logs \
–config=/opt/kubernetes/cfg/kube-proxy-config.yml”
EOF

1.3.4.4.4 创建参数文件

[root@master~]# cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: master
clusterCIDR: 10.244.0.0/16
EOF

1.3.4.4.4 生成kube-proxy.kubeconfig配置文件

[root@master~]# KUBE_CONFIG=“/opt/kubernetes/cfg/kube-proxy.kubeconfig”
[root@master~]# KUBE_APISERVER=“https://10.27.134.250:6443”

[root@master~]# kubectl config set-credentials kube-proxy
–client-certificate=./kube-proxy.pem
–client-key=./kube-proxy-key.pem
–embed-certs=true
–kubeconfig=${KUBE_CONFIG}

[root@master~]# kubectl config set-context default
–cluster=kubernetes
–user=kube-proxy
–kubeconfig= $KaTeX parse error: Expected 'EOF', got '#' at position 29: \dots [root@master~]#̲ kubectl config\dots$ {KUBE_CONFIG}

1.3.4.4.5 systemd管理kube-proxy
[root@master~]# cat > /usr/lib/systemd/system/kube-proxy.service<< EOF
[Unit]
Description=Kubernetes Proxy
After=network.target

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy $KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

1.3.4.4.6 启动kube-proxy并设置开机启动

[root@master~]# systemctl daemon-reload && systemctl start kube-proxy && systemctl enable kube-proxy

1.3.4.5 部署网络组件（在master节点部署）

1.3.4.5.1 Calico

##Calico是一个纯三层的数据中心网络方案，是目前Kubernetes的主流方案
（1）下载配置文件
[root@master~]# cd /usr/local/k8s
[root@master~]# wget https://docs.projectcalico.org/v3.20/manifests/calico.yaml --no-check-certificate
##不想下载或者无法下载可以直接用提供的资源
链接：https://pan.baidu.com/s/1h0FLAXjLP1h4GmniRW3vXA
提取码：03kt

（2）应用yaml文件
[root@master~]# kubectl apply -f calico.yaml

（3）在apply或create命令无法下载镜像时通过docker pull 来拉取镜像
[root@master~]# cat calico.yaml |grep image

1.3.4.5.2 查看组件状态

（1）查看部署结果（需要等待一会时间）
[root@master~]# kubectl get pods -n kube-system

（2）结果实时查看
[root@master~]# kubectl get pods -n kube-system -w

（3）查看节点状态（需要等待一会时间状态才会变）
[root@master~]# kubectl get node

1.3.4.6 授权apiserver访问kubelet（master节点操作）

应用场景：例如kubectl logs
[root@master~]# cd /usr/local/k8s/

[root@master~]# cat > apiserver-to-kubelet-rbac.yaml << EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
annotations:
rbac.authorization.kubernetes.io/autoupdate: “true”
labels:
kubernetes.io/bootstrapping: rbac-defaults
name: system:kube-apiserver-to-kubelet
rules:

apiGroups:
- “”
  resources:
- nodes/proxy
- nodes/stats
- nodes/log
- nodes/spec
- nodes/metrics
- pods/log
  verbs:
- “*”

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: system:kube-apiserver
namespace: “”
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: system:kube-apiserver-to-kubelet
subjects:

apiGroup: rbac.authorization.k8s.io
kind: User
name: kubernetes
EOF

##应用yaml文件
[root@master~]# kubectl apply -f apiserver-to-kubelet-rbac.yaml

##查看应用
[root@master~]# kubectl get ClusterRole

1.3.5 新增Worker Node

1.3.5.1-1 拷贝已部署好的Node相关文件到新节点

##在Master节点将Worker Node涉及的文件拷贝到新节点node1、node2
####部署Node1节点####
###master节点操作###
[root@master~]# scp -r /opt/kubernetes root@node1:/opt/

[root@master~]# scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@node1:/usr/lib/systemd/system

[root@master~]# scp /opt/kubernetes/ssl/ca.pem root@node1:/opt/kubernetes/ssl

1.3.5.2-1 删除kubelet证书和kubeconfig文件

###node1节点操作###
[root@node1~]# rm -f /opt/kubernetes/cfg/kubelet.kubeconfig
[root@node1~]# rm -f /opt/kubernetes/ssl/kubelet*

注：这几个文件是证书申请审批后自动生成的，每个Node不同，必须删除
否则master节点无法获得node节点信息

1.3.5.3-1 修改主机名

[root@node1~]# vim /opt/kubernetes/cfg/kubelet.conf
–hostname-override=node1

[root@node1~]# vim /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: node1

1.3.5.4-1 启动kubelet、kube-proxy并设置开机启动

[root@node1~]# systemctl daemon-reload && systemctl start kubelet kube-proxy && systemctl enable kubelet kube-proxy

1.3.5.5-1 在Master上批准新Node kubelet证书申请

##查看证书请求
###master节点操作###
[root@master~]# kubectl get csr

##授权请求
[root@master~]# kubectl certificate approve node-csr-31V7IbsN3zDicNmLUTyIs-s9uv9biTzpkMRE6vPrx7w

1.3.5.6-1 查看Node状态

[root@master~]# kubectl get node

####部署Node2节点####
###master节点操作###
[root@master~]# scp -r /opt/kubernetes root@node2:/opt/

[root@master~]# scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@node2:/usr/lib/systemd/system

[root@master~]# scp /opt/kubernetes/ssl/ca.pem root@node2:/opt/kubernetes/ssl

1.3.5.2-2 删除kubelet证书和kubeconfig文件

###node2节点操作###
[root@node2~]# rm -f /opt/kubernetes/cfg/kubelet.kubeconfig
[root@node2~]# rm -f /opt/kubernetes/ssl/kubelet*

注：这几个文件是证书申请审批后自动生成的，每个Node不同，必须删除
否则master节点无法获得node节点信息

1.3.5.3-2 修改主机名

[root@node2~]# vim /opt/kubernetes/cfg/kubelet.conf
–hostname-override=node2

[root@node2~]# vim /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: node2

1.3.5.4-2 启动kubelet、kube-proxy并设置开机启动

[root@node2~]# systemctl daemon-reload && systemctl start kubelet kube-proxy && systemctl enable kubelet kube-proxy

1.3.5.5-2 在Master上批准新Node kubelet证书申请

##查看证书请求
###master节点操作###
[root@master~]# kubectl get csr

##授权请求
[root@master~]# kubectl certificate approve node-csr-31V7IbsN3zDicNmLUTyIs-s9uv9biTzpkMRE6vPrx7w

1.3.5.6-2 查看Node状态

[root@master~]# kubectl get node

##其他更多节点同上。记得删除kubelet证书、配置文件、修改主机名！

1.3.5.7 测试kubernetes集群

在 Kubernetes 集群中创建一个 pod，验证是否正常运行【master 节点操作】：
##下载 nginx 【会联网拉取 nginx 镜像】
[root@master~]# kubectl create deployment nginx --image=nginx
##查看状态
[root@master~]# kubectl get pod

如果我们出现 Running 状态的时候，表示已经成功运行了

下面我们就需要将端口暴露出去，让其它外界能够访问
##暴露端口
[root@master~]# kubectl expose deployment nginx --port=80 --type=NodePort
##查看一下对外的端口
[root@master~]# kubectl get pod,svc

能够看到，我们已经成功暴露了 80 端口到 30699 上
我们到我们的宿主机浏览器上，访问如下地址
http://192.168.10.210:30699/

发现我们的 nginx 已经成功启动了

1.3.6 部署dashboard可视化模块

1.3.6.1 服务部署

##下载yml文件
###master节点操作###
[root@master~]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc5/aio/deploy/recommended.yaml
##不想下载或者无法下载可以直接用提供的资源
链接：https://pan.baidu.com/s/12IeNk0JGp_mSCAB1oBcWhw
提取码：nfp3

##修改yam文件，service改为NodePort类型

##创建服务
[root@master~]# kubectl create -f recommended.yaml

##查看服务对外暴露的端口号
[root@master~]# kubectl get svc -n kubernetes-dashboard

1.3.6.2 访问测试

##浏览器访问https://NodeIP:Port

1.3.6.3 创建ServiceAccount进行登录

##创建admin.conf配置文件
[root@master~]# cat > /opt/kubernetes/cfg/admin.conf << EOF
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
name: admin
annotations:
rbac.authorization.kubernetes.io/autoupdate: “true”
roleRef:
kind: ClusterRole
name: cluster-admin
apiGroup: rbac.authorization.k8s.io
subjects:

kind: ServiceAccount
name: admin
namespace: kubernetes-dashboard

apiVersion: v1
kind: ServiceAccount
metadata:
name: admin
namespace: kubernetes-dashboard
EOF

##查看命名空间内的加密信息是否有token和名称
[root@master~]# kubectl get secret -n kubernetes-dashboard

##使用该命令拿到token，替换上条命令查询的名称default-token-9xlqd，然后粘贴到浏览器中进行登录
[root@master~]# kubectl -n kubernetes-dashboard get secret default-token-fb59s -o jsonpath={.data.token}|base64 -d

##使用token登录dashboard

文献：https://www.cnblogs.com/jiangshusheng/p/15853195.html

你可能感兴趣的:(kubernetes,docker,运维)

PHP环境搭建详细教程好看资源平台前端 php
PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
docker igotyback eureka 云原生
Docker容器的文件系统是隔离的，但是可以通过挂载卷（Volumes）或绑定挂载（BindMounts）将宿主机的文件系统目录映射到容器内部。要查看Docker容器的映射路径，可以使用以下方法：查看容器配置：使用dockerinspect命令可以查看容器的详细配置信息，包括挂载的卷。例如：bashdockerinspect在输出的JSON格式中，查找"Mounts"部分，这里会列出所有的挂载信息
react-intl——react国际化使用方案苹果酱0567 面试题汇总与解析 java 开发语言中间件 spring boot 后端
国际化介绍i18n：internationalization国家化简称，首字母+首尾字母间隔的字母个数+尾字母，类似的还有k8s(Kubernetes)React-intl是React中最受欢迎的库。使用步骤安装#usenpmnpminstallreact-intl-D#useyarn项目入口文件配置//index.tsximportReactfrom"react";importReactDOMf
06选课支付模块之基于消息队列发送支付通知消息 echo 云清学成在线 java rabbitmq 消息队列支付通知学成在线
消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
docker from指令的含义_多个FROM-含义 weixin_39722188 docker from指令的含义
小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
Dockerfile FROM 两个 redDelta
Docker相关视频讲解：什么是容器Docker介绍实现"DockerfileFROM两个"的步骤步骤表格步骤操作1创建一个Dockerfile文件2写入FROM指令3构建第一个镜像4创建第二个Dockerfile文件5写入FROM指令6构建第二个镜像7合并两个镜像操作步骤说明步骤1：创建一个Dockerfile文件使用任意文本编辑器创建一个名为Dockerfile的文件。登录后复制#Docker
Dockerfile命令详解之 FROM 清风怎不知意容器化 java 前端 javascript
许多同学不知道Dockerfile应该如何写，不清楚Dockerfile中的指令分别有什么意义，能达到什么样的目的，接下来我将在容器化专栏中详细的为大家解释每一个指令的含义以及用法。专栏订阅传送门https://blog.csdn.net/qq_38220908/category_11989778.html指令不区分大小写。但是，按照惯例，它们应该是大写的，以便更容易地将它们与参数区分开来。(引用
Dockerfile（1） - FROM 指令详解小菠萝测试笔记 docker python java cmd 大数据
FROM指明当前的镜像基于哪个镜像构建dockerfile必须以FROM开头，除了ARG命令可以在FROM前面FROM[--platform=][AS]FROM[--platform=][:][AS]FROM[--platform=][@][AS]小栗子FROMalpine:latest一个dockerfile可以有多个FROM可以有多个FROM来创建多个镜像，或区分构建阶段，将一个构建阶段作为另
2020年最新程序员职业发展路线指南，超详细！编程流川枫 11 编程语言程序员互联网 IT 职业
【文章来源微信公众号：每天学编程】01、程序员的特性技术出身的职场人特性很明显，与做市场、业务出身的职场人区别尤其明显。IT行业中常见的一些职场角色：老板、项目经理、产品经理、需求分析师、设计师、开发工程师、运维工程师等。开发工程师具有如下特征：1、逻辑思维清晰、严谨和细腻；但是有时不容易转弯，有些程序员容易较劲、钻牛角尖。2、性格偏内向、不善于沟通、表达和交际；但是在网络聊天工具上，有些显为幽默
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
Kubernetes数据持久化看清所苡看轻 kubernetes(k8s)emptyDir HostPath pv pvc kubernetes
在k8s中，Volume（数据卷）存在明确的生命周期（与包含该数据卷的容器组（pod）相同）。因此Volume的生命周期比同一容器组（pod）中任意容器的生命周期要更长，不管容器重启了多少次，数据都被保留下来。当然，如果pod不存在了，数据卷自然退出了。此时，根据pod所使用的数据卷类型不同，数据可能随着数据卷的退出而删除，也可能被真正持久化，并在下次容器组重启时仍然可以使用。从根本上来说，一个数
Kubernetes部署MySQL数据持久化沫殇-MS Kubernetes MySQL数据库 kubernetes mysql 容器
一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
Kubernetes的3种数据持久化方式 Seal^_^ 【云原生】容器化与编排技术持续集成 #Kubernetes kubernetes 容器云原生 EmptyDir 面试 HostPath
Kubernetes的3种数据持久化方式1.EmptyDir2.HostPath3.PersistentVolume(PV)TheBegin点点关注，收藏不迷路Kubernetes提供了几种数据持久化方式，以满足不同场景的需求：1.EmptyDir用途：临时数据存储，Pod内容器间共享。特点：生命周期与Pod相同，Pod删除时数据也删除。2.HostPath用途：访问宿主机特定文件或目录。特点：增
【Kubernetes】常见面试题汇总（十一） summer.335 Kubernetes kubernetes 容器云原生
目录33.简述Kubernetes外部如何访问集群内的服务？34.简述Kubernetesingress？35.简述Kubernetes镜像的下载策略？33.简述Kubernetes外部如何访问集群内的服务？（1）对于Kubernetes，集群外的客户端默认情况，无法通过Pod的IP地址或者Service的虚拟IP地址：虚拟端口号进行访问。（2）通常可以通过以下方式进行访问Kubernetes集群
k8s中Service暴露的种类以及用法听说唐僧不吃肉 K8S kubernetes 容器云原生
一、说明在Kubernetes中，有几种不同的方式可以将服务（Service）暴露给外部流量。这些方式通过定义服务的spec.type字段来确定。二、详解1.ClusterIP定义：默认类型，服务只能在集群内部访问。作用：通过集群内部IP地址暴露服务。示例：spec:type:ClusterIPports:-port:80targetPo
Kubernetes 自定义控制器开发 IT回忆录 Kubenetes kubernetes
目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
用kubedam搭建的k8s证书过期处理方法我滴鬼鬼呀wks k8s 1024程序员节
kubeadm部署的k8s证书过期1、查看证书过期时间kubeadmalphacertscheck-expiration若证书已经过期无法试用kubectl命令建议修改服务器时间到未过期的时间段2、配置kube-controller-manager.yaml文件cat/etc/kubernetes/manifests/kube-controller-manager.yamlapiVersion:v
k8s证书过期问题处理 olina_qin kubernetes 容器云原生
k8s证书过期问题处理opensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-dateskubeadmcertsrenewallsystemctlrestartkubeleopensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-text|grep"NotAfter"cp/etc/kubernet
ruby和python哪个好学 hakesashou python基础知识 ruby python 开发语言
Ruby和python都挺好学的。建议学习Python，语法的话，Python相对更简洁。而且Python应用场合更广泛，运维、网站开发、数据处理、科学研究都可以。Ruby和Python十分相似，有很多共同点，但也有一些不同之外，以下是Python和Ruby的对比：1、Python和Ruby都是面向对象的语言，都是动态和灵活的。二者的主要区别在于他们解决问题的方式。Ruby提供了不同的方法，而Py
Kubernetes Ingress 控制器（Nginx）安装与使用教程农优影
KubernetesIngress控制器（Nginx）安装与使用教程kubernetes-ingressNGINXandNGINXPlusIngressControllersforKubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kubernetes-ingress1.项目目录结构及介绍在nginxinc/kubernetes-ingress仓库中，
【K8s】专题十一：Kubernetes 集群证书过期处理方法行者Sun1989 Kubernetes kubernetes 云原生容器
本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
Docker学习十一：Kubernetes概述爱打羽球的程序猿 Docker学习系列 docker kubernetes 学习
一、Kubernetes简介2006年，Google提出了云计算的概念，当时的云计算领域还是以虚拟机为代表的云平台。2013年，Docker横空出世，Docker提出了镜像、仓库等核心概念，规范了服务的交付标准，使得复杂服务的落地变得更加简单，之后Docker又定义了OCI标准，Docker在容器领域称为事实的标准。但是，Docker诞生只是帮助定义了开发和交付标准，如果想要在生产环境中大批量的使
Cloud Native Weekly | 华为云抢先发布Redis5.0，红帽宣布收购混合云提供商 weixin_34302561 数据库 devops 大数据
1——华为云抢先发布Redis5.02——DigitalOceanK8s服务正式上线3——红帽宣布收购混合云提供商NooBaa4——微软发布多项AzureKubernetes服务更新1华为云抢先发布Redis5.012月17日，华为云在DCS2.0的基础上，快人一步，抢先推出了新的Redis5.0产品，这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段，华为云率先发布了Re
安装 `privoxy` 将 Socks5 转换为 HTTP 代理 MonkeyKing.sun 网络
(base)shgbitai@shgbitai-C9X299-PGF:~/tools$curl-xhttp://127.0.0.1:1080https://registry-1.docker.io/v2/curl:(56)ProxyCONNECTaborted(base)shgbitai@shgbitai-C9X299-PGF:~/tools$curl-xhttps://127.0.0.1:108
Halo 开发者指南——容器私有化部署 SHENHUANJIE Docker Halo 华为云 SWR Registry
华为云SWR私有化部署镜像构建dockerbuild-thalo-dev/halo:2.20.0.上传镜像镜像标签sudodockertag{镜像名称}:{版本名称}swr.cn-south-1.myhuaweicloud.com/{组织名称}/{镜像名称}:{版本名称}sudodockertaghalo-dev/halo:2.20.0swr.cn-south-1.myhuaweicloud.co
SpringBoot整合ES搜索引擎实现网站热搜词及热度计算码踏云端 springboot Elasticsearch spring boot elasticsearch 后端热搜词热度计算 java
博主简介：历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于
华为云分布式缓存服务DCS与开源服务差异对比 hcinfo_18 redis使用华为云 Redis5.0 分布式缓存服务 Redis客户端
分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。用户可以聚焦于业务逻辑本身，而无需过多考虑部署、监控、扩容、安全、故障恢复等方面的问题。DCS基于开源Redis、Memcached向用户提供一定程度定制化的缓存服务，因此，除了拥有开源服务缓存数据库的优秀特性，DCS提供更多实用功能。一、与开源Red
软件测试/测试开发/全日制 |利用Django REST framework构建微服务霍格沃兹-慕漓 django 微服务 sqlite
霍格沃兹测试开发学社推出了《Python全栈开发与自动化测试班》。本课程面向开发人员、测试人员与运维人员，课程内容涵盖Python编程语言、人工智能应用、数据分析、自动化办公、平台开发、UI自动化测试、接口测试、性能测试等方向。为大家提供更全面、更深入、更系统化的学习体验，课程还增加了名企私教服务内容，不仅有名企经理为你1v1辅导，还有行业专家进行技术指导，针对性地解决学习、工作中遇到的难题。让找
小白 | 华为云docker设置镜像加速器伏一工具安装华为云 docker 容器
一、操作场景通过dockerpull命令下载镜像中心的公有镜像时，往往会因为网络原因而需要很长时间，甚至可能因超时而下载失败。为此，容器镜像服务提供了镜像下载加速功能，帮助您获得更快的下载体验。二、约束与限制构建镜像的客户端所安装的容器引擎（Docker）版本必须为1.11.2及以上。“华北-乌兰察布一”、“亚太-雅加达”、“拉美-墨西哥城一”、“拉美-墨西哥城二”和“拉美-圣保罗一”区域不支持该
Nginx负载均衡 510888780 nginx 应用服务器
Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight 指定轮询几率，weight和访问比率成正比
RedHat 6.4 安装 rabbitmq bylijinnan erlang rabbitmq redhat
在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
FilenameUtils工具类 eksliang FilenameUtils common-io
转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。非常的好用。
xml文件解析SAX 不懂事的小屁孩 xml
xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
通过定时任务执行mysql的定期删除和新建分区，此处是按日分区酷的飞上天空 mysql
使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
如何搭建数据湖架构？听听专家的意见蓝儿唯美架构
Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据 “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
spring学习——控制反转与依赖注入 a-john spring
控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。
用spool+unixshell生成文本文件的方法 aijuans xshell
例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
OOA:Object-Oriented Analysis（面向对象分析方法）是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
浅谈java转成json编码格式技术百合不是茶 json编码 java转成json编码
json编码;是一个轻量级的数据存储和传输的语言在java中需要引入json相关的包,引包方式在工程的lib下就可以了 JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非常适合于服务器与 JavaScript 之间的数据的交
web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 java web.xml SSI spring配置
指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
Installing SonarQube（Fail to download libraries from server） sunjing Install Sonar
1. Download and unzip the SonarQube distribution 2. Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
一、创建复本集假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令： mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
Anychart图表系列二之执行Flash和HTML5渲染白糖_ Flash
今天介绍Anychart的Flash和HTML5渲染功能 HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析问题：有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头，能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引 lunce
import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
[IT与投资]坚持独立自主的研究核心技术 comsci it
和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段..... 所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
flashback transaction闪回事务查询 daizj oracle sql 闪回事务
闪回事务查询有别于闪回查询的特点有以下3个：（1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。（2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。（3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件游其是你 FilenameFilter
这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
# include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again 处理很简单，修改文件“/etc/yum.repos.d/epel.repo”，将baseurl的注释取消， mirrorlist注释掉。即可。 &n
单例模式 shuizhaosi888 单例模式
单例模式懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
Spring Security（09）——Filter 234390216 Spring Security
Filter 目录 1.1 Filter顺序 1.2 添加Filter到FilterChain 1.3 DelegatingFilterProxy 1.4 FilterChainProxy 1.5
公司项目NODEJS实践0.1 逐行分析JS源代码 mongodb nginx ubuntu nodejs
一、前言前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。网上有很多nod
java.lang.Math liuhaibo_ljf java Math lang
System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
linux下时间同步 nonobaba ntp
今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误 PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
ZooKeeper3.4.6的集群部署 roadrunners zookeeper 集群部署
ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。 1、准备工作我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。数据存储目录
Java高效读取大文件 tomcat_oracle java
　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
微信支付api返回的xml转换为Map的方法 xu3508620 xml map 微信api
举例如下： <xml> <return_code><![CDATA[SUCCESS]]></return_code> <return_msg><![CDATA[OK]]></return_msg> <appid><