goearth

kubernetes 1.12.0 二进制包搭建

本次搭建提K8S集群,所有节点都是以集群方式存在,如下图所示

etcd ip分配:

etcd1:172.16.0.5
etcd2:172.16.0.6
etcd3:172.16.0.7
vip:172.16.0.100(为keepalive虚拟ip)
安装程序包括
etcd,(nginx|haproxy),keepalive,chronyclient
注:nginx|haproxy为apiserver提供负载均衡,本次选择nginx,chronyclient为时间同步客户端,安装ntp也可以

master ip分配

master1:172.16.0.2
master1:172.16.0.3
master1:172.16.0.4
安装程序包括
kube-apiserver,kube-schedule,kube-controll,docker(私有仓库),chronyserver,cfssl
注:chronyserver和cfssl只在master1上安装即可

node ip分配

node1:172.16.0.8
node1:172.16.0.9
node1:172.16.0.10
安装程序包括
kubelet,kube-proxy,docker,chronyclient

注：下面所有函数用到的变量，如下
ip=ifconfig eth0 |awk '$1=="inet"{print $2}' #指当前安装的服务器ip地址
clusterip="169.169.0.0" #
vip="172.16.0.100"
dockerstoreip="172.16.0.2"
etcd1ip="172.16.0.5"
etcd2ip="172.16.0.6"
etcd3ip="172.16.0.7"

安装软件版本如下

1.设置下载源为阿里
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
EOF

2.重建yum缓存
yum -y install epel-release
yum clean all
yum makecache
yum -y update (在安装前最好把所有系统都升级下软件版本)

3.centos 7.5
docker 1.11.3
kubernetes 1.12.0(官网下载最新的二进制tar包)
chrony(yum 安装)
cfssl(yum 安装,创建证书使用)
nginx+tcp(编译安装安装,但要支持tcp转发)
keepalived(yum 安装)
flannel 0.7.1(yum 安装)

1.chrony 时间服务器

安装k8s集群前需确保各节点时间同步,不然程序启动后会报时间不同步；既可作时间服务器服务端，也可作客户端
yum -y install chrony

服务端配置
#vim /etc/chrony.conf
server ntp1.aliyun.com iburst #配置时间源，国内可以增加阿里的时间源 ntp1.aliyun.com
server ntp2.aliyun.com iburst
server 172.16.0.2 iburst
allow 172.16.0.0/24 #配置允许同步的客户端网段
local stratum 10 #配置离线也能作为源服务器

客户端配置
vim /etc/chrony.conf
server 172.16.0.2 iburst #chrony服务端ip地址,其他server删除,下面其他配置保持不变

所有机器启动服务
systemctl enable chronyd
systemctl start chronyd
systemctl status chronyd

系统参数优化

优化内容包括
关闭不必要服务
系统参数优化
/etc/security/limits.d/20-nproc.conf
/etc/sysctl.conf
关闭selinux
帐号登录安全优化
系统软件升级到最新版本,保持系统干净

cfssl搭建本地CA服务器

下载安装cfssl的二进制工具即可,其实就是三个命令,本次在master1上安装并生成ca相关证书,然后分发

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfsslinfo

创建TLS证书和秘钥说明

这一步在配置kubernetes的所有步骤中最容易出错也最难于排查问题的一步，而这却刚好是第一步,也是
最重要一步kubernetes系统的各组件需要使用TLS 证书对通信进行加密，本文档使用 CloudFlare 的 
PKI 工具集cfssl来生  成Certificate Authority (CA) 和其它证书

生成的 CA 证书和秘钥文件如下：
ca-key.pem
ca.pem
kubernetes-key.pem
kubernetes.pem
kube-proxy.pem
kube-proxy-key.pem
admin.pem
admin-key.pem

使用证书的组件如下：
etcd：使用 ca.pem、kubernetes-key.pem、kubernetes.pem
kube-apiserver：使用 ca.pem、kubernetes-key.pem、kubernetes.pem、token.csv(非证书,但启动时需要,不然kubelet启动时会报错)
kubelet：使用 ca.pem
kube-proxy：使用 ca.pem、kube-proxy-key.pem、kube-proxy.pem
kubectl：使用 ca.pem、admin-key.pem、admin.pem
kube-controller-manager：使用 ca-key.pem、ca.pem
flannel : 使用 ca.pem、kubernetes-key.pem、kubernetes.pem(验证通过后,在etd上给flannel分配的ip段才可以下发)
注意：以下证书创建操作都在 172.16.0.2 master1主机上执行，然后分发到集群所有主机，证书只需要创建一次即可，以后在向集群中添加新节点时只要将 /etc/kubernetes/pki/ 目录下的证书拷贝到新节点上即可

以上是部署K8S前的准备工作,下面是部署详细流程,最好按顺序来

创建ca证书签名请求

为了统一配置与维护,创建以下目录
mkdir /root/cfssl #所有生成的证书存放在此位置,只在master1上创建
mkdir /etc/kubernetes/pki #所有服务器创建此目录,存放相应的证书供程序调用
mkdir /etc/kubernetes/cfg #所有服务器创建此目录,存放相应程序的配置文件

创建ca根证书签名请求文件

cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

创建CA配置文件

cat > ca-config.json << EOF
{
    "signing": {
        "default": {
            "expiry": "876000h"
        },
        "profiles": {
            "kubernetes": {
                "expiry": "876000h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            },
            "client": {
                "expiry": "876000h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            },
            "peer": {
                "expiry": "876000h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}
EOF

生成ca.pem,ca-key.pem证书和私钥

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

创建 kubernetes 证书签名请求文件

cat > kubernetes-csr.json << EOF
{
  "CN": "kubernetes",
  "hosts": [
    "127.0.0.1",
    "172.16.0.2",
    "172.16.0.3",
    "172.16.0.4",
    "172.16.0.5",
    "172.16.0.6",
    "172.16.0.7",
    "172.16.0.8",
    "172.16.0.9",
    "172.16.0.10",
    "172.16.0.100",
    "169.169.0.1",
    "10.10.0.1",
    "kubernetes",
    "kubernetes.default",
    "kubernetes.default.svc",
    "kubernetes.default.svc.cluster",
    "kubernetes.default.svc.cluster.local"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

生成 kubernetes 证书和私钥

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes

创建admin证书签名请求文件

cat > admin-csr.json << EOF
{
  "CN": "admin",
  "hosts": [],
  "key": {
  "algo": "rsa",
  "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}
EOF

生成admin证书和私钥

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json|cfssljson -bare admin

创建kube-proxy证书签名请求文件

cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

生成 kube-proxy 客户端证书和私钥

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes  kube-proxy-csr.json | cfssljson -bare kube-proxy

以上是所有服务需要证书的创建过程,然后根据上面"使用证书的组件"讲到的,把相应的证书放到相应服务器的/etc/kubernetes/pki目录下即可

生成kubeconfig
只在其中1台master执行即可,生成kubeconfig文件(保存在/root/.kube/config文件中)
生成node节点的kubelet使得的bootstrap.kubeconfig文件,传到每台node节点的/etc/kubernetes/cfg文件中
生成node节点的kube-proxy使用的kube-proxy.kubeconfig文件,传到每台node节点的/etc/kubernetes/cfg文件中

创建 kubectl kubeconfig

vip="172.16.0.100"
export KUBE_APISERVER="https://${vip}:6443"

设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER}

设置客户端认证
kubectl config set-credentials admin \
 --client-certificate=/etc/kubernetes/pki/admin.pem \
 --embed-certs=true \
 --client-key=/etc/kubernetes/pki/admin-key.pem

设置上下文参数
kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=admin

设置默认上下文
kubectl config use-context kubernetes

创建kubelet bootstrap.kubeconfig

create token.csv
export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')
cat > token.csv <

 
   
  创建 kube-proxy kubeconfig 
  设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

设置客户端认证参数
kubectl config set-credentials kube-proxy \
  --client-certificate=/etc/kubernetes/pki/kube-proxy.pem \
  --client-key=/etc/kubernetes/pki/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig 

设置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

设置默认上下文
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig 
  一，在etcd服务器上安装etcd.service 
  etcd搭建 
  yum -y install etcd
创建etcd service 
   
   cat > /usr/lib/systemd/system/etcd.service <[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
User=etcd
ExecStart=/bin/bash -c "GOMAXPROCS=\$(nproc) /usr/bin/etcd \
--name=\"\${ETCD_NAME}\" \
--data-dir=\"\${ETCD_DATA_DIR}\" \
--listen-client-urls=\"\${ETCD_LISTEN_CLIENT_URLS}\" \
--cert-file=\"\${ETCD_CERT_FILE}\" \
--key-file=\"\${ETCD_KEY_FILE}\" \
--peer-cert-file=\"\${ETCD_PEER_CERT_FILE}\" \
--peer-key-file=\"\${ETCD_PEER_KEY_FILE}\" \
--trusted-ca-file=\"\${ETCD_TRUSTED_CA_FILE}\" \
--peer-trusted-ca-file=\"\${ETCD_PEER_TRUSTED_CA_FILE}\" \
--initial-advertise-peer-urls=\"\${ETCD_INITIAL_ADVERTISE_PEER_URLS}\" \
--listen-peer-urls=\"\${ETCD_LISTEN_PEER_URLS}\" \
--listen-client-urls=\"\${ETCD_LISTEN_CLIENT_URLS}\" \
--advertise-client-urls=\"\${ETCD_ADVERTISE_CLIENT_URLS}\" \
--initial-cluster-token=\"\${ETCD_INITIAL_CLUSTER_TOKEN}\" \
--initial-cluster=\"\${ETCD_INITIAL_CLUSTER}\" \
--initial-cluster-state=\"\${ETCD_INITIAL_CLUSTER_STATE}\""
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF 
   
   
   
   创建etcd配置文件 
     
     cat > /etc/etcd/etcd.conf << EOF
#[Member]
#ETCD_CORS=""
ETCD_DATA_DIR="/var/lib/etcd/etcd3.etcd" #把etcd3改为相应的主机名即可，以方便区分
#ETCD_WAL_DIR=""
ETCD_LISTEN_PEER_URLS="https://${ip}:2380"
ETCD_LISTEN_CLIENT_URLS="https://127.0.0.1:2379,https://${ip}:2379"
#ETCD_MAX_SNAPSHOTS="5"
#ETCD_MAX_WALS="5"
ETCD_NAME="${HOSTNAME}" #相应主机名
#ETCD_SNAPSHOT_COUNT="100000"
#ETCD_HEARTBEAT_INTERVAL="100"
#ETCD_ELECTION_TIMEOUT="1000"
#ETCD_QUOTA_BACKEND_BYTES="0"
#ETCD_MAX_REQUEST_BYTES="1572864"
#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"
#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"
#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ip}:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://${ip}:2379"
#ETCD_DISCOVERY=""
#ETCD_DISCOVERY_FALLBACK="proxy"
#ETCD_DISCOVERY_PROXY=""
#ETCD_DISCOVERY_SRV=""
ETCD_INITIAL_CLUSTER="etcd1=https://${etcd1ip}:2380,etcd2=https://${etcd2ip}:2380,etcd3=https://${etcd3ip}:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
#ETCD_STRICT_RECONFIG_CHECK="true"
#ETCD_ENABLE_V2="true"
#[Proxy]
#ETCD_PROXY="off"
#ETCD_PROXY_FAILURE_WAIT="5000"
#ETCD_PROXY_REFRESH_INTERVAL="30000"
#ETCD_PROXY_DIAL_TIMEOUT="1000"
#ETC
#ETCD_PROXY_READ_TIMEOUT="0"
#[Security]
ETCD_CERT_FILE="/etc/kubernetes/pki/kubernetes.pem"
ETCD_KEY_FILE="/etc/kubernetes/pki/kubernetes-key.pem"
#ETCD_CLIENT_CERT_AUTH="false"
ETCD_TRUSTED_CA_FILE="/etc/kubernetes/pki/ca.pem"
#ETCD_AUTO_TLS="false"
ETCD_PEER_CERT_FILE="/etc/kubernetes/pki/kubernetes.pem"
ETCD_PEER_KEY_FILE="/etc/kubernetes/pki/kubernetes-key.pem"
#ETCD_PEER_CLIENT_CERT_AUTH="false"
ETCD_PEER_TRUSTED_CA_FILE="/etc/kubernetes/pki/ca.pem"
#ETCD_PEER_AUTO_TLS="false"
#[Logging]
#ETCD_DEBUG="false"
#ETCD_LOG_PACKAGE_LEVELS=""
#ETCD_LOG_OUTPUT="default"
#[Unsafe]
#ETCD_FORCE_NEW_CLUSTER="false"
#[Version]
#ETCD_VERSION="false"
#ETCD_AUTO_COMPACTION_RETENTION="0"
#[Profiling]
#ETCD_ENABLE_PPROF="false"
#ETCD_METRICS="basic"
#[Auth]
#ETCD_AUTH_TOKEN="simple"
EOF 
     
   
  分别在三台机器都安装，以上是etcd集群搭建完成
注:配置文件中的变量ip可以提前修改为要安装的那台机器的ip地址 
  启动etcd服务 
   
   systemctl daemon-reload
systemctl enable etcd
systemctl start etcd
systemctl status etcd 
   
  检查集群是否安装成功方法 
   
   etcdctl --endpoints=https://${etcd1ip}:2379,https://${etcd2ip}:2379,https://${etcd3ip}:2379 --ca-file=/etc/kubernetes/pki/ca.pem --cert-file=/etc/kubernetes/pki/kubernetes.pem --key-file=/etc/kubernetes/pki/kubernetes-key.pem member list
学会使用etcdctl -h的参数，如果不带上面的证书返回是会报错，可以自行验证 
   
  创建flannel 网卡所分配的ip网段,需要先在etcd集群中创建管理 
   
   etcdctl --endpoints=https://${etcd1ip}:2379,https://${etcd2ip}:2379,https://${etcd3ip}:2379 \
--ca-file=/etc/kubernetes/pki/ca.pem \
--cert-file=/etc/kubernetes/pki/kubernetes.pem \
--key-file=/etc/kubernetes/pki/kubernetes-key.pem \
mk /atomic.io/network/config '{"Network":"10.10.0.0/16","SubnetLen":24,"Backend":{"Type":"host-gw"}}'
注：/atomic.io/network 此目录在下面要安装的flannel的/etc/sysconfig/flanneld文件FLANNEL_ETCD_PREFIX字段中有指定,必须保持一致 
   
  检查flannel创建的网段是否成功 
   
   etcdctl --endpoints=https://${etcd1ip}:2379,https://${etcd2ip}:2379,https://${etcd3ip}:2379 \
--ca-file=/etc/kubernetes/pki/ca.pem \
--cert-file=/etc/kubernetes/pki/kubernetes.pem \
--key-file=/etc/kubernetes/pki/kubernetes-key.pem \
get /atomic.io/network/config 
   
  以上ETCD安装完毕并成功分配了内网pod要使用的网段 
   
  二、fannel 网络插件安装 
  此插件安装服务器为node所有节点及master1，其他节点不需要（由于此处我使用的是云平台的负载均衡替换了nginx+keepalived，所以要在所有master节点也安装） 
  安装flannel前确保etcd正常启动 
  flannel插件搭建 
  yum -y install flannel
flannel服务 
  cat > /usr/lib/systemd/system/flanneld.service << EOF
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service
[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
ExecStart=/usr/bin/flanneld-start \
  -etcd-endpoints=\${FLANNEL_ETCD_ENDPOINTS} \
  -etcd-prefix=\${FLANNEL_ETCD_PREFIX} \
  \$FLANNEL_OPTIONS
ExecStartPost=/usr/libexec/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure
[Install]
WantedBy=multi-user.target
RequiredBy=docker.service
EOF 
  flannel配置文件 
  #flannel网络与etcd通讯需要tls证书认证,所以也需要ca.pem,kubernetes.pem,kubernetes-key.pem证书
cat > /etc/sysconfig/flanneld << EOF
# Flanneld configuration options  
# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="https://172.16.0.5:2379,https://172.16.0.6:2379,https://172.16.0.7:2379"
# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/atomic.io/network"      #etcd创建网段目录一致
# Any additional options that you want to pass
FLANNEL_OPTIONS="-etcd-cafile=/etc/kubernetes/pki/ca.pem -etcd-certfile=/etc/kubernetes/pki/kubernetes.pem -etcd-keyfile=/etc/kubernetes/pki/kubernetes-key.pem"     #需要认证证书
EOF 
  flannel启动服务 
   
   systemctl daemon-reload
systemctl enable flanneld
systemctl start flanneld
systemctl status flanneld 
   
  以上flannel安装成功 
   
  三、安装docker 
  安装节点：master1(搭建私有仓库)、所有node节点 
  docker安装 
  yum包安装docker
yum -y install docker 
  docker服务配置文件 
  cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=http://docs.docker.com
After=network.target 
Wants=docker-storage-setup.service
Requires=docker-cleanup.timer

[Service]
Type=notify
NotifyAccess=main
EnvironmentFile=-/run/containers/registries.conf
EnvironmentFile=-/run/flannel/docker               #增加此行,此文件是启动flannel中mk-docker-opts.sh产生的文件,这样docker才可以加入到flannel网络中
EnvironmentFile=-/run/flannel/subnet.env           #增加此行,此文件是启动flannel中mk-docker-opts.sh产生的文件,这样docker才可以加入到flannel网络中
EnvironmentFile=-/etc/sysconfig/docker
EnvironmentFile=-/etc/sysconfig/docker-storage
EnvironmentFile=-/etc/sysconfig/docker-network
Environment=GOTRACEBACK=crash
Environment=DOCKER_HTTP_HOST_COMPAT=1
Environment=PATH=/usr/libexec/docker:/usr/bin:/usr/sbin
ExecStart=/usr/bin/dockerd-current \
          --add-runtime docker-runc=/usr/libexec/docker/docker-runc-current \
          --default-runtime=docker-runc \
          --exec-opt native.cgroupdriver=systemd \
          --userland-proxy-path=/usr/libexec/docker/docker-proxy-current \
          --init-path=/usr/libexec/docker/docker-init-current \
          --seccomp-profile=/etc/docker/seccomp.json \
          $OPTIONS \
          $DOCKER_STORAGE_OPTIONS \
          $DOCKER_NETWORK_OPTIONS \
          $ADD_REGISTRY \
          $BLOCK_REGISTRY \
          $INSECURE_REGISTRY \
      $REGISTRIES
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=1048576
LimitNPROC=1048576
LimitCORE=infinity
TimeoutStartSec=0
Restart=on-abnormal
KillMode=process

[Install]
WantedBy=multi-user.target
EOF 
  先配置flannel网络,再启动docker,这样docker分配到的ip才是之前etcd里创建的的ip段 
   
   systemctl daemon-reload
systemctl enable docker
systemctl start docker
systemctl status dokcer 
   
  以上是dokcer安装完毕 
   
  docker搭建私有仓库 
  搭建私有仓库，在master1上执行以下命令 
   
   docker run -d -p 5000:5000 --restart=always --name="docker-image" --hostname="master1" -v /dockerstore/docker-image:/registry -e REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY=/registry registry 
   
  把下载镜像导入到本地仓库，修改以下内容，然后重启docker
修改以下配置文件，指定本地仓库 
   
   cat > /etc/docker/daemon.json << EOF
{
"insecure-registries": ["172.16.0.2:5000"]
}
EOF 
   
  镜像导入本地仓库 
   
   docker tag k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0 172.16.0.2:5000/k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0
docker push 172.16.0.2:5000/k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0 
   
  三、安装nginx+keepalived 
  先搭建nginx并启动,再搭建keepalived 
  keepalived搭建 
  keepalived安装
yum -y install keepalived 
  nginx检测脚本
cat >/etc/keepalived/check_nginx.sh< /dev/null;echo \$?)
if [[ \$flag != 0 ]];then
        echo "nginx is down,close the keepalived"
        systemctl stop keepalived
fi
EOF

chmod +x /etc/keepalived/check_nginx.sh

keepalived配置文件

cat > /etc/keepalived/keepalived.conf<
 
  keepalived启动服务配置文件 
  cat >/usr/lib/systemd/system/keepalived.service<
 
  keepalived启动服务 
   
   systemctl daemon-reload
systemctl enable keepalived
systemctl start keepalived
systemctl status keepalived 
   
  以上keepalived搭建完成 
   
  nginx搭建 
  nginx安装,为apiserver提供TCP负载和为外网访问提供80入口 
  cd /root/nginx
path=$(pwd)
#安装GCC库
yum -y install gcc gcc-c++ patch

#解压需要安装的模块,模块提前下载好
tar zxvf $path/tengine-2.2.0.tar.gz
tar zxvf $path/tar/openssl-1.0.2p.tar.gz -C $path/src/
tar zxvf $path/tar/zlib-1.2.11.tar.gz -C $path/src/
tar zxvf $path/tar/nginx-accesskey.tar.gz -C $path/src/
tar zxvf $path/tar/lua-nginx-module-0.9.5rc2.tar.gz -C $path/src/
tar zxvf $path/tar/ngx_devel_kit-0.2.19.tar.gz -C $path/src/
unzip $path/tar/pcre-8.40.zip -d $path/src/
unzip $path/tar/waf.zip -d $path/src/
unzip $path/tar/nginx_tcp_proxy_module-master.zip -d $path/src/
unzip $path/tar/ngx_cache_purge-master.zip -d $path/src/

#环境变量
echo "export LD_LIBRARY_PATH=/usr/local/luajit/lib:$LD_LIBRARY_PATH" >> /etc/profile 
echo "export LUAJIT_INC=/usr/local/luajit/include/luajit-2.0" >> /etc/profile
echo "export LUAJIT_LIB=/usr/local/luajit/lib" >> /etc/profile && source /etc/profile

tar zxvf $path/tar/LuaJIT-2.0.5.tar.gz -C $path/src/
cd $path/src/LuaJIT-2.0.5
make PREFIX=/usr/local/luajit
make install PREFIX=/usr/local/luajit

tengine
useradd -s /sbin/nologin nginx
cd $path/tengine-2.2.0
patch -p1 < $path/src/nginx_tcp_proxy_module-master/tcp.patch

./configure --user=nginx --group=nginx \
--prefix=/usr/local/nginx \
--lock-path=/var/run/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx.pid \
--add-module=$path/src/ngx_devel_kit-0.2.19 \
--add-module=$path/src/lua-nginx-module-0.9.5rc2 \
--add-module=$path/src/ngx_cache_purge-master \
--add-module=$path/src/nginx-accesskey-2.0.3 \
--add-module=$path/src/nginx_tcp_proxy_module-master \
--with-pcre=$path/src/pcre-8.40 \
--with-openssl=$path/src/openssl-1.0.2p \
--with-zlib=$path/src/zlib-1.2.11 \
--with-http_ssl_module \
--with-http_realip_module \
--with-http_gzip_static_module \
--with-http_stub_status_module \
--with-http_flv_module \
--with-http_mp4_module \
--with-http_gunzip_module \
--with-http_random_index_module \
--with-http_secure_link_module \
--with-http_auth_request_module \
--with-http_v2_module \
--with-http_addition_module \
--with-http_sub_module \
--with-file-aio \
--with-cc-opt='-O2 -g -pipe -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic' \
--with-ld-opt=-Wl,-rpath,/usr/local/lib

make
make install
echo "alias ng=\"cd /usr/local/nginx/vhost/\"" >> /etc/bashrc
source /etc/bashrc
sourrce /etc/profile
mv $path/src/waf /usr/local/nginx/conf/

ln -s /usr/local/luajit/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2 
  nginx做成服务 
  cat > /usr/lib/systemd/system/nginx.service << EOF
[Unit]
Description=nginx - high performance web server 
After=network.target remote-fs.target nss-lookup.target

[Service] 
Type=forking 
PIDFile=/var/run/nginx.pid 
ExecStartPre=/usr/local/nginx/sbin/nginx -t -c /usr/local/nginx/conf/nginx.conf 
ExecStart=/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf 
ExecReload=/usr/local/nginx/sbin/nginx -s reload 
ExecStop=/usr/local/nginx/sbin/nginx -s stop 
ExecQuit=/usr/local/nginx/sbin/nginx -s quit 
PrivateTmp=true

[Install] 
WantedBy=multi-user.target
EOF
 
  nginx启动服务 
   
   systemctl daemon-reload
systemctl enable nginx
systemctl start nginx 
   
  以上是nginx搭建完成 
  四、开始搭建master中的kube-apiserver,kube-controller-manager,kube-scheduler 
  在三台master服务器中搭建
拷贝二进制文件到/usr/local/bin目录下面 
   
   cd kubernetes/server/bin/ 
   cp kube-apiserver /usr/local/bin 
   cp kube-controller-manager /usr/local/bin 
   cp kube-scheduler /usr/local/bin 
   cp kubectl /usr/local/bin 
   
  kube-apiserver搭建 
  kube-apiserver配置文件 
  cat >/etc/kubernetes/cfg/kube-apiserver<
 
  创建日志目录
mkdir -p /var/log/kubernetes/apiserver/
kube-apiserver服务配置文件 
  cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
After=network.target
After=etcd.service

[Service]
EnvironmentFile=-/etc/kubernetes/cfg/kube-apiserver
ExecStart=/usr/local/bin/kube-apiserver  $KUBE_API_ARGS
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF 
  kube-apiserver启动服务 
   
   systemctl daemon-reload
systemctl enable kube-apiserver
systemctl start kube-apiserver
systemctl status kube-apiserver 
   
  检测kube-apiserver的访问是否正常 
  master1的机器上测试
curl https://172.16.0.2:6443/version --cert  /etc/kubernetes/pki/ca.pem --key /etc/kubernetes/pki/ca-key.pem --cacert /etc/kubernetes/pki/ca.pem 
{
  "major": "1",
  "minor": "12+",
  "gitVersion": "v1.12.0-rc.2",
  "gitCommit": "5a80e28431c7469d677c5b17277266d1da4e5c8d",
  "gitTreeState": "clean",
  "buildDate": "2018-09-21T21:52:36Z",
  "goVersion": "go1.10.4",
  "compiler": "gc",
  "platform": "linux/amd64"

    测试vip访问
    curl https://172.16.0.100:6443/version --cert  /etc/kubernetes/pki/ca.pem --key /etc/kubernetes/pki/ca-key.pem --cacert /etc/kubernetes/pki/ca.pem 
{
  "major": "1",
  "minor": "12+",
  "gitVersion": "v1.12.0-rc.2",
  "gitCommit": "5a80e28431c7469d677c5b17277266d1da4e5c8d",
  "gitTreeState": "clean",
  "buildDate": "2018-09-21T21:52:36Z",
  "goVersion": "go1.10.4",
  "compiler": "gc",
  "platform": "linux/amd64"
 
  kube-controller-manager搭建 
  kube-controller-manager配置文件 
  cat >/etc/kubernetes/cfg/kube-controller-manager <
 
  kube-controller-manager服务配置文件 
  cat > /usr/lib/systemd/system/kube-controller-manager.service <
 
  kube-controller-manager启动服务 
   
   systemctl daemon-reload
systemctl enable kube-controller-manager
systemctl start kube-controller-manager
systemctl status kube-controller-manager 
   
  kube-scheduler搭建 
  kube-scheduler配置文件 
  cat > /etc/kubernetes/cfg/kube-scheduler <
 
  kube-scheduler服务配置文件 
  cat > /usr/lib/systemd/system/kube-scheduler.service <
 
  kube-scheduler启动服务 
  systemctl daemon-reload
systemctl enable kube-scheduler
systemctl start kube-scheduler
systemctl status kube-scheduler 
  以上是master三台服务器上要安装的所有服务 
   
  五、在所有node上安装kubelet,kube-proxy 
  kubelet搭建 
  kubelet配置文件 
  cat > /etc/kubernetes/kubelet.conf << EOF
KUBELET_ARGS="--cgroup-driver=systemd \
--hostname-override=${ip} \
--runtime-cgroups=/systemd/system.slice \
--kubelet-cgroups=/systemd/system.slice \
--cert-dir=/etc/kubernetes/pki \
--bootstrap-kubeconfig=/etc/kubernetes/cfg/bootstrap.kubeconfig \
--kubeconfig=/etc/kubernetes/cfg/kubelet.kubeconfig \
--register-node=true \
--fail-swap-on=false \
--pod-infra-container-image=${dockerstoreip}:5000/k8s.gcr.io/pause-amd64:3.1" #指定私有仓库的基础镜像pause位置,如果不指定后续pod启动会报错
EOF 
  kubelet服务配置文件 
  cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
EnvironmentFile=-/etc/kubernetes/cfg/kubelet.conf
ExecStart=/usr/local/bin/kubelet $KUBELET_ARGS
Restart=on-failure
KillMode=process

[Install]
WantedBy=multi-user.target
EOF 
  kubelet启动服务 
  systemctl daemon-reload
systemctl enable kubelet
systemctl start kubelet
systemctl status kubelet 
  kube-proxy搭建 
  kube-proxy配置文件 
  cat > /etc/kubernetes/cfg/kube-proxy.conf
KUBE_PROXY_ARGS="--bind-address=${ip} --hostname-override=${ip} --cluster-cidr=${clusterip}/16 --kubeconfig=/etc/kubernetes/cfg/kube-proxy.kubeconfig"
EOF 
  kube-proxy服务配置文件 
  cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
EnvironmentFile=-/etc/kubernetes/cfg/kube-proxy.conf
ExecStart=/usr/local/bin/kube-proxy $KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF 
  kube-proxy启动服务 
  systemctl daemon-reload
systemctl enable kube-proxy
systemctl start kube-proxy
systemctl status kube-proxy 
  k8s官网kubernetes-server-linux-amd64.tar.gz包中包括了以下安装的插件,并有相应的yaml文件,只需要下载相应的image镜像文件即可 
  coredns搭建 
  #cd kubernetes/cluster/addons/dns/coredns
#cp coredns.yaml.base coredns.yaml
#vim coredns.yaml文件里面的
data:
  Corefile: |
    .:53 {
        errors
        health
        kubernetes **cluster.local.** in-addr.arpa ip6.arpa {    #修改为cluster.local
            pods insecure
            upstream
            fallthrough in-addr.arpa ip6.arpa
        }

 containers:
      - name: coredns
        image: **registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.2.6**   #镜像如可以下载不需要修改
        imagePullPolicy: IfNotPresent

spec:
  selector:
    k8s-app: kube-dns
  clusterIP:** 169.169.0.2**    #修改为自己clusterip,此ip自己定义即可,但一定要是169.169.0网段
 
  修改完以后执行以下命令即可 
   
   kubectl apply -f coredns.yaml 
   
  检测办法是创建 
  #kubectl run --generator=deployment/apps.v1beta1 is DEPRECATED and will be removed in a future version. Use kubectl create instead.
deployment.apps/nginx created
#root@:#kubectl get pod
NAME                     READY   STATUS    RESTARTS   AGE
nginx-84c94b7c87-p4n2f   1/1     Running   0          9s
#root@:#kubectl exec -it nginx-84c94b7c87-p4n2f /bin/sh
# cat /etc/resolv.conf
nameserver 169.169.0.2      #此处的dnsip为上面coredns设置的ip了
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
 
  dashboard搭建 
  在执行以下操作前要先把kubernetes-dashboard-amd64:v1.10.0镜像放到私有仓库里
#cd kubernetes/cluster/addons/dashboard
#ls
dashboard-configmap.yaml  dashboard-controller.yaml  dashboard-rbac.yaml  dashboard-secret.yaml  dashboard-service.yaml
#vim dashboard-controller.yaml
containers:
      - name: kubernetes-dashboard
        image: 172.16.0.2:5000/k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0  #修改镜像为本地仓镜像
        resources:
#kubectl create -f .
#root@:#kubectl get pod,svc,ep -n kube-system
NAME                                        READY   STATUS    RESTARTS   AGE
pod/coredns-779dfc4d59-25ntp                1/1     Running   0          8h
pod/coredns-779dfc4d59-6bbl2                1/1     Running   0          8h
pod/coredns-779dfc4d59-vjw99                1/1     Running   0          8h
pod/kubernetes-dashboard-66bddbb896-sjg92   1/1     Running   0          2d20h

NAME                           TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)         AGE
service/kube-dns               ClusterIP   169.169.0.2             53/UDP,53/TCP   4d21h
service/kubernetes-dashboard   ClusterIP   169.169.1.125           443/TCP         2d20h

NAME                                ENDPOINTS                                              AGE
endpoints/kube-controller-manager                                                    9d
endpoints/kube-dns                  10.10.2.2:53,10.10.54.2:53,10.10.62.2:53 + 3 more...   4d21h
endpoints/kube-scheduler                                                             9d
endpoints/kubernetes-dashboard      10.10.62.3:8443                                        2d20h
发现dashboard创建成功了

浏览器访问如,可能还会遇到其他问题,请查看我的另外一篇k8s 权限理解文档
https://masterip:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/.
输入用户名和密码,token后出现以下页面

从报错看出权限不对
#vim cluster-rabc.yaml
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: kubernetes-dashboard
subjects:
  - kind: ServiceAccount
    name: kubernetes-dashboard
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io
#kubectl create -f cluster-rabc.yaml
再重新打开页面就正常了
 
   
  到此k8s的web-ui搭建完成

PHP环境搭建详细教程好看资源平台前端 php
PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
docker igotyback eureka 云原生
Docker容器的文件系统是隔离的，但是可以通过挂载卷（Volumes）或绑定挂载（BindMounts）将宿主机的文件系统目录映射到容器内部。要查看Docker容器的映射路径，可以使用以下方法：查看容器配置：使用dockerinspect命令可以查看容器的详细配置信息，包括挂载的卷。例如：bashdockerinspect在输出的JSON格式中，查找"Mounts"部分，这里会列出所有的挂载信息
react-intl——react国际化使用方案苹果酱0567 面试题汇总与解析 java 开发语言中间件 spring boot 后端
国际化介绍i18n：internationalization国家化简称，首字母+首尾字母间隔的字母个数+尾字母，类似的还有k8s(Kubernetes)React-intl是React中最受欢迎的库。使用步骤安装#usenpmnpminstallreact-intl-D#useyarn项目入口文件配置//index.tsximportReactfrom"react";importReactDOMf
06选课支付模块之基于消息队列发送支付通知消息 echo 云清学成在线 java rabbitmq 消息队列支付通知学成在线
消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
docker from指令的含义_多个FROM-含义 weixin_39722188 docker from指令的含义
小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
Dockerfile FROM 两个 redDelta
Docker相关视频讲解：什么是容器Docker介绍实现"DockerfileFROM两个"的步骤步骤表格步骤操作1创建一个Dockerfile文件2写入FROM指令3构建第一个镜像4创建第二个Dockerfile文件5写入FROM指令6构建第二个镜像7合并两个镜像操作步骤说明步骤1：创建一个Dockerfile文件使用任意文本编辑器创建一个名为Dockerfile的文件。登录后复制#Docker
Dockerfile命令详解之 FROM 清风怎不知意容器化 java 前端 javascript
许多同学不知道Dockerfile应该如何写，不清楚Dockerfile中的指令分别有什么意义，能达到什么样的目的，接下来我将在容器化专栏中详细的为大家解释每一个指令的含义以及用法。专栏订阅传送门https://blog.csdn.net/qq_38220908/category_11989778.html指令不区分大小写。但是，按照惯例，它们应该是大写的，以便更容易地将它们与参数区分开来。(引用
Dockerfile（1） - FROM 指令详解小菠萝测试笔记 docker python java cmd 大数据
FROM指明当前的镜像基于哪个镜像构建dockerfile必须以FROM开头，除了ARG命令可以在FROM前面FROM[--platform=][AS]FROM[--platform=][:][AS]FROM[--platform=][@][AS]小栗子FROMalpine:latest一个dockerfile可以有多个FROM可以有多个FROM来创建多个镜像，或区分构建阶段，将一个构建阶段作为另
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
Kubernetes数据持久化看清所苡看轻 kubernetes(k8s)emptyDir HostPath pv pvc kubernetes
在k8s中，Volume（数据卷）存在明确的生命周期（与包含该数据卷的容器组（pod）相同）。因此Volume的生命周期比同一容器组（pod）中任意容器的生命周期要更长，不管容器重启了多少次，数据都被保留下来。当然，如果pod不存在了，数据卷自然退出了。此时，根据pod所使用的数据卷类型不同，数据可能随着数据卷的退出而删除，也可能被真正持久化，并在下次容器组重启时仍然可以使用。从根本上来说，一个数
Kubernetes部署MySQL数据持久化沫殇-MS Kubernetes MySQL数据库 kubernetes mysql 容器
一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
Kubernetes的3种数据持久化方式 Seal^_^ 【云原生】容器化与编排技术持续集成 #Kubernetes kubernetes 容器云原生 EmptyDir 面试 HostPath
Kubernetes的3种数据持久化方式1.EmptyDir2.HostPath3.PersistentVolume(PV)TheBegin点点关注，收藏不迷路Kubernetes提供了几种数据持久化方式，以满足不同场景的需求：1.EmptyDir用途：临时数据存储，Pod内容器间共享。特点：生命周期与Pod相同，Pod删除时数据也删除。2.HostPath用途：访问宿主机特定文件或目录。特点：增
【Kubernetes】常见面试题汇总（十一） summer.335 Kubernetes kubernetes 容器云原生
目录33.简述Kubernetes外部如何访问集群内的服务？34.简述Kubernetesingress？35.简述Kubernetes镜像的下载策略？33.简述Kubernetes外部如何访问集群内的服务？（1）对于Kubernetes，集群外的客户端默认情况，无法通过Pod的IP地址或者Service的虚拟IP地址：虚拟端口号进行访问。（2）通常可以通过以下方式进行访问Kubernetes集群
k8s中Service暴露的种类以及用法听说唐僧不吃肉 K8S kubernetes 容器云原生
一、说明在Kubernetes中，有几种不同的方式可以将服务（Service）暴露给外部流量。这些方式通过定义服务的spec.type字段来确定。二、详解1.ClusterIP定义：默认类型，服务只能在集群内部访问。作用：通过集群内部IP地址暴露服务。示例：spec:type:ClusterIPports:-port:80targetPo
二十四、k8s 资源管理繁华依在 k8s kubernetes 容器云原生
目录一、资源配置范围管理LimitRange介绍1、LimitRange可以做什么：2、资源限制和请求的约束3、创建LimitsRange对象4、示例：创建一个pod5、测试用例测试1：测试2：测试3：二、资源服务质量管理（RequestsQos）1、Qos级别分类：1.1、Guaranteed：1.2、BestEffort：1.3、Burstable：2、Qos的工作特点3、示例三、资源配额管理
Kubernetes 自定义控制器开发 IT回忆录 Kubenetes kubernetes
目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
用kubedam搭建的k8s证书过期处理方法我滴鬼鬼呀wks k8s 1024程序员节
kubeadm部署的k8s证书过期1、查看证书过期时间kubeadmalphacertscheck-expiration若证书已经过期无法试用kubectl命令建议修改服务器时间到未过期的时间段2、配置kube-controller-manager.yaml文件cat/etc/kubernetes/manifests/kube-controller-manager.yamlapiVersion:v
k8s证书过期问题处理 olina_qin kubernetes 容器云原生
k8s证书过期问题处理opensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-dateskubeadmcertsrenewallsystemctlrestartkubeleopensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-text|grep"NotAfter"cp/etc/kubernet
Kubernetes Ingress 控制器（Nginx）安装与使用教程农优影
KubernetesIngress控制器（Nginx）安装与使用教程kubernetes-ingressNGINXandNGINXPlusIngressControllersforKubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kubernetes-ingress1.项目目录结构及介绍在nginxinc/kubernetes-ingress仓库中，
【K8s】专题十一：Kubernetes 集群证书过期处理方法行者Sun1989 Kubernetes kubernetes 云原生容器
本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
Docker学习十一：Kubernetes概述爱打羽球的程序猿 Docker学习系列 docker kubernetes 学习
一、Kubernetes简介2006年，Google提出了云计算的概念，当时的云计算领域还是以虚拟机为代表的云平台。2013年，Docker横空出世，Docker提出了镜像、仓库等核心概念，规范了服务的交付标准，使得复杂服务的落地变得更加简单，之后Docker又定义了OCI标准，Docker在容器领域称为事实的标准。但是，Docker诞生只是帮助定义了开发和交付标准，如果想要在生产环境中大批量的使
Cloud Native Weekly | 华为云抢先发布Redis5.0，红帽宣布收购混合云提供商 weixin_34302561 数据库 devops 大数据
1——华为云抢先发布Redis5.02——DigitalOceanK8s服务正式上线3——红帽宣布收购混合云提供商NooBaa4——微软发布多项AzureKubernetes服务更新1华为云抢先发布Redis5.012月17日，华为云在DCS2.0的基础上，快人一步，抢先推出了新的Redis5.0产品，这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段，华为云率先发布了Re
安装 `privoxy` 将 Socks5 转换为 HTTP 代理 MonkeyKing.sun 网络
(base)shgbitai@shgbitai-C9X299-PGF:~/tools$curl-xhttp://127.0.0.1:1080https://registry-1.docker.io/v2/curl:(56)ProxyCONNECTaborted(base)shgbitai@shgbitai-C9X299-PGF:~/tools$curl-xhttps://127.0.0.1:108
Halo 开发者指南——容器私有化部署 SHENHUANJIE Docker Halo 华为云 SWR Registry
华为云SWR私有化部署镜像构建dockerbuild-thalo-dev/halo:2.20.0.上传镜像镜像标签sudodockertag{镜像名称}:{版本名称}swr.cn-south-1.myhuaweicloud.com/{组织名称}/{镜像名称}:{版本名称}sudodockertaghalo-dev/halo:2.20.0swr.cn-south-1.myhuaweicloud.co
SpringBoot整合ES搜索引擎实现网站热搜词及热度计算码踏云端 springboot Elasticsearch spring boot elasticsearch 后端热搜词热度计算 java
博主简介：历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于
小白 | 华为云docker设置镜像加速器伏一工具安装华为云 docker 容器
一、操作场景通过dockerpull命令下载镜像中心的公有镜像时，往往会因为网络原因而需要很长时间，甚至可能因超时而下载失败。为此，容器镜像服务提供了镜像下载加速功能，帮助您获得更快的下载体验。二、约束与限制构建镜像的客户端所安装的容器引擎（Docker）版本必须为1.11.2及以上。“华北-乌兰察布一”、“亚太-雅加达”、“拉美-墨西哥城一”、“拉美-墨西哥城二”和“拉美-圣保罗一”区域不支持该
docker改容器IP的两种方法 redmond88 linux docker tcp/ip 容器
最简单实用的方法：docker默认的内网网段为172.17.0.0/16，如果公司内网网段也是172.17.x.x的话，就会发生路由冲突。解决办法改路由比较办法，可以一开始就将docker配置的bip改成169.254.0.1/24，可以避免冲突。在daemon配置文件里加个"bip":“169.254.0.1/24”，重启docker就可以了1234[root@st-dev6~]#vim/etc
（k8s）Kubernetes 从0到1容器编排之旅道不贱卖，法不轻传 kubernets kubernetes 容器云原生
一、引言在当今数字化的浪潮中，Kubernetes如同一艘强大的航船，引领着容器化应用的部署与管理。它以其卓越的灵活性、可扩展性和可靠性，成为众多企业和开发者的首选。然而，要真正发挥Kubernetes的强大威力，仅仅掌握基本操作是远远不够的。本文将带你深入探索Kubernetes使用过程中的奇技妙法，为你开启一段优雅的容器编排之旅。二、高级资源管理之精妙艺术1.资源配额与限制：雕琢资源之美•Ku
docker 安装、运行nginx shell脚本三希 docker nginx 容器
以下是一个简单的用于安装和运行DockerNginx的shell脚本：bash#!/bin/bash#安装Docker（如果还未安装）#请根据实际情况调整安装命令#拉取Nginx镜像dockerpullnginx#运行Nginx容器dockerrun-d--namemynginx-p80:80nginx
java线程Thread和Runnable区别和联系 zx_code java jvm thread 多线程 Runnable
我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。模拟窗口买票，第一例子继承thread，代码如下 package thread; public class ThreadTest { public static void main(String[] args) { Thread1 t1 = new Thread1(
【转】JSON与XML的区别比较丁_新 json xml
1.定义介绍 (1).XML定义扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 XML是标
c++ 实现五种基础的排序算法 CrazyMizzz C++c 算法
#include<iostream> using namespace std; //辅助函数，交换两数之值 template<class T> void mySwap(T &x, T &y){ T temp = x; x = y; y = temp; } const int size = 10; //一、用直接插入排
我的软件麦田的设计者我的软件音乐类娱乐放松
这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
linux awk命令详解被触发 linux awk
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
各种语言比较 _wy_ 编程语言
Java Ruby PHP 擅长领域
oracle 中数据类型为clob的编辑知了ing oracle clob
public void updateKpiStatus(String kpiStatus,String taskId){ Connection dbc=null; Statement stmt=null; PreparedStatement ps=null; try { dbc = new DBConn().getNewConnection(); //stmt = db
分布式服务框架 Zookeeper -- 管理分布式环境中的数据矮蛋蛋 zookeeper
原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
tomcat数据源 alafqq tomcat
数据库 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。没有使用JNDI时我用要这样连接数据库： 03. Class.forName("com.mysql.jdbc.Driver"); 04. conn
遍历的方法百合不是茶遍历
遍历在java的泛
linux查看硬件信息的命令 bijian1013 linux
linux查看硬件信息的命令一.查看CPU： cat /proc/cpuinfo 二.查看内存： free 三.查看硬盘： df linux下查看硬件信息 1、lspci 列出所有PCI 设备； lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
java常见的ClassNotFoundException bijian1013 java
1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory 添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization
【Gson五】日期对象的序列化和反序列化 bit1129 反序列化
对日期类型的数据进行序列化和反序列化时，需要考虑如下问题： 1. 序列化时，Date对象序列化的字符串日期格式如何 2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 3. Date A -> str -> Date B,A和B对象是否equals 默认序列化和反序列化 import com
【Spark八十六】Spark Streaming之DStream vs. InputDStream bit1129 Stream
1. DStream的类说明文档： /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous st
通过nginx获取header信息 ronin47 nginx header
1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， if ( $http_cookie ~* "(.*)$") { set $all_cookie $1; } 变量$all_cookie就获得了cookie的值，可以用于运算了
java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 bylijinnan java
参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 写了个java版的： public class Print_1_To_NDigit { /** * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 * 1.使用字符串
Netty源码学习-ReplayingDecoder bylijinnan java netty
ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 http://bylijinnan.iteye.com/blog/1982618 API说，ReplayingDecoder简化了操作，比如： FrameDecoder在decode时，需要判断数据是否接收完全： public class IntegerH
js特殊字符过滤 cngolon js特殊字符 js特殊字符过滤
1.js中用正则表达式过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) { var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）——|{}【】‘；：”“'。，、？]"
hibernate使用sql查询 ctrain Hibernate
import java.util.Iterator; import java.util.List; import java.util.Map; import org.hibernate.Hibernate; import org.hibernate.SQLQuery; import org.hibernate.Session; import org.hibernate.Transa
linux shell脚本中切换用户执行命令方法 daizj linux shell 命令切换用户
经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下： 1、执行单个命令：su - user -c "command" 如：下面命令是以test用户在/data目录下创建test123目录 [root@slave19 /data]# su - test -c "mkdir /data/test123"
好的代码里只要一个 return 语句 dcj3sjt126com return
别再这样写了：public boolean foo() { if (true) { return true; } else { return false;
Android动画效果学习 dcj3sjt126com android
1、透明动画效果方法一：代码实现 public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View rootView = inflater.inflate(R.layout.fragment_main, container, fals
linux复习笔记之bash shell (4)管道命令 eksliang linux管道命令汇总 linux管道命令 linux常用管道命令
转载请出自出处： http://eksliang.iteye.com/blog/2105461 bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？答：非常的经典的一句话，记住了，何为管
Android系统中自定义按键的短按、双击、长按事件 gqdy365 android
在项目中碰到这样的问题：由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 1、单击事件：就是普通key的单击； 2、双击事件：500ms内同一按键单击两次； 3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 4、组合按键：两个以上按键同时按住；
asp.net获取站点根目录下子目录的名称 hvt .net C#asp.net hovertree Web Forms
使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： <asp:ListBox runat="server" ID="lbKeleyiFolder" /> 那么在页面上显示根目录子文件夹的代码如下： string[] m_sub
Eclipse程序员要掌握的常用快捷键 justjavac java eclipse 快捷键 ide
判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。曾有人在豆瓣评《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个程序员图书列表，目的也就是通过读书，让程序员变懒。写道程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
c++编程随记 lx.asymmetric C++笔记
为了字体更好看，改变了格式…… &&运算符： #include<iostream> using namespace std; int main(){ int a=-1,b=4,k; k=(++a<0)&&!(b--
linux标准IO缓冲机制研究音频数据 linux
一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
随想生活暗黑小菠萝生活
其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
我认为POJO是一个错误的概念 windshome java POJO 编程 J2EE 设计
这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。 &

kubernetes 1.12.0 二进制包搭建

本次搭建提K8S集群,所有节点都是以集群方式存在,如下图所示

etcd ip分配:

master ip分配

node ip分配

安装软件版本如下

1.chrony 时间服务器

系统参数优化

cfssl搭建本地CA服务器

创建TLS证书和秘钥说明

创建ca证书签名请求

一，在etcd服务器上安装etcd.service

etcd搭建

分别在三台机器都安装，以上是etcd集群搭建完成注:配置文件中的变量ip可以提前修改为要安装的那台机器的ip地址

二、fannel 网络插件安装

flannel插件搭建

三、安装docker

docker安装

docker搭建私有仓库

三、安装nginx+keepalived

keepalived搭建

nginx搭建

四、开始搭建master中的kube-apiserver,kube-controller-manager,kube-scheduler

kube-apiserver搭建

kube-controller-manager搭建

kube-scheduler搭建

五、在所有node上安装kubelet,kube-proxy

kubelet搭建

kube-proxy搭建

coredns搭建

dashboard搭建

你可能感兴趣的:(k8s,kubernetes,docker,KUBERNETES)

分别在三台机器都安装，以上是etcd集群搭建完成
注:配置文件中的变量ip可以提前修改为要安装的那台机器的ip地址