楚王nedy
楚王nedy

5.kubernetes v1.11二进制部署(二)

第四部分， 配置 Kubernetes 集群

kubectl 安装在所有需要进行操作的机器上（通常在master主机上即可）

Master

Master 需要部署 kube-apiserver , kube-scheduler , kube-controller-manager 这三个组件。

kube-scheduler 作用是调度pods分配到那个node里，简单来说就是资源调度。

kube-controller-manager 作用是 对 deployment controller , replication controller, endpoints controller, namespace controller, and serviceaccounts controller等等的循环控制，与kube-apiserver交互。

Node 需要部署kubelet, kubeproxy

kube-proxy: 作用主要是负责service的实现，具体来说，就是实现了内部从pod到service和外部的从node port向service的访问。

kubelet:  主要功能就是定时从某个地方获取节点上 pod/container 的期望状态（运行什么容器、运行的副本数量、网络或者存储如何配置等等），并调用对应的容器平台接口达到这个状态。集群状态下，kubelet 会从 master 上读取信息

Master节点部分

1 ，安装kubernetes组件

# 从github 上下载v1.11.1版本，并将组件上传到各个安装节点上

cd /tmp && wget https://dl.k8s.io/v1.11.1/kubernetes-server-linux-amd64.tar.gz

tar -xzvf kubernetes-server-linux-amd64.tar.gz && cd kubernetes && cp -r server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler,kubectl,kubelet,kubeadm} /usr/local/bin/

scp server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler,kubectl,kubeadm} 10.180.160.112:/usr/local/bin/

scp server/bin/{kube-proxy,kubelet} 10.180.160.113:/usr/local/bin/

scp server/bin/{kube-proxy,kubelet} 10.180.160.114:/usr/local/bin/

scp server/bin/{kube-proxy,kubelet} 10.180.160.115:/usr/local/bin/

2.创建 admin 证书

kubectl 与 kube-apiserver 的安全端口通信，需要为安全通信提供 TLS 证书和秘钥。

cd /opt/ssl/ && vi admin-csr.json

{

  "CN": "admin",

  "hosts": [],

  "key": {

    "algo": "rsa",

    "size": 2048

  },

  "names": [

    {

      "C": "CN",

      "ST": "ShenZhen",

      "L": "ShenZhen",

      "O": "system:masters",

      "OU": "System"

    }

  ]

}

# 生成 admin 证书和私钥

cd /opt/ssl/

/opt/local/cfssl/cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \

  -ca-key=/etc/kubernetes/ssl/ca-key.pem \

  -config=/opt/ssl/config.json \

  -profile=kubernetes admin-csr.json | /opt/local/cfssl/cfssljson -bare admin

5.kubernetes v1.11二进制部署(二)_第1张图片

# 查看生成

[root@kubernetes-110 ssl]# ls admin*

admin.csr  admin-csr.json  admin-key.pem  admin.pem

cp admin*.pem /etc/kubernetes/ssl/

scp admin*.pem 10.180.160.112:/etc/kubernetes/ssl/

3， 生成 kubernetes 配置文件

生成证书相关的配置文件存储与 /root/.kube 目录中

# 配置 kubernetes 集群

kubectl config set-cluster kubernetes \

  --certificate-authority=/etc/kubernetes/ssl/ca.pem \

  --embed-certs=true \

  --server=https://127.0.0.1:6443

# 配置 客户端认证

kubectl config set-credentials admin \

  --client-certificate=/etc/kubernetes/ssl/admin.pem \

  --embed-certs=true \

  --client-key=/etc/kubernetes/ssl/admin-key.pem

kubectl config set-context kubernetes \

  --cluster=kubernetes \

  --user=admin

kubectl config use-context kubernetes

4， 创建 kubernetes 证书

cd /opt/ssl && vi kubernetes-csr.json

{

  "CN": "kubernetes",

  "hosts": [

    "127.0.0.1",

    "10.180.160.110",

    "10.180.160.112",

    "10.180.160.113",

    "10.180.160.114",

    "10.180.160.115",

    "10.254.0.1",

    "kubernetes",

    "kubernetes.default",

    "kubernetes.default.svc",

    "kubernetes.default.svc.cluster",

    "kubernetes.default.svc.cluster.local"

  ],

  "key": {

    "algo": "rsa",

    "size": 2048

  },

  "names": [

    {

      "C": "CN",

      "ST": "ShenZhen",

      "L": "ShenZhen",

      "O": "k8s",

      "OU": "System"

    }

  ]

}

## 这里 hosts 字段中 三个 IP 分别为 127.0.0.1 本机， 10.180.160.110 和 10.180.160.112 为 Master 的IP，多个Master需要写多个。  10.254.0.1 为 kubernetes SVC 的 IP， 一般是 部署网络的第一个IP , 如: 10.254.0.1 ， 在启动完成后，我们使用  kubectl get svc ， 就可以查看到

5， 生成 kubernetes 证书和私钥

/opt/local/cfssl/cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \

  -ca-key=/etc/kubernetes/ssl/ca-key.pem \

  -config=/opt/ssl/config.json \

  -profile=kubernetes kubernetes-csr.json | /opt/local/cfssl/cfssljson -bare kubernetes

5.kubernetes v1.11二进制部署(二)_第2张图片

6， 查看生成

[root@kubernetes-110 ssl]# ls -lt kubernetes*

-rw-r--r-- 1 root root 1261 11月 16 15:12 kubernetes.csr

-rw------- 1 root root 1679 11月 16 15:12 kubernetes-key.pem

-rw-r--r-- 1 root root 1635 11月 16 15:12 kubernetes.pem

-rw-r--r-- 1 root root  475 11月 16 15:12 kubernetes-csr.json

# 拷贝到目录

cp kubernetes*.pem /etc/kubernetes/ssl/

scp kubernetes*.pem 10.180.160.112:/etc/kubernetes/ssl/

7，配置 kube-apiserver

kubelet 首次启动时向 kube-apiserver 发送 TLS Bootstrapping 请求，kube-apiserver 验证 kubelet 请求中的 token 是否与它配置的 token 一致，如果一致则自动为 kubelet生成证书和秘钥。

# 生成 token

[root@kubernetes-m1 ssl]# head -c 16 /dev/urandom | od -An -t x | tr -d ' '

827a9687e31668f263db7f1d90bbe890

# 创建 encryption-config.yaml 配置【注意修改为如上的token】

cat > encryption-config.yaml <

kind: EncryptionConfig

apiVersion: v1

resources:

  - resources:

      - secrets

    providers:

      - aescbc:

          keys:

            - name: key1

              secret: 827a9687e31668f263db7f1d90bbe890

      - identity: {}

EOF

# 拷贝

cp encryption-config.yaml /etc/kubernetes/

scp encryption-config.yaml 10.180.160.112:/etc/kubernetes/

# 生成高级审核配置文件

> 官方说明 https://kubernetes.io/docs/tasks/debug-application-cluster/audit/

>

> 如下为最低限度的日志审核

cd /etc/kubernetes

cat >> audit-policy.yaml <

# Log all requests at the Metadata level.

apiVersion: audit.k8s.io/v1beta1

kind: Policy

rules:

- level: Metadata

EOF

# 拷贝

scp audit-policy.yaml 10.180.160.112:/etc/kubernetes/

8，创建 kube-apiserver.service 文件

# 自定义 系统 service 文件一般存于 /etc/systemd/system/ 下

# 配置为 各自的本地 IP

vi /etc/systemd/system/kube-apiserver.service

[Unit]

Description=Kubernetes API Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=network.target

[Service]

User=root

ExecStart=/usr/local/bin/kube-apiserver \

  --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,NodeRestriction \

  --anonymous-auth=false \

  --experimental-encryption-provider-config=/etc/kubernetes/encryption-config.yaml \

  --advertise-address=10.180.160.110 \

  --allow-privileged=true \

  --apiserver-count=3 \

  --audit-policy-file=/etc/kubernetes/audit-policy.yaml \

  --audit-log-maxage=30 \

  --audit-log-maxbackup=3 \

  --audit-log-maxsize=100 \

  --audit-log-path=/var/log/kubernetes/audit.log \

  --authorization-mode=Node,RBAC \

  --bind-address=0.0.0.0 \

  --secure-port=6443 \

  --client-ca-file=/etc/kubernetes/ssl/ca.pem \

  --kubelet-client-certificate=/etc/kubernetes/ssl/kubernetes.pem \

  --kubelet-client-key=/etc/kubernetes/ssl/kubernetes-key.pem \

  --enable-swagger-ui=true \

  --etcd-cafile=/etc/kubernetes/ssl/ca.pem \

  --etcd-certfile=/etc/kubernetes/ssl/etcd.pem \

  --etcd-keyfile=/etc/kubernetes/ssl/etcd-key.pem \

  --etcd-servers=https://10.180.160.110:2379,https://10.180.160.112:2379,https://10.180.160.113:2379 \

  --event-ttl=1h \

  --kubelet-https=true \

  --insecure-bind-address=127.0.0.1 \

  --insecure-port=8080 \

  --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \

  --service-cluster-ip-range=10.254.0.0/18 \

  --service-node-port-range=30000-32000 \

  --tls-cert-file=/etc/kubernetes/ssl/kubernetes.pem \

  --tls-private-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \

  --enable-bootstrap-token-auth \

  --v=1

Restart=on-failure

RestartSec=5

Type=notify

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

# --experimental-encryption-provider-config ，替代之前 token.csv 文件

# 这里面要注意的是 --service-node-port-range=30000-32000

# 这个地方是 映射外部端口时 的端口范围，随机映射也在这个范围内映射，指定映射端口必须也在这个范围内。

9，启动 kube-apiserver

systemctl daemon-reload

systemctl enable kube-apiserver.service

systemctl start kube-apiserver.service

systemctl status kube-apiserver.service

# 如果报错 请使用

journalctl -f -t kube-apiserver  和 journalctl -u kube-apiserver 来定位问题

10,  配置 kube-controller-manager

新增加几个配置，用于自动 续期证书 –feature-gates=RotateKubeletServerCertificate=true

–experimental-cluster-signing-duration=86700h0m0s

# 创建 kube-controller-manager.service 文件

vi /etc/systemd/system/kube-controller-manager.service

[Unit]

Description=Kubernetes Controller Manager

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]

ExecStart=/usr/local/bin/kube-controller-manager \

  --address=0.0.0.0 \

  --master=http://127.0.0.1:8080 \

  --allocate-node-cidrs=true \

  --service-cluster-ip-range=10.254.0.0/18 \

  --cluster-cidr=10.254.64.0/18 \

  --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem \

  --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem \

  --feature-gates=RotateKubeletServerCertificate=true \

  --controllers=*,tokencleaner,bootstrapsigner \

  --experimental-cluster-signing-duration=86700h0m0s \

  --cluster-name=kubernetes \

  --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem \

  --root-ca-file=/etc/kubernetes/ssl/ca.pem \

  --leader-elect=true \

  --node-monitor-grace-period=40s \

  --node-monitor-period=5s \

  --pod-eviction-timeout=5m0s \

  --v=2

Restart=on-failure

RestartSec=5

[Install]

WantedBy=multi-user.target

启动 kube-controller-manager

systemctl daemon-reload

systemctl enable kube-controller-manager.service

systemctl start kube-controller-manager.service

systemctl status kube-controller-manager.service

# 如果报错 请使用

journalctl -f -t kube-controller-manager  和 journalctl -u kube-controller-manager 来定位问题

11，配置 kube-scheduler

# 创建 kube-cheduler.service 文件

vi /etc/systemd/system/kube-scheduler.service

[Unit]

Description=Kubernetes Scheduler

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]

ExecStart=/usr/local/bin/kube-scheduler \

  --address=0.0.0.0 \

  --master=http://127.0.0.1:8080 \

  --leader-elect=true \

  --v=1

Restart=on-failure

RestartSec=5

[Install]

WantedBy=multi-user.target

启动 kube-scheduler

systemctl daemon-reload

systemctl enable kube-scheduler.service

systemctl start kube-scheduler.service

systemctl status kube-scheduler.service

12， 验证 Master 节点

[root@kubernetes-110 ~]# kubectl get componentstatuses

NAME                STATUS    MESSAGE              ERROR

controller-manager  Healthy  ok                 

scheduler            Healthy  ok                 

etcd-2              Healthy  {"health": "true"} 

etcd-0              Healthy  {"health": "true"} 

etcd-1              Healthy  {"health": "true"}

5.kubernetes v1.11二进制部署(二)_第3张图片

[root@kubernetes-112 ~]# kubectl get componentstatuses

NAME                STATUS    MESSAGE              ERROR

controller-manager  Healthy  ok                 

scheduler            Healthy  ok                 

etcd-2              Healthy  {"health": "true"} 

etcd-0              Healthy  {"health": "true"} 

etcd-1              Healthy  {"health": "true"} 

5.kubernetes v1.11二进制部署(二)_第4张图片

-----------------------至此Master节点服务配置完成-------------------------------------

Node节点服务

1， 配置 kubelet 认证

kubelet 授权 kube-apiserver 的一些操作 exec run logs 等

# RBAC 只需创建一次就可以

kubectl create clusterrolebinding kube-apiserver:kubelet-apis --clusterrole=system:kubelet-api-admin --user kubernetes

2，创建 bootstrap kubeconfig 文件

注意: token 生效时间为 1day , 超过时间未创建自动失效，需要重新创建 token

# 创建 集群所有 kubelet 的 token

[root@kubernetes-110 kubernetes]# kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:kubernetes-110 --kubeconfig ~/.kube/config

I0705 14:42:22.587674  90997 feature_gate.go:230] feature gates: &{map[]}

1jezb7.izm7refwnj3umncy

[root@kubernetes-110 kubernetes]# kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:kubernetes-112 --kubeconfig ~/.kube/config

I0705 14:42:30.553287  91021 feature_gate.go:230] feature gates: &{map[]}

1ua4d4.9bluufy3esw4lch6

[root@kubernetes-110 kubernetes]# kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:kubernetes-113 --kubeconfig ~/.kube/config

I0705 14:42:35.681003  91047 feature_gate.go:230] feature gates: &{map[]}

r8llj2.itme3y54ok531ops

[root@kubernetes-110 kubernetes]# kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:kubernetes-114 --kubeconfig ~/.kube/config

I0705 14:42:35.681003  91047 feature_gate.go:230] feature gates: &{map[]}

0c9wgx.hilomeeenx1ktenh

[root@kubernetes-110 kubernetes]# kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:kubernetes-115 --kubeconfig ~/.kube/config

I0705 14:42:35.681003  91047 feature_gate.go:230] feature gates: &{map[]}

us4icn.cifmgket4f1n3486

5.kubernetes v1.11二进制部署(二)_第5张图片

3， 查看生成的 token

[root@kubernetes-110 ssl]# kubeadm token list --kubeconfig ~/.kube/config

TOKEN                    TTL      EXPIRES                    USAGES                  DESCRIPTION              EXTRA GROUPS

045jch.kjk4acth1vaul6af  23h      2018-08-30T16:51:28+08:00  authentication,signing  kubelet-bootstrap-token  system:bootstrappers:kubernetes-110

0c9wgx.hilomeeenx1ktenh  23h      2018-08-30T16:51:47+08:00  authentication,signing  kubelet-bootstrap-token  system:bootstrappers:kubernetes-114

d54kcm.fykdwkdgkgl8g1fl  23h      2018-08-30T16:51:41+08:00  authentication,signing  kubelet-bootstrap-token  system:bootstrappers:kubernetes-113

i0f9ep.ycmlkypo5ey9e9eq  23h      2018-08-30T16:51:35+08:00  authentication,signing  kubelet-bootstrap-token  system:bootstrappers:kubernetes-112

us4icn.cifmgket4f1n3486  23h      2018-08-30T16:51:56+08:00  authentication,signing  kubelet-bootstrap-token  system:bootstrappers:kubernetes-115

5.kubernetes v1.11二进制部署(二)_第6张图片

4，以下为了区分 会先生成 node 名称加 bootstrap.kubeconfig【注意修改对应的token】

----生成 kubernetes-110

# 生成 110 的 bootstrap.kubeconfig

# 配置集群参数

kubectl config set-cluster kubernetes \

  --certificate-authority=/etc/kubernetes/ssl/ca.pem \

  --embed-certs=true \

  --server=https://127.0.0.1:6443 \

  --kubeconfig=kubernetes-110-bootstrap.kubeconfig

# 配置客户端认证（注意替换对应服务器的TOKEN）

kubectl config set-credentials kubelet-bootstrap \

  --token=045jch.kjk4acth1vaul6af \

  --kubeconfig=kubernetes-110-bootstrap.kubeconfig

# 配置关联

kubectl config set-context default \

  --cluster=kubernetes \

  --user=kubelet-bootstrap \

  --kubeconfig=kubernetes-110-bootstrap.kubeconfig

# 配置默认关联

kubectl config use-context default --kubeconfig=kubernetes-110-bootstrap.kubeconfig

# 拷贝生成的 kubernetes-110-bootstrap.kubeconfig 文件

cp kubernetes-110-bootstrap.kubeconfig /etc/kubernetes/bootstrap.kubeconfig

-----生成 kubernetes-112

# 生成 112 的 bootstrap.kubeconfig

# 配置集群参数

kubectl config set-cluster kubernetes \

  --certificate-authority=/etc/kubernetes/ssl/ca.pem \

  --embed-certs=true \

  --server=https://127.0.0.1:6443 \

  --kubeconfig=kubernetes-112-bootstrap.kubeconfig

# 配置客户端认证（注意替换对应服务器的TOKEN）

kubectl config set-credentials kubelet-bootstrap \

  --token=1ua4d4.9bluufy3esw4lch6 \

  --kubeconfig=kubernetes-112-bootstrap.kubeconfig

# 配置关联

kubectl config set-context default \

  --cluster=kubernetes \

  --user=kubelet-bootstrap \

  --kubeconfig=kubernetes-112-bootstrap.kubeconfig

# 配置默认关联

kubectl config use-context default --kubeconfig=kubernetes-112-bootstrap.kubeconfig

# 拷贝生成的 kubernetes-112-bootstrap.kubeconfig 文件

scp kubernetes-112-bootstrap.kubeconfig 10.180.160.112:/etc/kubernetes/bootstrap.kubeconfig

---生成 kubernetes-113

# 生成 113 的 bootstrap.kubeconfig

# 配置集群参数

kubectl config set-cluster kubernetes \

  --certificate-authority=/etc/kubernetes/ssl/ca.pem \

  --embed-certs=true \

  --server=https://127.0.0.1:6443 \

  --kubeconfig=kubernetes-113-bootstrap.kubeconfig

# 配置客户端认证

kubectl config set-credentials kubelet-bootstrap \

  --token=r8llj2.itme3y54ok531ops \

  --kubeconfig=kubernetes-113-bootstrap.kubeconfig

# 配置关联

kubectl config set-context default \

  --cluster=kubernetes \

  --user=kubelet-bootstrap \

  --kubeconfig=kubernetes-113-bootstrap.kubeconfig

# 配置默认关联

kubectl config use-context default --kubeconfig=kubernetes-113-bootstrap.kubeconfig

# 拷贝生成的 kubernetes-113-bootstrap.kubeconfig 文件

scp kubernetes-113-bootstrap.kubeconfig 10.180.160.113:/etc/kubernetes/bootstrap.kubeconfig

【---------更多节点以此类推------------------------】

5，# 配置 bootstrap RBAC 权限

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --group=system:bootstrappers

# 否则报如下错误(注意)

failed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User "system:bootstrap:1jezb7" cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope

6，创建自动批准相关 CSR 请求的 ClusterRole

vi /etc/kubernetes/tls-instructs-csr.yaml

kind: ClusterRole

apiVersion: rbac.authorization.k8s.io/v1

metadata:

  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver

rules:

- apiGroups: ["certificates.k8s.io"]

  resources: ["certificatesigningrequests/selfnodeserver"]

  verbs: ["create"]

# 导入 yaml 文件

[root@kubernetes-110 opt]# kubectl apply -f /etc/kubernetes/tls-instructs-csr.yaml

clusterrole.rbac.authorization.k8s.io "system:certificates.k8s.io:certificatesigningrequests:selfnodeserver" created

# 查看

[root@kubernetes-110 opt]# kubectl describe ClusterRole/system:certificates.k8s.io:certificatesigningrequests:selfnodeserver

Name:        system:certificates.k8s.io:certificatesigningrequests:selfnodeserver

Labels:     

Annotations:  kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"rbac.authorization.k8s.io/v1","kind":"ClusterRole","metadata":{"annotations":{},"name":"system:certificates.k8s.io:certificatesigningreq...

PolicyRule:

  Resources                                                      Non-Resource URLs  Resource Names  Verbs

  ---------                                                      -----------------  --------------  -----

  certificatesigningrequests.certificates.k8s.io/selfnodeserver  []                []              [create]

7，#  将 ClusterRole 绑定到适当的用户组

# 自动批准 system:bootstrappers 组用户 TLS bootstrapping 首次申请证书的 CSR 请求

kubectl create clusterrolebinding node-client-auto-approve-csr --clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient --group=system:bootstrappers

# 自动批准 system:nodes 组用户更新 kubelet 自身与 apiserver 通讯证书的 CSR 请求

kubectl create clusterrolebinding node-client-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient --group=system:nodes

# 自动批准 system:nodes 组用户更新 kubelet 10250 api 端口证书的 CSR 请求

kubectl create clusterrolebinding node-server-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeserver --group=system:nodes

9， 创建 kubelet.service 文件

关于 kubectl get node 中的 ROLES 的标签【关于标签一直没太明白，后续仔细研究一下】

单 Master 打标签 kubectl label node kubernetes-m1 \ node-role.kubernetes.io/master=””

这里需要将 单Master 更改为 NoSchedule

更新标签命令为 kubectl taint nodes kubernetes-m1 node-role.kubernetes.io/master=:NoSchedule

既 Master 又是 node 打标签 kubectl label node kubernetes-m2 node-role.kubernetes.io/master=””

单 Node 打标签 kubectl label node kubernetes-m3 node-role.kubernetes.io/node=””

关于删除 label 可使用 - 号相连 如: kubectl label nodes kubernetes-m2 node-role.kubernetes.io/node-

动态 kubelet 配置

官方说明 https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/ https://kubernetes.io/docs/tasks/administer-cluster/reconfigure-kubelet/

目前官方还只是 beta 阶段, 动态配置 json 的具体参数可以参考

https://github.com/kubernetes/kubernetes/blob/release-1.10/pkg/kubelet/apis/kubeletconfig/v1beta1/types.go

10，# 创建 kubelet 目录

vi /etc/systemd/system/kubelet.service

[Unit]

Description=Kubernetes Kubelet

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=docker.service

Requires=docker.service

[Service]

WorkingDirectory=/var/lib/kubelet

ExecStart=/usr/local/bin/kubelet \

  --hostname-override=kubernetes-113 \

  --pod-infra-container-image=jicki/pause-amd64:3.1 \

  --bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \

  --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \

  --config=/etc/kubernetes/kubelet.config.json \

  --cert-dir=/etc/kubernetes/ssl \

  --logtostderr=true \

  --v=2

[Install]

WantedBy=multi-user.target

# 创建 kubelet config 配置文件

vi /etc/kubernetes/kubelet.config.json

{

  "kind": "KubeletConfiguration",

  "apiVersion": "kubelet.config.k8s.io/v1beta1",

  "authentication": {

    "x509": {

      "clientCAFile": "/etc/kubernetes/ssl/ca.pem"

    },

    "webhook": {

      "enabled": true,

      "cacheTTL": "2m0s"

    },

    "anonymous": {

      "enabled": false

    }

  },

  "authorization": {

    "mode": "Webhook",

    "webhook": {

      "cacheAuthorizedTTL": "5m0s",

      "cacheUnauthorizedTTL": "30s"

    }

  },

  "address": "10.180.160.113",

  "port": 10250,

  "readOnlyPort": 0,

  "cgroupDriver": "cgroupfs",

  "hairpinMode": "promiscuous-bridge",

  "serializeImagePulls": false,

  "RotateCertificates": true,

  "featureGates": {

    "RotateKubeletClientCertificate": true,

    "RotateKubeletServerCertificate": true

  },

  "MaxPods": "512",

  "failSwapOn": false,

  "containerLogMaxSize": "10Mi",

  "containerLogMaxFiles": 5,

  "clusterDomain": "cluster.local.",

  "clusterDNS": ["10.254.0.2"]

}

# 如上配置:

kubernetes-113    本机hostname

10.254.0.2      预分配的 dns 地址

cluster.local.  为 kubernetes 集群的 domain

jicki/pause-amd64:3.1  这个是 pod 的基础镜像，既 gcr 的 gcr.io/google_containers/pause-amd64:3.1 镜像， 下载下来修改为自己的仓库中的比较快。

启动 kubelet

systemctl daemon-reload

systemctl enable kubelet.service

systemctl start kubelet.service

systemctl status kubelet.service

# 如果报错 请使用

journalctl -f -t kubelet  和 journalctl -u kubelet 来定位问题

11，验证 nodes

[root@kubernetes-110 ~]# kubectl get nodes

NAME            STATUS    ROLES    AGE      VERSION

kubernetes-113  Ready          18h      v1.11.1

kubernetes-114  Ready          18h      v1.11.1

kubernetes-115  Ready      18h      v1.11.1

12, 查看 kubelet 生成文件

[root@kubernetes-110 ~]# ls -lt /etc/kubernetes/ssl/kubelet-*

-rw------- 1 root root 1374 4月  23 11:55 /etc/kubernetes/ssl/kubelet-server-2018-04-23-11-55-38.pem

lrwxrwxrwx 1 root root  58 4月  23 11:55 /etc/kubernetes/ssl/kubelet-server-current.pem -> /etc/kubernetes/ssl/kubelet-server-2018-04-23-11-55-38.pem

-rw-r--r-- 1 root root 1050 4月  23 11:55 /etc/kubernetes/ssl/kubelet-client.crt

-rw------- 1 root root  227 4月  23 11:55 /etc/kubernetes/ssl/kubelet-client.key

配置 kube-proxy

13, 创建 kube-proxy 证书

# node端没有装 cfssl,在 master 端机器去配置证书，然后拷贝过来即可

[root@kubernetes-110 ~]# cd /opt/ssl

vi kube-proxy-csr.json

{

  "CN": "system:kube-proxy",

  "hosts": [],

  "key": {

    "algo": "rsa",

    "size": 2048

  },

  "names": [

    {

      "C": "CN",

      "ST": "ShenZhen",

      "L": "ShenZhen",

      "O": "k8s",

      "OU": "System"

    }

  ]

}

生成 kube-proxy 证书和私钥

/opt/local/cfssl/cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \

  -ca-key=/etc/kubernetes/ssl/ca-key.pem \

  -config=/opt/ssl/config.json \

  -profile=kubernetes  kube-proxy-csr.json | /opt/local/cfssl/cfssljson -bare kube-proxy

# 查看生成

ls kube-proxy*

kube-proxy.csr  kube-proxy-csr.json  kube-proxy-key.pem  kube-proxy.pem

# 拷贝到目录

scp kube-proxy* 10.180.160.113:/etc/kubernetes//ssl/

scp kube-proxy* 10.180.160.114:/etc/kubernetes//ssl/

scp kube-proxy* 10.180.160.115:/etc/kubernetes//ssl/

14，创建 kube-proxy kubeconfig 文件

# 配置集群

kubectl config set-cluster kubernetes \

  --certificate-authority=/etc/kubernetes/ssl/ca.pem \

  --embed-certs=true \

  --server=https://127.0.0.1:6443 \

  --kubeconfig=kube-proxy.kubeconfig

# 配置客户端认证

kubectl config set-credentials kube-proxy \

  --client-certificate=/etc/kubernetes/ssl/kube-proxy.pem \

  --client-key=/etc/kubernetes/ssl/kube-proxy-key.pem \

  --embed-certs=true \

  --kubeconfig=kube-proxy.kubeconfig

# 配置关联

kubectl config set-context default \

  --cluster=kubernetes \

  --user=kube-proxy \

  --kubeconfig=kube-proxy.kubeconfig

# 配置默认关联

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

# 拷贝到需要的 node 端里

scp kube-proxy.kubeconfig 10.180.160.113:/etc/kubernetes/

scp kube-proxy.kubeconfig 10.180.160.114:/etc/kubernetes/

scp kube-proxy.kubeconfig 10.180.160.115:/etc/kubernetes/

15. 创建 kube-proxy.service 文件【在各个node节点上】

1.10 官方 ipvs 已经是默认的配置 –masquerade-all 必须添加这项配置，否则 创建 svc 在 ipvs 不会添加规则

打开 ipvs 需要安装 ipvsadm ipset conntrack 软件， 在 node 中安装

yum install ipset ipvsadm conntrack-tools.x86_64 -y

yaml 配置文件中的 参数如下:

https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/apis/kubeproxyconfig/types.go

#[root@kubernetes-113 ~]cd /etc/kubernetes/ && vi  kube-proxy.config.yaml

apiVersion: kubeproxy.config.k8s.io/v1alpha1

bindAddress: 10.180.160.113

clientConnection:

  kubeconfig: /etc/kubernetes/kube-proxy.kubeconfig

clusterCIDR: 10.254.64.0/18

healthzBindAddress: 10.180.160.113

hostnameOverride: kubernetes-113

kind: KubeProxyConfiguration

metricsBindAddress: 10.180.160.113:10249

mode: "ipvs"

# 创建 kube-proxy 目录

vi /etc/systemd/system/kube-proxy.service

[Unit]

Description=Kubernetes Kube-Proxy Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=network.target

[Service]

WorkingDirectory=/var/lib/kube-proxy

ExecStart=/usr/local/bin/kube-proxy \

  --config=/etc/kubernetes/kube-proxy.config.yaml \

  --logtostderr=true \

  --v=1

Restart=on-failure

RestartSec=5

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

启动 kube-proxy

systemctl daemon-reload

systemctl enable kube-proxy.service

systemctl start kube-proxy.service

systemctl status kube-proxy.service

# 如果报错 请使用

journalctl -f -t kube-proxy  和 journalctl -u kube-proxy 来定位问题

16, # 检查  ipvs

[root@kubernetes-113 ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP  10.254.0.1:443 rr persistent 10800

  -> 172.16.1.64:6443            Masq    1      0          0       

  -> 172.16.1.65:6443            Masq    1      0          0 

# 如果报错 请使用

journalctl -f -t kube-proxy  和 journalctl -u kube-proxy 来定位问题

---------至此  Node 端的服务安装完毕------------------------

你可能感兴趣的:(5.kubernetes v1.11二进制部署(二))

  • ⭐算法入门⭐《归并排序》简单01 —— LeetCode 21. 合并两个有序链表 英雄哪里出来 《LeetCode算法全集》算法数据结构链表c++归并排序
    饭不食，水不饮，题必须刷C语言免费动漫教程，和我一起打卡！《光天化日学C语言》LeetCode太难？先看简单题！《C语言入门100例》数据结构难？不存在的！《数据结构入门》LeetCode太简单？算法学起来！《夜深人静写算法》文章目录一、题目1、题目描述2、基础框架3、原题链接二、解题报告1、思路分析2、时间复杂度3、代码详解三、本题小知识一、题目1、题目描述  将两个不降序链表合并为一个新的不降
  • 息县一中第二期心理咨询培训第四组分享第五天 bcf0473e009c
    今天在组长的带领下我们一组6人在五楼小会议室进行了一次复盘学习，大家都发表了自己的学习心得，令我感触良多。经过第一次的学习，初次了解聚焦正向的含义，朱老师说的两句话让我印象很深“不以改变为目的，才有改变的机会”“关系大于方式，方式大于内容”遇到学生的问题时，不要想着上来就去改变他，对他的说教只会让他更加封闭自己，更不要想着会去改变他，要换种思维方式，试着把关系搞好，可以从兴趣爱好入手，打开他的内心
  • 2021-04-06 吕志刚l
    京❤️达总店：吕志刚2021年4月5日落地真经严格就是爱，放纵既是害目标确认目标:油卡目标：30个完成1个。今日体验，在面对困难的时候或挫折时，我们要相信自己有能力和有办法去克服它。一要凡事不抱怨；二是不把事情严重化，而是简单化。三是多看自己优点。
  • ajax的同源策略 Spring_Bear
    问题之前帮忙做的广告机器人数据提交的部分，利用ajax的XMLHTTPRequest提交到服务器的时候总是报错，错误类型是不同源。想到浏览器中的同源策略，明白了问题的原因。同源策略简单的说，就是浏览器不允许两个不同源的域名之间交换信息，那么这里就有两个问题。一是，什么信息不允许交换；二是，怎样算不同源。阮一峰的这篇博客浏览器同源政策及其规避方法其实已经介绍得比较清楚。引用一下，第一个问题：目前，如
  • 五分钟手机美食插画教程194-秋葵 藩鼠
    图片发自App图片发自App工具：procreatepocket+手指第一步：用浅绿色木炭块画笔画一个小花瓣第二步：用墨绿色木炭块画笔在长长的三角形第三步：用浅墨绿色木炭块画笔画秋葵的另一个面第四步：用绿色杂色画笔在秋葵表面刷纹理第五步：用白色木炭块画笔画截面小圆珠
  • 【8月星座运势】巨蟹座金钱至上、天蝎贵人相助、双鱼座平衡万物 筝筝陪你看星星
    本月重大天象8月2日星期二满月@水瓶座「集思广益、团体活动」水瓶座满月可能带来更强烈的情感和思维的挑战，存在更多的预料不及的突发事件，但同时也增加了对真理和公正的透视力。我们可能会感到更加亲近科技和革新的想法。对于自我实现，人道主义，团体活动和创新有着重要的影响。同时，满月会让我们进行反思，修改策略并将精力投入到这些领域。8月16日星期三新月@狮子座「展翅翱翔、积极自信」新月发生在狮子座是创造性，
  • 好看的vue登录页面(附 源代码 背景图) 小小薛定谔 vue.jsjavascriptcss前端
    一、效果展示二、代码你好!欢迎回来登录忘记密码?注册exportdefault{name:"MedLogin",data(){return{confirm_disabled:false,loginForm:{no:'',password:''},rules:{no:[{required:true,message:'请输入账号',trigger:'blur'},{min:3,max:6,messag
  • 《读屈原《渔夫》有感》 丁宁_143a
    其一:水清可濯缨，水浊能涤足。万法皆随缘，不变唯真如。其二:察察之身受汶汶，浩浩之白蒙尘埃。屈公不勘世俗累，不见芙蕖淤泥来。
  • 希希~嗯嗯~ 猪猪女孩小哒哒
    电话铺垫无聊天当天来上课的情况：外婆陪三岁的希希，妈妈陪小的大的上课规则感建立的还算不错，二的满场跑完全坐不住妈妈想找外教早教机构，因为大的在托班，里面会有数学、外教等分支教学课程。老二妈妈没怎么带教二宝。妈妈想给她找语言妈妈问有没有英文我的回答是英文课会有中教，应该回答中外教一起妈妈夸赞宝宝10个月会走了，今天见到的情形是宝宝走几步路就会跌倒，没有联系过爬，就开始走，长大以后模仿别人动作上面做的
  • 20200105善忘 陆水手
    人是善忘的。晚上跟妈妈视频，说起最近村里有个中年人过逝，他家的天塌了，妈妈两晚没睡好。今年村里四队也有个中年人过逝了，他妈妈本来很胖的，现在很瘦，最近老来我家对门的门诊输液。后来，一不小心又聊到以往的苦难，妈妈又流了一把泪。我有的时候不惜命，及时行乐或得过且过，忘了自己肩上还有很多责任。不让家人担心，也是自己的责任。偶尔热血，却总是善忘。说起人生的苦，我跟妈妈说，既然这样我就不要二胎了，省的它以后
  • 第十八单元自动化持续集成 胖虎大魔王
    一、概念互联网软件的开发和发布，已经形成了一套标准流程，最重要的组成部分就是持续集成（简称CI）。1、持续集成（采蜜）持续集成：频繁的将代码集成到主干。好处：1）、快速发现错误2）、防止分支大幅偏离主干。2、持续交付持续交付：频繁的将软件的新版本，交给测试，代码通过后，代码就进入生产阶段。3.持续部署持续部署：代码通过评审以后，主动部署到生产环境。目标：代码在任何时刻都是可部署的，可以进入生产阶段
  • 【周总结】第六期第7周29叮当 29_叮当
    时间：2019.6.24——2019.6.30【本周计划/总结】一、职业发展注会复习备考。计划一天八小时复习。二、财务状况收支正常，还有账未收回，等段时间再催。三、健康每日1万步，7天完成；治疗白发，6天；平板支撑最近没坚持；每天锻炼完后拉伸，疏通经络；体重下降。图片发自App四、娱乐没什么娱乐活动。五、朋友与重要他人哥哥和侄子都回来了，家人团聚，老人很开心。一家人难得相聚六、家庭做好每周的清洁，
  • 每日片刻诗情画意之2022-06-28 人生下伴场
    #日诵诗情，画意日趣#人生下伴场-每日诗情画意#日诵之20220628春怨刘方平纱窗日落渐黄昏，金屋无人见泪痕。寂寞空庭春欲晚，梨花满地不开门。1、春怨是古代诗词的经典主题系列，除了民间夫君出远门或者思念意中人之外，宫廷锁春深也是常见的内容。刘方平的这一首我是第一次读到，第二句“金屋无人见泪痕”不知道是金屋藏娇的由来还是引用。2、梨花满地不开门，让我想起李清照《声声慢》词中“满地黄花堆积”、“寻寻
  • 鹧鸪天.悼南师大教授邓红梅老师逝世三周年 阿满_d6bf
    二月朔风冷雨狂，梅庭吹落素花香。可怜玄府寒泉夜，苦恨青天白日乡。忆往事，叹悲伤。龙钟掬泪寄何方？当年绛帐聆师语，今日音容永渺茫！
  • 基于Python执行lua脚本 xu-jssy Python自动化脚本pythonlua自动化rpa
    一、依赖安装pipinstalllupa二、源码将lua文件存放在base_path路径，将lua文件名称（不包含后缀名）传递给lua_runner函数即可importmultiprocessingimportlupa#lua文件存放位置base_path='D:\\test\\lua'classLuaFuncion:#创建Lua运行时环境lua=lupa.LuaRuntime(unpack_re
  • 裸辞的第二天 狸离不开
    现在是2019.12.8，凌晨1:26。身边的人已经入睡很久，可是我不想睡。偷偷跑去旁边的房间哭了几分钟，前公司的领导说我穿着一身厚厚的盔甲，说我缺乏安全感。我看着身边熟睡的男人，我确实很缺乏安全感，害怕自己不够优秀，有天他会离我而去。我真的很想很想让自己变得优秀，让他对我刮目相看，或者在他离开我的时候我能坦然面对。有时候又想假如我是一个人多好，我不必有太多顾虑，去做自己想做的事情就好，不会有人来
  • word转html制作操作手册,Word文档转换为HTML帮助文档操作手册范本.pdf 想吃草莓干 word转html制作操作手册
    Word文档转换为HTML帮助文档操作手册一、使用到的软件DOC2CHMDreamweaverCS3Helpandmanual4二、操作步骤1.先建立一个工作目录。如hhwork。2.将需要转换的文件复制到此工作目录下。如果是中文文件名，最好将其改为英文文件名。例：现在要将《小神探点检定修信息管理系统使用手册0.3.6.doc》转换为Html格式的帮助文档，首先将此文档复制到hhwork目录下并将
  • 一种从钕铁硼磁材废料中回收Co元素的简便化工业方法 小不点磁铁
    一种从钕铁硼磁材废料中回收Co元素的简便化工业方法。本发明公布了一种从钕铁硼磁材废料中回收Co元素的简便化工业方法，其包括物料氧化、优溶浸出、氧化水解、钴元素回收和化合物制备等步骤。本发明的技术路线设计，巧妙的将Co元素所具备的变价特性，以及二价Co和三价Co的稳定性差异结合在一起。根据本发明技术，可以将Co回收的工艺环节与国内钕铁硼废料回收行业现有的回收稀土装置线之间实现流程匹配和技术集成。在技
  • IGBT模块直流参数测试系统STD6500 tianshili029 晶体管参数测试系统半导体特性曲线图示仪
    陕西天士立科技有限公司IGBT模块直流参数测试系统STD6500IGBT模块直流参数测试系统ST-DC6500基础信息开发背景：大功率IGBT和Diode模块j静态参数程控式设备技术标准：IEC60747-2/GB/T4023-1997半导体器件分立器件和集成电路第2部分（整流二极管）技术标准：IEC60747-9∶2007/GB/T29332-2012半导体器件分立器件第9部分（绝缘栅双极晶体管
  • HTTPS 安全最佳实践（一）之SSLTLS部署 SHENHUANJIE HTTPSSSLTLS
    SSL/TLS是一种简单易懂的技术，它很容易部署及运行。但想要部署的安全通常是不容易的。这也使系统管理员和开发者不得不去了解SSL和TLS相关的技术，掌握如何配置一个安全的web服务器或应用。无疑会耗费很大的精力去看相关的技术文档，乏味且宽泛。受理SSL数字证书客户问题，包括产品咨询、技术支持、投诉受理、建议反馈，以及购买帮助等。1证书和私钥在TLS中，所有的安全性都从服务器的密码标识开始；需要一
  • Halo 开发者指南——容器私有化部署 SHENHUANJIE DockerHalo华为云SWRRegistry
    华为云SWR私有化部署镜像构建dockerbuild-thalo-dev/halo:2.20.0.上传镜像镜像标签sudodockertag{镜像名称}:{版本名称}swr.cn-south-1.myhuaweicloud.com/{组织名称}/{镜像名称}:{版本名称}sudodockertaghalo-dev/halo:2.20.0swr.cn-south-1.myhuaweicloud.co
  • 机电综合管理系统架构 小熊coder 机载系统系统架构
    文章目录一、机电综合管理系统架构1.系统概述2.架构层次3.核心组件二、余度管理1.余度概述2.硬件冗余3.软件冗余4.通信冗余三、总线架构1.MIL-STD-1553B总线2.ARINC429总线3.ARINC629总线4.AFDX/ARINC664总线四、未来发展趋势1.分布式架构2.高速网络3.智能化与自动化结语机电综合管理系统（ElectromechanicalManagementSyst
  • 2023-06-15 小金119
    我对访谈阶段的认识：第一、【要放松】对比了李娜老师和曼姨的访谈，我感受到曼姨的放松、从容。访谈就是逐步了解个案，不是带着必须要完成任务去交谈。是谈着谈着就发现了主要问题，而不是带着［访谈阶段要完成相关任务］的压力去访谈。催眠师比个案还紧张的话，个案就不好敞开了。催眠师很轻松的和对方聊天，对方也会放松，容易敞开。第二、【专注并好奇】催眠师一直专注在个案身上，对个案保持好奇。对于个案的答案，能继续提出
  • python使用MD5 18.程序员 哈希算法算法
    一、要使用Python进行MD5加密，可以使用Python标准库中的hashlib模块。二、案例importhashlibstring="Hello,World!"#要进行加密的字符串hash_object=hashlib.md5(string.encode())#将字符串编码并进行MD5加密hash_hex=hash_object.hexdigest()#获取加密后的十六进制字符串print(h
  • 2018-08-11 daring婧
    贩卖毒品是法律严厉打击的行为，却依然有人铤而走险、以身试法，但最终得到的只会是法律的惩罚。贩卖毒品谋取小利，不知悔改“二进宫”黄某曾于2016年12月29日因贩卖毒品罪被钦州市钦南区人民法院判处有期徒刑十个月，缓刑一年。但得到缓刑机会的黄某却不以为然，认为只要贩卖毒品的数量不大，就不会被抓进看守所，依旧继续贩卖着毒品。2018年4月11日，黄某在钦州市钦南区四马路将1小包毒品海洛因（净重0.1克）
  • 华为云分布式缓存服务DCS与开源服务差异对比 hcinfo_18 redis使用华为云Redis5.0分布式缓存服务Redis客户端
    分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。用户可以聚焦于业务逻辑本身，而无需过多考虑部署、监控、扩容、安全、故障恢复等方面的问题。DCS基于开源Redis、Memcached向用户提供一定程度定制化的缓存服务，因此，除了拥有开源服务缓存数据库的优秀特性，DCS提供更多实用功能。一、与开源Red
  • axios 请求封装 web Rookie 工作前端javascriptajax
    文章目录1.前言2.axios下载3.代码实现4.实际使用1.前言本文是对于axios的二次封装处理，axios是一个基于Promise的网络请求库，作用于node.js和浏览器中；本文对于axios中的封装着重于直接使用，如果想要学习axios相关知识可以先行离开，后续在对其进行完善2.axios下载npminstallaxios3.代码实现//request.tsimportaxios,{Ax
  • 小白 | 华为云docker设置镜像加速器 伏一 工具安装华为云docker容器
    一、操作场景通过dockerpull命令下载镜像中心的公有镜像时，往往会因为网络原因而需要很长时间，甚至可能因超时而下载失败。为此，容器镜像服务提供了镜像下载加速功能，帮助您获得更快的下载体验。二、约束与限制构建镜像的客户端所安装的容器引擎（Docker）版本必须为1.11.2及以上。“华北-乌兰察布一”、“亚太-雅加达”、“拉美-墨西哥城一”、“拉美-墨西哥城二”和“拉美-圣保罗一”区域不支持该
  • 【Python】已解决：TypeError: unsupported operand 屿小夏 pythonjavaandroid
    文章目录一、分析问题背景出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：TypeError:unsupportedoperand一、分析问题背景TypeError:unsupportedoperand是Python中常见的一类错误，通常在尝试对不兼容的数据类型进行操作时发生。比如，当你尝试对字符串和整数进行加法操作时，Python会抛出这一错误。这样的错误通常发
  • L经理和F采购夫妻俩离职 快乐春鸟
    那天，W厂L经理和F采购夫妻俩辞工到期，双双离职。办公室的所有人员都到酒店去聚餐，为他们两口子开欢送会。而车间所有的员工则是聚在厂门囗，望着他们夫妻俩坐上去酒店的车子，为他们作另类的送别。待那车子一起动，有人就大声吟诵毛主席的《七律·送瘟神二首》:"绿水青山枉自多，华佗无奈小虫何。…………牛郎欲问瘟神事，一样悲欢逐逝波。…………天连五岭银锄落，地动山河铁臂摇。借问瘟神欲何往，纸船明烛照天烧。"原来
  • 异常的核心类Throwable 无量 java源码异常处理exception
    java异常的核心是Throwable，其他的如Error和Exception都是继承的这个类 里面有个核心参数是detailMessage，记录异常信息，getMessage核心方法，获取这个参数的值，我们可以自己定义自己的异常类，去继承这个Exception就可以了，方法基本上，用父类的构造方法就OK，所以这么看异常是不是很easy package com.natsu;
  • mongoDB 游标（cursor） 实现分页 迭代 开窍的石头 mongodb
    上篇中我们讲了mongoDB 中的查询函数，现在我们讲mongo中如何做分页查询      如何声明一个游标        var mycursor = db.user.find({_id:{$lte:5}});       迭代显示游标数
  • MySQL数据库INNODB 表损坏修复处理过程 0624chenhong tomcatmysql
    最近mysql数据库经常死掉，用命令net stop mysql命令也无法停掉，关闭Tomcat的时候，出现Waiting for N instance(s) to be deallocated 信息。查了下，大概就是程序没有对数据库连接释放，导致Connection泄露了。因为用的是开元集成的平台，内部程序也不可能一下子给改掉的，就验证一下咯。启动Tomcat,用户登录系统，用netstat -
  • 剖析如何与设计人员沟通 不懂事的小屁孩 工作
    最近做图烦死了，不停的改图，改图……。烦，倒不是因为改，而是反反复复的改，人都会死。很多需求人员不知该如何与设计人员沟通，不明白如何使设计人员知道他所要的效果，结果只能是沟通变成了扯淡，改图变成了应付。 那应该如何与设计人员沟通呢？ 我认为设计人员与需求人员先天就存在语言障碍。对一个合格的设计人员来说，整天玩的都是点、线、面、配色，哪种构图看起来协调；哪种配色看起来合理心里跟明镜似的，
  • qq空间刷评论工具 换个号韩国红果果 JavaScript
    var a=document.getElementsByClassName('textinput'); var b=[]; for(var m=0;m<a.length;m++){ if(a[m].getAttribute('placeholder')!=null) b.push(a[m]) } var l
  • S2SH整合之session 灵静志远 springAOPstrutssession
    错误信息： Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cartService': Scope 'session' is not active for the current thread; consider defining a scoped
  • xmp标签 a-john 标签
    今天在处理数据的显示上遇到一个问题： var html = '<li><div class="pl-nr"><span class="user-name">' + user + '</span>' + text + '</div></li>'; ulComme
  • Ajax的常用技巧（2）---实现Web页面中的级联菜单 aijuans Ajax
    在网络上显示数据，往往只显示数据中的一部分信息，如文章标题，产品名称等。如果浏览器要查看所有信息，只需点击相关链接即可。在web技术中，可以采用级联菜单完成上述操作。根据用户的选择，动态展开，并显示出对应选项子菜单的内容。 在传统的web实现方式中，一般是在页面初始化时动态获取到服务端数据库中对应的所有子菜单中的信息，放置到页面中对应的位置，然后再结合CSS层叠样式表动态控制对应子菜单的显示或者隐
  • 天-安-门，好高 atongyeye 情感
        我是85后，北漂一族，之前房租1100，因为租房合同到期，再续，房租就要涨150。最近网上新闻，地铁也要涨价。算了一下，涨价之后，每次坐地铁由原来2块变成6块。仅坐地铁费用，一个月就要涨200。内心苦痛。     晚上躺在床上一个人想了很久，很久。        我生在农
  • android 动画 百合不是茶 android透明度平移缩放旋转
    android的动画有两种  tween动画和Frame动画   tween动画;,透明度,缩放,旋转,平移效果   Animation   动画 AlphaAnimation 渐变透明度 RotateAnimation 画面旋转 ScaleAnimation 渐变尺寸缩放 TranslateAnimation 位置移动 Animation
  • 查看本机网络信息的cmd脚本 bijian1013 cmd
    @echo 您的用户名是：%USERDOMAIN%\%username%>"%userprofile%\网络参数.txt" @echo 您的机器名是：%COMPUTERNAME%>>"%userprofile%\网络参数.txt" @echo ___________________>>"%userprofile%\
  • plsql 清除登录过的用户 征客丶 plsql
    tools---preferences----logon history---history  把你想要删除的删除 -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出， 我好及时改正，同时也让我们一起进步。 email ： binary_spac
  • 【Pig一】Pig入门 bit1129 pig
    Pig安装 1.下载pig   wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz   2. 解压配置环境变量      如果Pig使用Map/Reduce模式，那么需要在环境变量中，配置HADOOP_HOME环境变量   expor
  • Java 线程同步几种方式 BlueSkator volatilesynchronizedThredLocalReenTranLockConcurrent
    为何要使用同步？      java允许多线程并发控制，当多个线程同时操作一个可共享的资源变量时（如数据的增删改查），      将会导致数据不准确，相互之间产生冲突，因此加入同步锁以避免在该线程没有完成操作之前，被其他线程的调用，      从而保证了该变量的唯一性和准确性。 1.同步方法&
  • StringUtils判断字符串是否为空的方法（转帖） BreakingBad nullStringUtils“”
    转帖地址：http://www.cnblogs.com/shangxiaofei/p/4313111.html   public static boolean isEmpty(String str)   　　判断某字符串是否为空，为空的标准是 str== null  或 str.length()== 0  
  • 编程之美-分层遍历二叉树 bylijinnan java数据结构算法编程之美
    import java.util.ArrayList; import java.util.LinkedList; import java.util.List; public class LevelTraverseBinaryTree { /** * 编程之美 分层遍历二叉树 * 之前已经用队列实现过二叉树的层次遍历，但这次要求输出换行，因此要
  • jquery取值和ajax提交复习记录 chengxuyuancsdn jquery取值ajax提交
    // 取值 // alert($("input[name='username']").val()); // alert($("input[name='password']").val()); // alert($("input[name='sex']:checked").val()); // alert($("
  • 推荐国产工作流引擎嵌入式公式语法解析器-IK Expression comsci java应用服务器工作Excel嵌入式
    这个开源软件包是国内的一位高手自行研制开发的，正如他所说的一样，我觉得它可以使一个工作流引擎上一个台阶。。。。。。欢迎大家使用，并提出意见和建议。。。 ----------转帖--------------------------------------------------- IK Expression是一个开源的（OpenSource），可扩展的（Extensible），基于java语言
  • 关于系统中使用多个PropertyPlaceholderConfigurer的配置及PropertyOverrideConfigurer daizj spring
    1、PropertyPlaceholderConfigurer Spring中PropertyPlaceholderConfigurer这个类，它是用来解析Java Properties属性文件值，并提供在spring配置期间替换使用属性值。接下来让我们逐渐的深入其配置。 基本的使用方法是：(1) <bean id="propertyConfigurerForWZ&q
  • 二叉树:二叉搜索树 dieslrae 二叉树
        所谓二叉树,就是一个节点最多只能有两个子节点,而二叉搜索树就是一个经典并简单的二叉树.规则是一个节点的左子节点一定比自己小,右子节点一定大于等于自己(当然也可以反过来).在树基本平衡的时候插入,搜索和删除速度都很快,时间复杂度为O(logN).但是,如果插入的是有序的数据,那效率就会变成O(N),在这个时候,树其实变成了一个链表. tree代码:
  • C语言字符串函数大全 dcj3sjt126com cfunction
    C语言字符串函数大全     函数名: stpcpy 功 能: 拷贝一个字符串到另一个 用 法: char *stpcpy(char *destin, char *source); 程序例:   #include <stdio.h> #include <string.h>   int main
  • 友盟统计页面技巧 dcj3sjt126com 技巧
    在基类调用就可以了, 基类ViewController示例代码 -(void)viewWillAppear:(BOOL)animated { [super viewWillAppear:animated]; [MobClick beginLogPageView:[NSString stringWithFormat:@"%@",self.class]];
  • window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法 flyvszhb javajdk
    window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法 本机已经安装了jdk1.7，而比较早期的项目需要依赖jdk1.6，于是同时在本机安装了jdk1.6和jdk1.7. 安装jdk1.6前，执行java -version得到 C:\Users\liuxiang2>java -version java version "1.7.0_21&quo
  • Java在创建子类对象的同时会不会创建父类对象 happyqing java创建子类对象父类对象
      1.在thingking in java 的第四版第六章中明确的说了，子类对象中封装了父类对象，   2."When you create an object of the derived class, it contains within it a subobject of the base class. This subobject is the sam
  • 跟我学spring3 目录贴及电子书下载 jinnianshilongnian spring
        一、《跟我学spring3》电子书下载地址： 《跟我学spring3》  （1-7 和 8-13） http://jinnianshilongnian.iteye.com/blog/pdf     跟我学spring3系列 word原版 下载     二、 源代码下载 最新依
  • 第12章 Ajax（上） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • BI and EIM 4.0 at a glance blueoxygen BO
    http://www.sap.com/corporate-en/press.epx?PressID=14787   有机会研究下EIM家族的两个新产品~~~~   New features of the 4.0 releases of BI and EIM solutions include: Real-time in-memory computing –
  • Java线程中yield与join方法的区别 tomcat_oracle java
    长期以来，多线程问题颇为受到面试官的青睐。虽然我个人认为我们当中很少有人能真正获得机会开发复杂的多线程应用(在过去的七年中，我得到了一个机会)，但是理解多线程对增加你的信心很有用。之前，我讨论了一个wait()和sleep()方法区别的问题，这一次，我将会讨论join()和yield()方法的区别。坦白的说，实际上我并没有用过其中任何一个方法，所以，如果你感觉有不恰当的地方，请提出讨论。 &nb
  • android Manifest.xml选项 阿尔萨斯 Manifest
    结构 继承关系 public final class Manifest extends Objectjava.lang.Objectandroid.Manifest 内部类 class Manifest.permission权限 class Manifest.permission_group权限组 构造函数 public Manifest () 详细 androi
  • Oracle实现类split函数的方 zhaoshijie oracle
    关键字：Oracle实现类split函数的方 项目里需要保存结构数据，批量传到后他进行保存，为了减小数据量，子集拼装的格式，使用存储过程进行保存。保存的过程中需要对数据解析。但是oracle没有Java中split类似的函数。从网上找了一个，也补全了一下。 CREATE OR REPLACE TYPE t_split_100 IS TABLE OF VARCHAR2(100); cr
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他