Jenkins基于https的k8s配置
前言
之前写过一篇《基于K8s的动态Jenkins Slave构建实践》，当时用的k8s版本较低，最近将k8s版本升级1.10最新的了，并且启用了https和角色管理。突然就发现之前的jenkins配置有点问题了。
这篇主要就是来记录一下新的配置。
环境
Jenkins 2.107.2
Kubernetes plugin 1.6
kubernetes集群 1.10.0
k8s集群信息
root@e5:/data# kubectl cluster-info
Kubernetes master is running at https://192.168.1.2:6443
kubernetes-dashboard is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy
monitoring-grafana is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy根据以上的配置，可以看到，已经是启用https了，这里就涉及到了密钥的问题。
Jenkins配置
这里有以下几个关键的配置：
- Kubernetes URL：这个就是我们上面集群信息看到的
kubernetes master is running at 地址； - Kubernetes server certificate key：这是需要https证书，可以在我们集群任意节点找到该文件
/etc/kubernetes/ssl/ca.pem或/etc/kubernetes/pki/ca.pem，这个看自己的安装部署配置吧； - Credentials：这个是k8s集群的角色权限配置，这个就比较麻烦点了，下面再细说。
k8s角色权限配置
上面说到了Credentials这个配置，如果我们不配置的话，默认连接就会报以下错误，提示没有权限：
安装证书工具
这个应该是在部署安装集群的时候就有的，这里再多啰嗦2句：
安装cfssl
此工具生成证书非常方便, pem证书与crt证书,编码一致可直接使用
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo创建admin证书
准备证书签名请求
admin-csr.json
{
"CN": "admin",
"hosts": [],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "HangZhou",
"L": "XS",
"O": "system:masters",
"OU": "System"
}
]
}证书请求中的O 指定该证书的 Group 为 system:masters，而 RBAC 预定义的 ClusterRoleBinding 将 Group system:masters 与 ClusterRole cluster-admin 绑定，这就赋予了该证书具有所有集群权限 。
创建证书和私钥
cfssl gencert \
-ca=/etc/kubernetes/ssl/ca.pem \
-ca-key=/etc/kubernetes/ssl/ca-key.pem \
-config=/etc/kubernetes/ssl/ca-config.json \
--profile=kubernetes admin-csr.json | cfssljson -bare admin
最终生成以下3个文件：
- admin.csr
- admin-key.pem
- admin.pem
配置证书
生成pkc格式证书
我们可以通过openssl来转换成pkc格式：
openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:secret
配置jenkins认证
得到jenkins-admin.pfk文件后，点击Jenkins配置Credentials后面的Add，配置如下：
其中Kind种类需要选择Certificate，然后选择上传文件，上传我们刚刚生成的pfk文件，下面的密码填写为secret，也就是上面我们pass:后面的内容，最后ID和描述可以随便填下，就OK啦。
测试
之后在Jenkins的kubernetes配置那边选择我们刚刚创建的Credentials，点击Test Connection即可。
出现以下字符就表示测试连接通过啦
再测试下动态Slave：
如图，就表示已经OK了。
通过kubeconfig认证
有时候会出现一种情况，只有kubeconfig文件，无法直接ssh登陆服务器。这个时候我们也可以通过config文件来进行认证配置。
点击Credentials 右边的Add，选择secretFile，贴上config文件即可。
测试如下：
参考链接：
https://github.com/jenkinsci/kubernetes-plugin
https://segmentfault.com/a/1190000012151075
https://github.com/gjmzj/kubeasz/blob/master/docs/01-%E5%88%9B%E5%BB%BACA%E8%AF%81%E4%B9%A6%E5%92%8C%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.md