Kubernates Ingress 配置证书

关于双向认证的一些概念可以在这篇文章中获取https://www.jianshu.com/p/e1aaa5e9de17

创建Secret

在K8S中，密钥的管理是通过创建Secret方式进行的，我们生成一对公私钥，并且公钥已经通过CA签发一张证书之后，就可以导入到K8S的Secret了。通常，我们会有下面三个文件：

ca.pem     #证书信任链，自签名证书通常需要完整的信任链
cert.pem   #应用层证书，由CA签发
key.pem    #私钥

NGINX Ingress Controller文档中提供了两种方式的公私钥导入

• You can create a secret containing just the CA certificate and another Secret containing the Server Certificate which is Signed by the CA.

这是第一种导入方式，其实跟我们在Nginx中配置证书并无太大差异，单独导入ca.pem作为一个secret，然后打包cert.pem和key.pem作为一个secret，命令如下：

kubectl create secret generic tls-trust --from-file=ca.crt=ca.pem -n YOUR_NAME_SPACE
kubectl create secret generic tls-cert--from-file=tls.crt=cert.pem --from-file=tls.key=key.pem -n YOUR_NAME_SPACE

• You can create a secret containing CA certificate along with the Server Certificate, that can be used for both TLS and Client Auth.

第二种方式则是将证书，证书链和私钥全部打包在一块，参考命令如下，

kubectl create secret generic tls-secret --from-file=tls.crt=cert.pem --from-file=tls.key=key.pem --from-file=ca.crt=ca.pem -n YOUR_NAME_SPACE

创建完毕之后我们看一下我们创建好的Secret：

[root@iZbp1g905y8l5pclnbxvfxZ ~]# kubectl -n YOUR_NAME_SPACE get secret
NAME                     TYPE                                  DATA   AGE
tls-cert                 Opaque                                2      24h
tls-trust                Opaque                                1      24h

配置Ingress

创建完Secret之后就可以配置Ingress了。根据官方的样例，我们调整参数，如下：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    # 是否开启客户端证书验证
    nginx.ingress.kubernetes.io/auth-tls-verify-client: "on"
    # 信任链
    nginx.ingress.kubernetes.io/auth-tls-secret: "YOUR_NAME_SPACE/tls-trust"
    # 信任链校验层数
    nginx.ingress.kubernetes.io/auth-tls-verify-depth: "1"
    # 证书校验失败跳转
    nginx.ingress.kubernetes.io/auth-tls-error-page: "http://www.mysite.com/error-cert.html"
    # 是否传递证书给后端服务
    nginx.ingress.kubernetes.io/auth-tls-pass-certificate-to-upstream: "true"
  name: nginx-test
  namespace: default
spec:
  rules:
  - host: mydomain.com
    http:
      paths:
      - backend:
          serviceName: http-svc
          servicePort: 80
        path: /
  tls:
  - hosts:
    - mydomain.com
    secretName: tls-cert

配置完之后我们可以进入nginx-ingress-controller容器，在nginx.conf文件下看到这样三个配置，ingress自动帮我们配置好了nginx：

www-data@nginx-ingress-controller-674bf86cc9-dctxw:/etc/nginx$ cat nginx.conf | grep tsp
                ssl_certificate                         /etc/ingress-controller/ssl/YOUR_NAME_SPACE-tls-cert.pem;
                ssl_certificate_key                     /etc/ingress-controller/ssl/YOUR_NAME_SPACE-tls-cert.pem;
                ssl_client_certificate                  /etc/ingress-controller/ssl/ca-YOUR_NAME_SPACE-tls-trust.pem;

这样子直接就可以使用HTTPs访问了，Ingress会校验证书的合法性。

排坑

我们使用的是自签名证书给客户端签发客户端证书，在客户端带上证书访问的时候，出现了400 Bad Certificate错误，如果确认应用层证书配置和信任链配置无误的情况下，可以检查下这个配置

# 信任链校验层数
nginx.ingress.kubernetes.io/auth-tls-verify-depth: "1"

我们使用的自签名证书链有4层，然后我将nginx.ingress.kubernetes.io/auth-tls-verify-depth校验链层数改为4，问题解决了。

nginx.ingress.kubernetes.io/auth-tls-verify-depth: "4"