k8s-------ingress-nginx(七层)

介绍

Ingress-Nginx github 地址：https://github.com/kubernetes/ingress-nginx

Ingress-Nginx 官方网站：https://kubernetes.github.io/ingress-nginx/

主要是提供外部访问：（service的外部访问需要端口的映射，带来的是端口映射的麻烦和操作的繁琐）

• Service 能够提供负载均衡的能力，但是在使用上有以下限制：只提供 4 层负载均衡能力，而没有 7 层功能。但是可以通过增加 Ingress 来添加一个 7 层的负载均衡能力

• ingress 是对集群中服务的外部访问进行管理的 API 对象，典型的访问方式是 HTTP和HTTPS。

• Ingress 可以提供负载均衡、SSL 和基于名称的虚拟托管。

• 必须具有 ingress 控制器,才能满足 Ingress 的要求。仅创建 Ingress 资源无效。

简单来说，ingress-controller才是负责具体转发的组件，通过各种方式将它暴露在集群入口，外部对集群的请求流量会先到ingress-controller，而ingress对象是用来告诉ingress-controller该如何转发请求，比如哪些域名哪些path要转发到哪些服务等等。

ingress-controller

ingress-controller并不是k8s自带的组件，实际上ingress-controller只是一个统称，用户可以选择不同的ingress-controller实现，目前，由k8s维护的ingress-controller只有google云的GCE与ingress-nginx两个，其他还有很多第三方维护的ingress-controller，具体可以参考官方文档。但是不管哪一种ingress-controller，实现的机制都大同小异，只是在具体配置上有差异。一般来说，ingress-controller的形式都是一个pod，里面跑着daemon程序和反向代理程序。daemon负责不断监控集群的变化，根据ingress对象生成配置并应用新配置到反向代理，比如nginx-ingress就是动态生成nginx配置，动态更新upstream，并在需要的时候reload程序应用新配置。

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: abc-ingress
  annotations: 
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/use-regex: "true"
spec:
  tls:   #定义https密钥、证书
  - hosts:
    - api.abc.com
    secretName: abc-tls
  rules:   #指定请求路由规则
  - host: api.abc.com
    http:
      paths:
      - backend:
          serviceName: apiserver
          servicePort: 80
  - host: www.abc.com
    http:
      paths:
      - path: /image/*
        backend:
          serviceName: fileserver
          servicePort: 80
  - host: www.abc.com
    http:
      paths:
      - backend:
          serviceName: feserver
          servicePort: 8080

ingress

ingress是一个API对象，和其他对象一样，通过yaml文件来配置。ingress通过http或https暴露集群内部service，给service提供外部URL、负载均衡、SSL/TLS能力以及基于host的方向代理。ingress要依靠ingress-controller来具体实现以上功能。

Kubernetes中为了实现服务实例间的负载均衡和不同服务间的服务发现，创造了Serivce对象，同时又为从集群外部访问集群创建了Ingress对象。

工作原理

(1)ingress controller通过和kubernetes api交互,动态的去感知集群中ingress规则变化;

(2)然后读取它，按照自定义的规则，规则就是写明了哪个域名对应哪个service，生成一段nginx配置;

(3)再写到nginx-ingress-controller的pod里，这个Ingress controller的pod里运行着一个Nginx服务，
	控制器会把生成的nginx配置写入/etc/nginx.conf文件中;

(4)然后reload一下使配置生效。以此达到域名分配配置和动态更新的问题;

---

Ingress可以解决以下问题
(1)动态配置服务
如果按照传统方式,当新增加一个服务时,我们可能需要在流量入口加一个反向代理指向我们新的k8s服务.而如果用了Ingress,只需要配置好这个服务,当服务启动时,会自动注册到Ingress中,不需要额外的操作.
(2)减少不必要的端口暴露
配置过k8s的都清楚,第一步是要关闭防火墙的,主要原因是k8s的很多服务会以NodePort方式映射出去,这样就相当于给宿主机打了很多孔,既不安全也不优雅.而Ingress可以避免这个问题,除了Ingress自身服务可能需要映射出去,其他服务都不需要用NodePort方式。

---

ingress 规则

每一个HTTP规则包含以下信息：

• 一个可选的host。该规则适用于通过指定的IP地址进行的所有入站HTTP通信。如果提供一个host(例如，foo.bar.com)，这个规则是适用于这一个host
• 一个paths（例如 /testpath）的列表。每一个path都有与之关联的serviceName和servicePort,在负载均衡器将流量导向所引用的服务之前，主机和路径必须匹配传入请求的内容
• 后端是服务和端口名称的组合。对与规则的主机和路径匹配的入口的HTTP(和HTTPS)请求将发送到列出的后端。

默认后端

没有规则的ingress把所有的流量都转发到一个默认后端。默认后端通常是Ingress控制器的一个配置选项，并没有在Ingress资源中指定。
如果没有任何主机或路径匹配Ingress对象中的HTTP请求，则流量将路由到默认后端。

要配置一个service走ingress暴露端口

需要加这个

  annotations: 
    kubernetes.io/ingress.class: "nginx"

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-ingress-virtualname-demo
  labels:
    ingres-controller: nginx
  annotations:
    kubernets.io/ingress.class: nginx
spec:
  rules:
  - host: news.happylau.cn
    http:
      paths:
      - path: /
        backend:
          serviceName: service-1 
          servicePort: 80
  - host: sports.happylau.cn
    http:
      paths:
      - path: /
        backend:
          serviceName: service-2 
          servicePort: 80

1. 部署 Ingress-Nginx

ingress官网
Github地址

官方网址：https://kubernetes.github.io/ingress-nginx/deploy/#bare-metal

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.40.2/deploy/static/provider/baremetal/deploy.yaml 

https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-ingress-controller
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
      annotations:
        prometheus.io/port: "10254"
        prometheus.io/scrape: "true"
    spec:
      serviceAccountName: nginx-ingress-serviceaccount
      containers:
        - name: nginx-ingress-controller
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.25.0
          args:
            - /nginx-ingress-controller
            - --configmap=$(POD_NAMESPACE)/nginx-configuration
            - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
            - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
            - --publish-service=$(POD_NAMESPACE)/ingress-nginx
            - --annotations-prefix=nginx.ingress.kubernetes.io
          securityContext:
            allowPrivilegeEscalation: true
            capabilities:
              drop:
                - ALL
              add:
                - NET_BIND_SERVICE
            # www-data -> 33
            runAsUser: 33
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          ports:
            - name: http
              containerPort: 80
            - name: https
              containerPort: 443
          livenessProbe:
            failureThreshold: 3
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 10
          readinessProbe:
            failureThreshold: 3
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 10

下载yaml 并创建

# 先获取 yaml 文件，可以用这个文件来创建或者删除 Ingress
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.40.2/deploy/static/provider/baremetal/deploy.yaml 

# 安装时发现 yaml 文件中 ValidatingWebhookConfiguration 版本报错，先获取版本
[root@k8s-master01 yaml]# kubectl explain ValidatingWebhookConfiguration
KIND:     ValidatingWebhookConfiguration
VERSION:  admissionregistration.k8s.io/v1beta1

# 修改 yaml 中 ValidatingWebhookConfiguration 对应的 pod 的版本

# 安装 Ingress
kubectl apply -f deploy.yaml

# 删除 Ingress
kubectl delete -f deploy.yaml

2. 简单的扇出

根据所请求的HTTP URI，扇出配置将流量从单个IP地址路由到多个服务。一个入口允许您将负载平衡器的数量保持到最小。例如，设置如下
kubernetes pod中的IP只在集群网络内部可见，我们需要在边界设置一个东西，让它能够接收ingress的流量并将它们转发到正确的端点上。这个东西一般是高可用的loadbalancer。使用Ingress能够允许你将loadbalancer的个数降低到最少，
例如，假如你想要创建这样的一个设置：

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: simple-fanout-example
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: foo.bar.com
    http:
      paths:
      - path: /foo
        backend:
          serviceName: service1
          servicePort: 4200
      - path: /bar
        backend:
          serviceName: service2
          servicePort: 8080

3. 基于 名称的虚拟主机

Name-based的虚拟主机在同一个IP地址下拥有多个主机名。

例如：ingress说明基于Host header的后端loadbalancer的路由请求：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: test
spec:
  rules:
  - host: foo.bar.com
    http:
      paths:
      - backend:
        serviceName: s1
	    servicePort: 80
  - host: bar.foo.com
    http:
      paths:
      - backend:
        serviceName: s2
  	    servicePort: 80

默认backend：一个没有rule的ingress
所有流量都将发送到一个默认backend。
你可以用该技巧通知loadbalancer如何找到你网站的404页面，通过制定一些列rule和一个默认backend的方式。如果请求header中的host不能跟ingress中的host匹配，并且/或请求的URL不能与任何一个path匹配，则流量将路由到你的默认backend。

如果您创建一个没有在规则中定义任何主机的Ingress资源，那么可以匹配到Ingress控制器IP地址的任何web流量，而不需要基于名称的虚拟主机。例如，下面的Ingress资源将把first.bar.com请求的流量路由到service1, second.foo.com路由到service2，将任何没有在request中定义主机名(即没有显示请求头)的流量路由到service3。

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: name-virtual-host-ingress
spec:
  rules:
  - host: first.bar.com
    http:
      paths:
      - backend:
          serviceName: service1
          servicePort: 80
  - host: second.foo.com
    http:
      paths:
      - backend:
          serviceName: service2
          servicePort: 80
  - http:
      paths:
      - backend:
          serviceName: service3
          servicePort: 80

2. Ingress HTTP 代理访问示例

先创建两个 Pod 和 ClusterIP Service，提供 Nginx 内部访问

# vim deployment-nginx.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
 name: nginx-dm
spec:
 replicas: 2
 selector:
   matchLabels:
     name: nginx
 template:
   metadata:
     labels:
       name: nginx
   spec:
     containers:
     - name: nginx
       image: wangyanglinux/myapp:v1
       ports:
       - name: http
         containerPort: 80
---
# 定义nginx 的 svc
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  ports:
  - port: 80
    targetPort: 80
    protocol: TCP
  selector:
    name: nginx

再创建 Ingress 将服务暴露到外部

apiVersion: extensions/v1beta1		# kubectl explain ingress
kind: Ingress						# 类型
metadata:
  name: nginx-test					# 名字
spec:
  rules:							# 规则，List，可配置多个域名。
  - host: www.qcq.com				# 主机域名
    http:
      paths:						# 路径
      - path: /						# 域名的根路径
        backend:
          serviceName: nginx-svc	# 这里链接的是上面创建的 svc 的名称 
          servicePort: 80			# svc 的端口



查看
kubectl get ingress

Ingress 资源清单中的 spec.rules 最终会转换为 nginx 的虚拟主机配置，进入到 ingress-nginx 容器中查看配置

kubectl exec ingress-nginx-controller-78fd88bd5-sbrz5 -n ingress-nginx -it -- /bin/bash

cat nginx.conf 

修改 本地hosts 文件，设置上面的域名解析

192.168.66.10   www.qcq.com

查看端口

[root@k8s-master01 ingress]# kubectl get svc -n ingress-nginx
NAME                                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             NodePort    10.96.189.184   <none>        80:31534/TCP,443:31345/TCP   10h

域名访问

3. Ingress HTTPS 代理访问示例

你可以通过指定包含TLS私钥和证书的secret来加密Ingress。 目前，Ingress仅支持单个TLS端口443，
TLS secret中必须包含名为 tls.crt 和 tls.key 的密钥，这里面包含了用于TLS的证书和私钥
创建证书，以及 cert 存储方式

# 生成私钥和证书
[root@k8s-master cert]# pwd
/root/k8s_practice/ingress/cert
[root@k8s-master cert]# openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=BJ/L=BeiJing/O=BTC/OU=MOST/CN=zhang/[email protected]"
Generating a 2048 bit RSA private key
......................................................+++
........................+++
writing new private key to 'tls.key'
-----

# kubectl 创建 secret 资源，这个 secret 后面要用
[root@k8s-master cert]# kubectl create secret tls tls-secret --key tls.key --cert tls.crt
secret/tls-secret created


# 查看kubectl 的 secret 资源
kubectl get secret tls-secret

创建 Deployment 和 Service，这里仍使用上面创建的 Deployment

创建 Ingress

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-test-https
spec:
  tls:
  - hosts:
    - www.zyx3.com					# host 主机
    secretName: tls-secret			# 与上面创建的 secret 要对应上
  rules:							# 规则，List，可配置多个域名。
  - host: www.qcq.com				# 主机域名
    http:
      paths:						# 路径
      - path: /						# 域名的根路径
        backend:
          serviceName: nginx-svc	# 这里链接的是上面创建的 svc 的名称 
          servicePort: 80			# svc 的端口

获取 https 连接的端口

[root@k8s-master01 https]# kubectl get svc -n ingress-nginx
NAME                                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             NodePort    10.96.189.184   <none>        80:31534/TCP,443:31345/TCP   11h

本地host解析

4. Nginx 进行 BasicAuth（用户登陆）

官网地址
https://kubernetes.github.io/ingress-nginx/examples/auth/basic/

创建密钥文件

[root@k8s-master ingress]# yum install -y httpd

# 创建密钥文件
# -c 创建，创建文件为 auth，用户名为 foo
[root@k8s-master ingress]# htpasswd -c auth foo
New password: #输入密码
Re-type new password: #重复输入的密码
Adding password for user foo   ##### 此时会生成一个 auth文件
# 然后连输两次密码，这个密码为为之后认证使用

# 构建基础权限认证，根据文件
[root@k8s-master ingress]# kubectl create secret generic basic-auth --from-file=auth


[root@k8s-master ingress]# kubectl get secret basic-auth -o yaml
apiVersion: v1
data:
  auth: Zm9vOiRhcHIxJFpaSUJUMDZOJDVNZ3hxdkpFNWVRTi9NdnZCcVpHaC4K
kind: Secret
metadata:
  creationTimestamp: "2020-08-17T09:42:04Z"
  name: basic-auth
  namespace: default
  resourceVersion: "775573"
  selfLink: /api/v1/namespaces/default/secrets/basic-auth
  uid: eef0853b-a52b-4684-922a-817e4cd9e9ca
type: Opaque

创建ingress

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-with-auth
  annotations:
    # 身份验证类型
    nginx.ingress.kubernetes.io/auth-type: basic
    # secret 的名字（上面定义好了）
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    # 要显示的信息，说明为什么需要认证
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - foo'
spec:
  rules:
  - host: auth.zyx.com
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-svc
          servicePort: 80

host解析，访问

文件位置：C:\WINDOWS\System32\drivers\etc\hosts
添加信息如下：
# K8S ingress学习
10.0.0.110  auth.zyx.com

5. Ingress-Nginx实现Rewrite重写

官网地址：
https://kubernetes.github.io/ingress-nginx/examples/rewrite/

重定向

[root@k8s-master ingress]# pwd
/root/k8s_practice/ingress
[root@k8s-master ingress]# cat nginx_rewrite.yaml 
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: https://www.baidu.com
  name: rewrite
  namespace: default
spec:
  rules:
  - host: rewrite.test.com
    http:
      paths:
      - backend:
          serviceName: myapp-clusterip1
          servicePort: 80

启动ingress并查看状态

[root@k8s-master ingress]# kubectl apply -f nginx_rewrite.yaml 
ingress.networking.k8s.io/rewrite created
[root@k8s-master ingress]# 
[root@k8s-master ingress]# kubectl get ingress -o wide
NAME                HOSTS                   ADDRESS          PORTS     AGE
rewrite             rewrite.test.com                    80        13s

浏览器访问
hosts文件修改，添加如下信息

文件位置：C:\WINDOWS\System32\drivers\etc\hosts
添加信息如下：
10.0.0.110  rewrite.test.com

浏览器访问rewrite.test.com，发现重定向到了https://www.baidu.com百度页面

http://rewrite.test.com/