使用ingress-nginx访问k8s内服务

在撘完kubernetes后，外部流量无法访问内部的服务。目前阿里云无法使用LoadBalancer模式，所以通过ingress-nginx进行流量的转发。

安装ingress-nginx

进入master节点，下载配置文件（需要翻墙）：
https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.34.1/deploy/static/provider/baremetal/deploy.yaml

对外开放的时候需要固定node上的端口，所以修改deploy.yaml。
找到 Source: ingress-nginx/templates/controller-service.yaml
在ports上添加nodePort，对应的值就是node节点开放给外部使用的端口。
这里http端口设置为31234，https端口设置为31235。如下图：

deploy.yaml

另外，由于国内使用，无法访问k8s.gcr.io下的镜像，所以，我将该镜像下载后重新传到aliyun的镜像服务中：

继续编辑deploy.yaml，找到 # Source: ingress-nginx/templates/controller-deployment.yaml
找到下面对应的镜像文件：us.gcr.io/k8s-artifacts-prod/ingress-nginx/controller:v0.34.1@sha256:0e072dddd1f7f8fc8909a2ca6f65e76c5f0d2fcfb8be47935ae3457e8bbceb20
替换为：registry.cn-hangzhou.aliyuncs.com/bin_x/nginx-ingress:v0.34.1@sha256:80359bdf124d49264fabf136d2aecadac729b54f16618162194356d3c78ce2fe

deploy.yaml

$ kubectl apply -f deploy.yaml

之后系统会自动进行安装配置。可以通过如下命令检查是否安装成功：

$ kubectl get pods -n ingress-nginx \
  -l app.kubernetes.io/name=ingress-nginx --watch

等到出现如下提示，说明安装成功

NAME                                        READY   STATUS      RESTARTS  
ingress-nginx-admission-create-fh95h        0/1     Completed   0         
ingress-nginx-admission-patch-d95c5         0/1     Completed   0         
ingress-nginx-controller-55497dff78-ld6cf   1/1     Running     0         

输入如下命令，检查配置是否生效

$ kubectl -n ingress-nginx get svc

NAME                                 TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                      
ingress-nginx-controller             NodePort    10.10.10.187           80:31234/TCP,443:31235/TCP  
ingress-nginx-controller-admission   ClusterIP   10.10.77.102           443/TCP                     

看到以上两条信息说明配置已经生效，且对应的80和443端口已经绑到31234和31235端口上。

接下来讲如何将对应的流量转发到k8s的服务上
首先创建一个文件，ingress-nginx-service.yml。内如如下：

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: ingress-nginx
  annotations:
    # use the shared ingress-nginx
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: myservicea.foo.org
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-service
          servicePort: 80

以上文件创建了一个Ingress的规则，将myservicea.foo.org域名对应的http请求，转发到nginx-service服务上。服务端口为80.

接下来，创建对应的Deployment和Service，文件名nginx.yml，内容如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

---
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector:
    app: nginx
  ports:
    - protocol: TCP
      port: 80

该文件创建一个Deployment，该Deployment创建一个使用nginx镜像的容器，容器端口为80。接着创建对应的Service来开放端口。

注意，Service的name及port必须和 Ingress的serviceName和servicePort一致

执行：

$ kubectl apply -f ingress-nginx-service.yml
$ kubectl apply -f nginx.yml

查看Ingress

$ kubectl describe Ingress ingress-nginx
Name:             ingress-nginx
Namespace:        default
Address:          xxx.xxx.xxx.xxx
Default backend:  default-http-backend:80 ()
Rules:
  Host                Path  Backends
  ----                ----  --------
  myservicea.foo.org
                      /   nginx-service:80 (192.168.3.65:80)
Annotations:          nginx.ingress.kubernetes.io/rewrite-target: /
Events:
  Type    Reason  Age                From                      Message
  ----    ------  ----               ----                      -------
  Normal  CREATE  45m                nginx-ingress-controller  Ingress default/ingress-nginx

看到上面Rules对应的规则，其中有一条nginx-service:80 (192.168.3.65:80) 。这个是服务nginx-service创建的，可以在master节点上通过curl测试服务是否正常

$ curl 192.168.3.65:80







Welcome to nginx!
If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.

For online documentation and support please refer to
nginx.org.

Commercial support is available at
nginx.com.

Thank you for using nginx.

接下来，本地测试，可以修改hosts，将myservicea.foo.org域名指向其中一个node节点。然后在浏览器中输入http://myservicea.foo.org:31234/ 。看到如下图说明配置都正常了。

nginx

目前还剩两个问题：
1、服务使用的端口不是80的，所以需要手动加上端口。
2、该方式只能指向其中一个节点，无法访问其他node。

可以通过添加负载均衡服务器解决以上两个问题，负载均衡配置不在此讨论，可以直接使用阿里云的，也可以自己使用nginx进行配置。

参考文章：
https://kubernetes.io/zh/docs/concepts/services-networking/ingress/
https://kubernetes.github.io/ingress-nginx/deploy/