443 k8s配置开启nginx_Kubernetes Ingress — NGINX
在 Kubernetes 中，Service 是一种抽象的概念，它定义了每一组 Pod 的逻辑集合和访问方式，并提供一个统一的入口，将请求进行负载分发到后端的各个 Pod 上。Service 默认类型是 ClusterIP，集群内部的应用服务可以相互访问，但集群外部的应用服务无法访问。为此 Kubernetes 提供了 NodePorts，LoadBalancer 和 Ingress 三种外部访问 Kubernetes 集群的方式。
Ingress 是 Kubernetes 中的一个 API 对象(在1.19版本GA)，它提供路由规则来管理外部用户对 Kubernetes 集群中服务的访问。Ingress Controller 是 Ingress API 的实际实现，通过和 Kubernetes API 交互，动态的去感知集群中 Ingress 规则变化，将外部流量路由到 Kubernetes 集群，同时提供负载平衡，并负责L4-L7网络服务。
目前社区上的 Ingress Controller 有十几种，如 Nginx Ingress、Kong、Traefik、Istio Ingress、APISIX 等，可根据自己的功能需求选型。
01
Nginx Ingress
Nginx Ingress 是由 Kubernetes SIGs 小组开发的。顾名思义，它基于 nginx，并补充了一组用于实现额外功能的 Lua 插件。由于 nginx 的普及以及在用作控制器时对其进行的最小改动，对于大部分人来说，它可能是最简单，最直接的选择。
Nginx Ingress 安装非常简单，在裸机上部署的 kubernetes 集群，使用 NodePort
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.42.0/deploy/static/provider/baremetal/deploy.yaml其他环境查看社区文档。
[root@k8s-test01 ~]# kubectl get po,svc -n ingress-nginx
NAME READY STATUS RESTARTS AGE
pod/ingress-nginx-admission-create-xtjfl 0/1 Completed 0 97m
pod/ingress-nginx-admission-patch-wx2jt 0/1 Completed 0 97m
pod/ingress-nginx-controller-848bfcb64d-6spj4 1/1 Running 0 97m
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/ingress-nginx-controller NodePort 10.254.14.4 80:80/TCP,443:443/TCP 97m
service/ingress-nginx-controller-admission ClusterIP 10.254.94.128 443/TCP 97m
[root@k8s-test01 ~]# 创建一个 ingress 示例
[root@k8s-test01 ~]# cat ingress-nginx-demo.yaml
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress-wildcard-host
annotations:
kubernetes.io/ingress.class: nginx
spec:
rules:
- host: "foo.bar.com"
http:
paths:
- pathType: Prefix
path: "/"
backend:
service:
name: nginx
port:
number: 80
[root@k8s-test01 ~]# kubectl describe ingress ingress-wildcard-host
Name: ingress-wildcard-host
Namespace: default
Address: 172.31.9.226
Default backend: default-http-backend:80 ()
Rules:
Host Path Backends
---- ---- --------
foo.bar.com
/ nginx:80 (192.168.47.155:80)
Annotations: kubernetes.io/ingress.class: nginx
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Sync 103s (x2 over 111s) nginx-ingress-controller Scheduled for sync
[root@k8s-test01 ~]# kubectl get po -o wide | grep nginx
nginx-546585459c-zxfmh 1/1 Running 0 94m 192.168.47.155 k8s-test02
[root@k8s-test01 ~]# 
NGINX Ingress Controller 提供了有三种方式配置 NGINX ：
ConfigMap：使用 ConfigMap 在 NGINX 中设置全局配置。
Annotations：在特定 Ingress 规则的特定配置。
Custom template：当需要更具体的设置(如打开文件缓存)时，可以使用自定义 nginx 模板。
02
配置 SSL
通过 Annotations 来配置某一个 ingress 使用 SSL。
创建secret
kubectl create secret tls ingress-cert --key=fullchain.com.key --cert=fullchain.cer
创建Ingress
[root@k8s-test01 cert]# cat ingress-nginx-demo.yaml
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress-wildcard-host
annotations:
kubernetes.io/ingress.class: nginx
ingress.kubernetes.io/force-ssl-redirect: "true"
kubernetes.io/tls-acme: "true"
spec:
rules:
- host: "foo.xxx.com"
http:
paths:
- pathType: Prefix
path: "/"
backend:
service:
name: nginx
port:
number: 80
tls:
- secretName: ingress-cert
[root@k8s-test01 cert]# kubectl create -f ingress-nginx-demo.yaml
ingress.networking.k8s.io/ingress-wildcard-host created
03
配置ModSecurity防火墙与OWASP规则
ModSecurity是一个免费、开源的 Apache 模块，用于入侵探测与拦截，目前已经支持 Nginx，可以充当 Web 应用防火墙(WAF)，旨在增强 Web 应用程序的安全性和避免遭受来自已知与未知的攻击。而 OWASP 是安全社区开发和维护的一套免费的应用程序保护规则，是 MoodSecurity 的核心规则集。Nginx-ingress 集成了 ModSecurity 模块和 OWASP 规则，默认没有开启。
测试简单 XSS 攻击，没开启 Modsecurity 之前：
状态200，没有拦截。
开启 Modsecurity 模块
[root@k8s-test01 ~]# cat ingress-nginx-demo.yaml
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress-wildcard-host
annotations:
kubernetes.io/ingress.class: nginx
nginx.ingress.kubernetes.io/enable-modsecurity: "true"
nginx.ingress.kubernetes.io/enable-owasp-modsecurity-crs: "true"
nginx.ingress.kubernetes.io/modsecurity-snippet: |
SecRuleEngine On
SecRequestBodyAccess On
SecAuditEngine RelevantOnly
SecAuditLogParts ABIJDEFHZ
SecAuditLog /var/log/nginx/modsec_audit.log
Include /etc/nginx/owasp-modsecurity-crs/nginx-modsecurity.conf
spec:
rules:
- host: "foo.bar.com"
http:
paths:
- pathType: Prefix
path: "/"
backend:
service:
name: nginx
port:
number: 80
[root@k8s-test01 ~]#
再进行 XSS 攻击测试
状态403，已拦截。
查看 Nginx 拦截日志
2020/12/27 09:37:56 [error] 3001#3001: *213189 [client 47.242.91.20] ModSecurity: Access denied with code 403 (phase 2). Matched "Operator `Ge' with parameter `5' against variable `TX:ANOMALY_SCORE' (Value: `5' ) [file "/etc/nginx/owasp-modsecurity-crs/rules/REQUEST-949-BLOCKING-EVALUATION.conf"] [line "80"] [id "949110"] [rev ""] [msg "Inbound Anomaly Score Exceeded (Total Score: 5)"] [data ""] [severity "2"] [ver "OWASP_CRS/3.3.0"] [maturity "0"] [accuracy "0"] [tag "application-multi"] [tag "language-multi"] [tag "platform-multi"] [tag "attack-generic"] [hostname "192.168.123.79"] [uri "/"] [unique_id "160906187674.566940"] [ref ""], client: 47.242.91.20, server: foo.bar.com, request: "HEAD /?search=alert(xss); HTTP/1.1", host: "foo.bar.com"04
获取客户端真实IP
Nginx Ingress 部署使用 nodePort 模式， 在讲获取客户端真实 IP 之前，我们大概了解下 nodePort 模式的链路。从 Kubernetes 1.5 开始，NodePort 类型的 Services 的数据包默认进行源地址 NAT。
假设某一个 Pod 运行在 node1 节点，客户端访问 node2:nodeport，过程如下：
client
\ ^
\ \
v \
node 1 | ^ SNAT
| | --->
v |
endpoint1、客户端发送数据包到 node2:nodePort
2、node2 使用它自己的 IP 地址替换数据包的源 IP 地址(SNAT)
3、node2 使用 pod IP 地址替换数据包的目的 IP 地址
4、数据包被路由到 node1，然后交给 endpoint
5、Pod 的回复被路由回 node2
6、Pod 的回复被发送回给客户端
所以 nodePort 模式下源地址被转换了(SNAT)，服务端获取的并不是正确的客户端 IP，它们是集群的内部 IP。为什么会这样呢？原因是为了支持从任一节点IP+NodePort 都可以访问应用，而不得不做的 SNAT。
当然，Kubernetes 也提供了一个特性来保留客户端的源 IP 地址，通过设置 externalTrafficPolicy 的值为 Local，请求就只会被代理到本地 endpoints 而不会被转发到其它节点。这样就保留了最初的源 IP 地址。
---
# Source: ingress-nginx/templates/controller-service.yaml
apiVersion: v1
kind: Service
metadata:
annotations:
labels:
helm.sh/chart: ingress-nginx-3.17.0
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.42.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: controller
name: ingress-nginx-controller
namespace: ingress-nginx
spec:
externalTrafficPolicy: Local
type: NodePort
ports:
- name: http
port: 80
protocol: TCP
targetPort: http
nodePort: 80
- name: https
port: 443
protocol: TCP
targetPort: https
nodePort: 443
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/component: controller
但是，如果没有本地 endpoints，发送到这个节点的数据包将会被丢弃。即请求 node2:nodePort , 但 node2 上没有运行 Pod , 故本地没有 endpoints ，所以请 node2:nodePort 是失败的，node1:nodePort 正常。
client
^ / \
/ / \
/ v X
node 1 node 2
^ |
| |
| v
endpoint所以 Nginx Ingress如需获取客户端真实 IP 需要设置 externalTrafficPolicy 或设置容器网络使用主机模式 hostNetwork: true ，然后 daemonset 部署，或通过亲和性把 Pod 固定在某些节点，客户端访问 Pod 所在的节点，源 IP 地址便不会 SNAT。
Nginx Ingress 获取客户端真实 IP 的配置如下：
---
# Source: ingress-nginx/templates/controller-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
labels:
helm.sh/chart: ingress-nginx-3.17.0
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/version: 0.42.0
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/component: controller
name: ingress-nginx-controller
namespace: ingress-nginx
data:
server-tokens: "false"
forwarded-for-header: "X-Forwarded-For"
use-forwarded-headers: "true"
compute-full-forwarded-for: "true"
还可以通过http-snippet 获取 客户端真实 IP
data:
server-tokens: "false"
http-snippet: |
real_ip_header X-Forwarded-For;
set_real_ip_from 0.0.0.0/0;
通过日志可以看到已经获取到真实的IP
当 Nginx Ingress 在转发请求时会通过 X-Forwarded-For 和 X-Real-IP 字段来记录客户端源 IP，后端可以通过此字段获得客户端真实源 IP，可以写一个简单的程序来验证下
package main
import (
"log"
"net"
"net/http"
"strings"
)
func myHandle(w http.ResponseWriter, r *http.Request) {
_, _ = w.Write([]byte(remoteIP(r)))
}
func main() {
serveMux := http.NewServeMux()
serveMux.HandleFunc("/", myHandle)
err := http.ListenAndServe("0.0.0.0:80", serveMux)
if err != nil {
log.Printf("http.ListenAndServe():%v\n", err)
return
}
}
func remoteIP(r *http.Request) string {
ip := r.Header.Get("X-Original-Forwarded-For")
log.Printf("X-Original-Forwarded-For : %s", r.Header.Get("X-Original-Forwarded-For"))
if ip != "" {
return ip
}
ip = r.Header.Get("X-Forwarded-For")
log.Printf("X-Forwarded-For: %s", r.Header.Get("X-Forwarded-For"))
if ip != "" {
return ip
}
ip = r.Header.Get("X-Real-Ip")
log.Printf("X-Real-Ip : %s", r.Header.Get("X-Real-Ip"))
if ip != "" {
return ip
}
if ip, _, err := net.SplitHostPort(strings.TrimSpace(r.RemoteAddr)); err == nil {
return ip
}
return ""
}
程序运行日志
[root@k8s-test01 ~]# kubectl cp app nginx-d8d5f47c9-n9bnm:/
[root@k8s-test01 ~]# kubectl exec -it nginx-d8d5f47c9-n9bnm -- bash
root@nginx-d8d5f47c9-n9bnm:/# ./app
2020/12/27 10:40:57 X-Original-Forwarded-For :
2020/12/27 10:40:57 X-Forwarded-For: 47.112.119.36
05
路由配置
通过 iris 框架写一个简单的测试程序
func NewAPP() *iris.Application {
// 创建app结构体对象
app := iris.New()
// 配置字符编码
app.Configure(iris.WithConfiguration(iris.Configuration{
Charset: "UTF-8",
}))
// 配置日志
customLogger := logger.New(logger.Config{
//状态显示状态代码
Status: true,
// IP显示请求的远程地址
IP: true,
//显示http方法
Method: true,
// Path显示请求路径
Path: true,
// Query将url查询附加到Path。
Query: true,
//Columns：true，
// 如果不为空然后它的内容来自`ctx.Values(),Get("logger_message")
//将添加到日志中。
MessageContextKeys: []string{
"logger_message"},
//如果不为空然后它的内容来自`ctx.GetHeader(“User-Agent”)
MessageHeaderKeys: []string{
"User-Agent"},
})
// 捕获所有http错误:
app.OnAnyErrorCode(customLogger, func(ctx iris.Context) {
switch ctx.GetStatusCode() {
case 404:
ctx.Values().Set("logger_message", "a dynamic message passed to the logs")
ctx.Writef("My Custom 404 error page")
default:
ctx.Values().Set("logger_message", "a dynamic message passed to the logs")
ctx.Writef("%v unknown error page", ctx.GetStatusCode())
}
})
app.Use(customLogger)
// favicons
app.Favicon("./static/favicons/favicon.ico")
// static
app.HandleDir("/", "static")
return app
}
入口程序
func main() {
app := config.NewAPP()
resAPI := app.Party("/api/v1")
resAPI.Get("/namespaces",handle.GetNameSpace)
resAPI.Get("/ip",handle.GetIP)
resAPI.Get("/hostname",handle.GetHostname)
app.Run(iris.Addr("0.0.0.0:8080"), iris.WithoutServerError(iris.ErrServerClosed), iris.WithOptimizations)
}
创建Ingress
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: demo
annotations:
kubernetes.io/ingress.class: nginx
nginx.ingress.kubernetes.io/enable-modsecurity: "true"
nginx.ingress.kubernetes.io/enable-owasp-modsecurity-crs: "true"
nginx.ingress.kubernetes.io/modsecurity-snippet: |
SecRuleEngine On
SecRequestBodyAccess On
SecAuditEngine RelevantOnly
SecAuditLogParts ABIJDEFHZ
SecAuditLog /var/log/nginx/modsec_audit.log
Include /etc/nginx/owasp-modsecurity-crs/nginx-modsecurity.conf
spec:
rules:
- host: "demo.bar.com"
http:
paths:
- pathType: Prefix
path: "/api/v1"
backend:
service:
name: demo
port:
number: 8080
- pathType: Prefix
path: "/"
backend:
service:
name: demo
port:
number: 8080
静态资源加一级路由测试，重写路径
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: demo
annotations:
kubernetes.io/ingress.class: nginx
nginx.ingress.kubernetes.io/enable-modsecurity: "true"
nginx.ingress.kubernetes.io/enable-owasp-modsecurity-crs: "true"
nginx.ingress.kubernetes.io/modsecurity-snippet: |
SecRuleEngine On
SecRequestBodyAccess On
SecAuditEngine RelevantOnly
SecAuditLogParts ABIJDEFHZ
SecAuditLog /var/log/nginx/modsec_audit.log
Include /etc/nginx/owasp-modsecurity-crs/nginx-modsecurity.conf
nginx.ingress.kubernetes.io/app-root: /test/
nginx.ingress.kubernetes.io/rewrite-target: /$2
nginx.ingress.kubernetes.io/configuration-snippet: |
rewrite ^/css/(.*)$ /test/css/$1 redirect;
rewrite ^/js/(.*)$ /test/js/$1 redirect;
rewrite ^/img/(.*)$ /test/img/$1 redirect;
spec:
rules:
- host: "demo.bar.com"
http:
paths:
- pathType: Prefix
path: "/api/v1"
backend:
service:
name: demo
port:
number: 8080
- pathType: Prefix
path: "/test(/|$)(.*)"
backend:
service:
name: demo
port:
number: 8080
显示正常。(这里的前端样式文件用的是相对路径)
06
开启压缩
开启压缩前
开启压缩
nginx.ingress.kubernetes.io/server-snippet: |
gzip on;
gzip_disable "MSIE [1-6]\.";
gzip_vary on;
gzip_proxied any;
gzip_comp_level 5;
gzip_min_length 512;
gzip_buffers 16 128k;
gzip_http_version 1.1;
gzip_types
application/json
application/javascript
application/xml
application/x-javascript
application/vnd.api+json
application/json
application/x-font-ttf
text/javascrip
text/css
text/plain
image/jpeg
image/png
image/jpg
image/svg+xml
image/x-icon;
06
其他
Nginx Ingress 的配置参数与 Nginx 相差无几，更多配置请参考官方文档：
https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/