k8s ingress高级用法一
前面的文章中，我们讲述了ingress的基础应用，接下来继续讲解ingress的一些高级用法
一、ingress限流
在实际的生产环境中，有时间我们需要对服务进行限流，避免单位时间内访问次数过多，常用的一些限流的参数如下：
- nginx.ingress.kubernetes.io/limit-connections
单个IP地址允许的并发连接数。超出此限制时，将返回503错误。
- nginx.ingress.kubernetes.io/limit-rps
某个IP每秒钟接受的请求数。默认乘数为5。和ingress中这个参数有关nginx.ingress.kubernetes.io/limit-burst-multiplier，默认值为5，可以修改此值的大小与限速配合使用。当客户端超过此限制时，将返回limit-req-status-code默认值： 503。
- nginx.ingress.kubernetes.io/limit-rpm
某个IP每分钟接受的请求数。默认乘数为5。和ingress中这个参数有关nginx.ingress.kubernetes.io/limit-burst-multiplier，默认值为5，可以修改此值的大小与限速配合使用。当客户端超过此限制时，将返回limit-req-status-code默认值： 503。
- nginx.ingress.kubernetes.io/limit-rate
每秒允许发送到给定连接的千字节数。零值禁用速率限制。必须在启用代理缓冲的情况下使用此功能。
- nginx.ingress.kubernetes.io/limit-whitelist
从速率限制中排除的源IP范围。该值是逗号分隔的CIDR列表，如下：
annotations:
ingress.kubernetes.io/whitelist-source-range: "10.1.0.0/24,172.10.0.1"
我们使用其中一个进行测试，如下：
测试nginx.ingress.kubernetes.io/limit-rps
1：编写yaml文件，如下：
[root@node1 yaml]# cat ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/limit-rps: "1"
name: ingress-test
spec:
ingressClassName: nginx
rules:
- host: "nginx.test.com"
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: nginx-svc
port:
number: 80
- host: "tomcat.test.com"
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: tomcat-svc
port:
number: 8080
2：创建ingress如下：deployment已经提前创建好了
[root@node1 yaml]# kubectl apply -f ingress.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com,tomcat.test.com 80 2s
[root@node1 yaml]# kubectl get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com,tomcat.test.com 192.168.5.79 80 37s
3：访问ingress有两种方式
<1>： 部署ingress-controller的时候，使用的是host-network模式，ingress-controller又起在了node上，所有可以直接使用node1的地址+80端口
<2>:查看ingress的svc 端口，使用端口的方式访问，如下：
[root@node1 yaml]# kubectl get svc -n ingress-nginx
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ingress-nginx-controller NodePort 10.233.51.155 80:31122/TCP,443:30795/TCP 6d21h
ingress-nginx-controller-admission ClusterIP 10.233.38.9 443/TCP 6d21h
[root@node1 yaml]#
浏览器访问nginx，如下：
多刷新几次，因为默认要乘以5，返回默认的错误代码，如下：
二、ingress rewrite
URL重写（URL rewriting）是一种在Web服务器上修改或转换请求URL的过程。它通常涉及使用服务器配置或规则来更改传入的URL，以便在不改变实际请求资源的情况下，实现不同的行为，如重定向、路径映射、参数处理等。在客户端不会感知这些更改。在Nginx、Apache等常见的Web服务器中，URL重写可以通过正则表达式、规则匹配等方式来实现。URL 重写可以用于以下几种场景
- 重定向
将一个URL重写为另一个URL，实现301永久重定向或302临时重定向。
- 路径映射
将一个URL的路径映射到另一个位置，这对于隐藏实际文件路径或路径重组很有用。
- 查询参数处理
在URL中添加、删除或修改查询参数，以适应不同的应用需求。
- 动态URL到静态URL
将动态生成的URL（带有参数）转化为静态URL，更友好且易于索引。
- 隐藏技术细节
可以通过URL重写隐藏后端服务器或应用程序的实际技术细节，提高安全性.
一些内置变量如下：
变量名 定义
$arg_PARAMETER GET请求中变量名PARAMETER参数的值。
$args 这个变量等于GET请求中的参数。例如，foo=123&bar=blahblah;这个变量只可以被修改
$binary_remote_addr 二进制码形式的客户端地址。
$body_bytes_sent 传送页面的字节数
$content_length 请求头中的Content-length字段。
$content_type 请求头中的Content-Type字段。
$cookie_COOKIE cookie COOKIE的值。
$document_root 当前请求在root指令中指定的值。
$document_uri 与$uri相同。
$host 请求中的主机头(Host)字段，如果请求中的主机头不可用或者空，则为处理请求的server名称(处理请求的server的server_name指令的值)。值为小写，不包含端口。
$hostname 机器名使用 gethostname系统调用的值
$http_HEADER HTTP请求头中的内容，HEADER为HTTP请求中的内容转为小写，-变为_(破折号变为下划线)，例如：$http_user_agent(Uaer-Agent的值);
$http_user_agent ： 客户端agent信息;
$http_cookie ： 客户端cookie信息;
$sent_http_HEADER HTTP响应头中的内容，HEADER为HTTP响应中的内容转为小写，-变为_(破折号变为下划线)，例如： $sent_http_cache_control, $sent_http_content_type…;
$is_args 如果$args设置，值为"?"，否则为""。
$limit_rate 这个变量可以限制连接速率。
$nginx_version 当前运行的nginx版本号。
$query_string 与$args相同。
$remote_addr 客户端的IP地址。
$remote_port 客户端的端口。
$remote_user 已经经过Auth Basic Module验证的用户名。
$request_filename 当前连接请求的文件路径，由root或alias指令与URI请求生成。
$request_body 这个变量（0.7.58+）包含请求的主要信息。在使用proxy_pass或fastcgi_pass指令的location中比较有意义。
$request_body_file 客户端请求主体信息的临时文件名。
$request_completion 如果请求成功，设为"OK"；如果请求未完成或者不是一系列请求中最后一部分则设为空。
$request_method 这个变量是客户端请求的动作，通常为GET或POST。包括0.8.20及之前的版本中，这个变量总为main request中的动作，如果当前请求是一个子请求，并不使用这个当前请求的动作。
$request_uri 这个变量等于包含一些客户端请求参数的原始URI，它无法修改，请查看$uri更改或重写URI,
包含请求参数的原始URI，不包含主机名，如：”/foo/bar.php?arg=baz”。
$scheme 所用的协议，比如http或者是https，比如rewrite ^(.+)$ $scheme://example.com$1 redirect;
$server_addr 服务器地址，在完成一次系统调用后可以确定这个值，如果要绕开系统调用，则必须在listen中指定地址并且使用bind参数。
$server_name 服务器名称。
$server_port 请求到达服务器的端口号。
$server_protocol 请求使用的协议，通常是HTTP/1.0或HTTP/1.1。
$uri 请求中的当前URI(不带请求参数，参数位于args)，不同于浏览器传递的args)，不同于浏览器传递的args)，不同于浏览器传递的request_uri的值，它可以通过内部重定向，或者使用index指令进行修改。uri不包含主机名，如”/foo/bar.html”。
ingress正则表达式匹配
正则表达式匹配，其中：
~ 为区分大小写匹配
~* 为不区分大小写匹配
!~和!~* 分别为区分大小写不匹配及不区分大小写不匹配
. 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线或汉字
\s 匹配任意的空白符
\d 匹配数字
\b 匹配单词的开始或结束
^ 匹配字符串的开始
$ 匹配字符串的结束
* 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次
*? 复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复
\W 匹配任意不是字母，数字，下划线，汉字的字符
\S 匹配任意不是空白符的字符
\D 匹配任意非数字的字符
\B 匹配不是单词开头或结束的位置
[^x] 匹配除了x以外的任意字符
[^aeiou] 匹配除了aeiou这几个字母以外的任意字符
(exp) 匹配exp,并捕获文本到自动命名的组里
(?exp) 匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp)
(?:exp) 匹配exp,不捕获匹配的文本，也不给此分组分配组号
(?=exp) 匹配exp前面的位置
(?<=exp) 匹配exp后面的位置
(?!exp) 匹配后面跟的不是exp的位置
(? 常用的几个annotations参数如下：
举例如下：
1:编写ingress yaml文件
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/rewrite-target: /$2
name: ingress-test
spec:
ingressClassName: nginx
rules:
- host: "nginx.test.com"
http:
paths:
- path: "/nginx(/|$)(.*)"
pathType: Prefix
backend:
service:
name: nginx-svc
port:
number: 80
注意：上面定义的ingress将有以下几种场景
<1>：nginx.test.com/something rewrites to nginx.test.com/
<2>：nginx.test.com/something/ rewrites to nginx.test.com/
<3>：nginx.test.com/something/new rewrites to nginx.test.com/new
###############################
2：创建ingress如下： nginx-svc已经提前创建
[root@node1 yaml]# kubectl apply -f ingress-nginx.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ingress
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com 192.168.5.79 80 98s
[root@node1 yaml]#
浏览器访问nginx.test.com/nginx,如下：
三、ingress auth验证
顾名思义是在使用域名访问时，需要提供用户名和密码。在ingress中有以下两个参数来实现
使用步骤如下：
1:使用htpasswd工具创建用户密码文件
[root@node1 yaml]# htpasswd -c auth admin
New password:
Re-type new password:
Adding password for user admin
[root@node1 yaml]#
2：使用auth文件创建secret
[root@node1 yaml]# kubectl create secret generic basic-auth --from-file=auth
secret/basic-auth created
[root@node1 yaml]#
[root@node1 yaml]# kubectl get secret basic-auth -o yaml
apiVersion: v1
data:
auth: YWRtaW46JGFwcjEkVlBvTVFNUTYkcW45NUZrSDNUZjBtbFU5a0Fuck1oMQo=
kind: Secret
metadata:
creationTimestamp: "2023-11-16T10:44:34Z"
name: basic-auth
namespace: default
resourceVersion: "36379081"
uid: eac9b232-a6cc-4457-a098-9433d542ae3f
type: Opaque
[root@node1 yaml]#
3： 编辑ingress yaml文件，如下：
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/auth-type: basic
nginx.ingress.kubernetes.io/auth-secret: basic-auth
nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required - nginx'
name: ingress-test
spec:
ingressClassName: nginx
rules:
- host: "nginx.test.com"
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: nginx-svc
port:
number: 80
4：创建ingress如下：
[root@node1 yaml]# kubectl apply -f ingress-auth.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ing -A
NAMESPACE NAME CLASS HOSTS ADDRESS PORTS AGE
default ingress-test nginx nginx.test.com 192.168.5.79 80 83s
[root@node1 yaml]#
浏览器访问
四、ingress 强制使用https
互联网发展中，安全是非常重要的，由其是现在HTTPS非常普及的情况下，应用程序在公网上一般都会被强制要求HTTPS。应用强制HTTPS，当应用程序识别到用户使用的是HTTP协议访问时，强制跳转至HTTPS。这种场景一般推荐是应用程序直接向外提供服务，不经过Ingress时使用。
Ingress强制使用HTTPS时，可以使用以下参数设置
步骤如下：
1：创建secret证书，参数步骤https://blog.csdn.net/weixin_40579389/article/details/134338494?spm=1001.2014.3001.5501
[root@node1 yaml]# kubectl get secret | grep tls
tls-secret kubernetes.io/tls 2 6d2h
[root@node1 yaml]#
2：编辑ingress yaml文件如下：
[root@node1 yaml]# cat ingress-nginx-https.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/ssl-redirect: "true"
nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
nginx.ingress.kubernetes.io/rewrite-target: /
name: ingress-test
spec:
tls:
- hosts:
- nginx.test.com ###使用tls的主机
secretName: tls-secret
ingressClassName: nginx
rules:
- host: "nginx.test.com"
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: nginx-svc
port:
number: 80
3：创建ingress 如下：
[root@node1 yaml]# kubectl apply -f ingress-nginx-https.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com 80, 443 6s
[root@node1 yaml]#
浏览器访问如下：
如下会自动跳转到https
五、ingress 允许最大body
这个主要是针对外部请求，防止将流量打满，proxy-body-size 设置最大请求 body，如果超过则会返回 413 请求错误。它通常用于保护后端服务免受恶意用户发送的大型或潜在有害的请求
通过nginx.ingress.kubernetes.io/proxy-body-size: 10m参数来实现
proxy-body-size单位大小
k 或 K 表示千字节（KB）
m 或 M 表示兆字节（MB）
g 或 G 表示千兆字节（GB）
步骤如下：
######################################################
1：创建ingress，如下：
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/proxy-body-size: 10M ###指定大小为10M
name: ingress-test
spec:
ingressClassName: nginx
rules:
- host: "nginx.test.com"
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: nginx-svc
port:
number: 80
####################################
2：创建ingress,如下：
[root@node1 yaml]# kubectl apply -f ingress-body-size.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]# kubectl get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com 80 3s
[root@node1 yaml]# kubectl get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com 192.168.5.79 80 100s
[root@node1 yaml]#
六、ingress affinity会话保持
Ingress会话保持,又称会话亲和、粘性会话，指同一客户端的请求在一定时间内会被ingress路由到相同的pod处理
下面举例来验证一下
- 没有配置affinity效果
1:创建nginx deploy，使用三幅本
[root@node1 yaml]# kubectl get po -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-5977dc5756-glczk 1/1 Running 0 8d 172.16.44.6 node2
nginx-5977dc5756-r7z4w 1/1 Running 0 8m21s 172.16.28.14 node3
nginx-5977dc5756-zzv5d 1/1 Running 0 8m21s 172.16.154.7 node1
[root@node1 yaml]# kubectl get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
nginx 3/3 3 3 8d
[root@node1 yaml]#
[root@node1 yaml]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.233.0.1 443/TCP 222d
nginx-svc ClusterIP 10.233.43.219 80/TCP 8d
[root@node1 yaml]#
#################################33
2：创建ingress ,如下：
[root@node1 yaml]# cat ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress-test
spec:
ingressClassName: nginx
rules:
- host: "nginx.test.com"
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: nginx-svc
port:
number: 80
[root@node1 yaml]#
[root@node1 yaml]# kubectl apply -f ingress.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]#
[root@node1 yaml]# kubectl get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com 192.168.5.79 80 51s
打开浏览器访问nginx.test.com，连续多刷新几次，查看ingress-controller pod日志可以看到每次请求被均匀的分配到了后端的每个pod
- 配置affinity效果
1:使用上述创建的deploy、svc
2:编辑ingress yaml文件，如下：
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/affinity: cookie ###实现会话亲和的方式,目前只支持cookie
nginx.ingress.kubernetes.io/affinity-mode: persistent # 默认是balanced平衡的,伸缩应用时会重新分配一些session, 以确保每个pod处理的会话数均衡;persistent持续的, 保持最大限度的会话亲和
nginx.ingress.kubernetes.io/session-cookie-hash: sha1 #哈希算法
nginx.ingress.kubernetes.io/session-cookie-name: ingress-nginx # 自定义cookie名字, 默认为INGRESSCOOKIE。一定要设置cookie name，避免不同ingress使用相同的cookie name导致冲突
name: ingress-test
spec:
ingressClassName: nginx
rules:
- host: "nginx.test.com"
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: nginx-svc
port:
number: 80
3：创建ingress
[root@node1 yaml]# kubectl apply -f ingress-affinity.yaml
ingress.networking.k8s.io/ingress-test created
[root@node1 yaml]#
[root@node1 yaml]# kubectl get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress-test nginx nginx.test.com 192.168.5.79 80 60s
打开浏览器访问nginx.test.com，连续多刷新几次，可以看到请求都被分配到同一个pod上
使用curl 命令查看设置的cookie名称，如下：
[root@node1 yaml]# curl -i nginx.test.com
HTTP/1.1 200 OK
Date: Fri, 17 Nov 2023 07:08:40 GMT
Content-Type: text/html
Content-Length: 615
Connection: keep-alive
Set-Cookie: ingress-nginx=e6decf59a107dc5da74a5cd7e13b8da1|996a01b99b36cdd86f627625659ee9ee; Path=/; HttpOnly
Last-Modified: Tue, 25 Jan 2022 15:03:52 GMT
ETag: "61f01158-267"
Accept-Ranges: bytes
########################
上面可以看到 Set-Cookie: 后面的名称为设置的ingress-nginx