Openshift上使用Nginx Pod作灰度发布

参考文章：使用 Nginx 实现灰度发布

什么是灰度发布

【百度百科】灰度发布（又名金丝雀发布）是指在黑与白之间，能够平滑过渡的一种发布方式。在其上可以进行A/B testing，即让一部分用户继续用产品特性A，一部分用户开始用产品特性B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面来。
除了AB test灰度发布另一种思想是，只发布给一小部分用户，如：App在发布之前，针对性的给一小批用户测试下新版本，用小流量发布的方式来检验新版会不会有问题。
灰度发布可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，以保证其影响度。

Openshift上实现蓝绿部署

image.png

在openshift上的部署两个版本的Service：service01, service02。在创建Route的时候，可以非常简单地指定同一个Route流量访问两个service的百分比service01（25%流量）, service02（75%流量）。所有请求该Route的流量会被按指定的比例访问后service。

配置发布75%-25%.png

Route详情展示.png

对应的Route yaml配置文件如下：

apiVersion: route.openshift.io/v1
kind: Route
metadata:
  labels:
    app: grey-test
  name: grey-test
  namespace: grey
spec:
  alternateBackends:
    - kind: Service
      name: service_v2
      weight: 75
  host: grey-test.sample.com
  port:
    targetPort: web
  to:
    kind: Service
    name: service_v1
    weight: 25
  wildcardPolicy: None

金丝雀发布的不足

openshift中Route自带的金丝雀发布配置非常简单，也很实用。但是它没办法对请求的流量进行定义控制。
例如根据IP，指定IP为'202.38.12.10'的用户访问service_v2,那么Openshift中Route自带的分流就无法实现。
所以必须对特定用户访问特定版本的问题，我们需要寻求其它办法。使用传统的方法，Nginx是一个比较常见的选择。在openshift的灰度方案中，我们也尝试使用Nginx来实现对特定用户的灰度发布。

Nginx配置实现灰度发布

创建两个upstream
针对remote_addr进行分流，默认访问default的upstream，如果ip为'202.38.12.10'，则访问api_v2的upstream。

无需多解释，直接上配置。

upstream default{
    server 172.30.198.194:8080 max_fails=1 fail_timeout=60;
}

upstream api_v2{
    server 172.30.198.194:8080 max_fails=1 fail_timeout=60;
}

server {
  listen 80;
  server_name  _;

  set $group default;
  if ($remote_addr ~ "202.38.12.10") {
      set $group api_v2;
  }

location / {                       
    proxy_pass http://$group;
    proxy_set_header   Host             $host;
    proxy_set_header   X-Real-IP        $remote_addr;
    proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
    index  index.html index.htm;
  }
}

对配置作进一步优化

怎么获取客户端IP？

如果直接访问Nginx服务的话，在Nginx上通过 $remote_addr 能够获得客户端IP，但是我们知道在Openshift高可用部署中，我们使用了负载均衡器。通过负载均衡器转发后，Nginx webserver获得的$remote_addr其实是负载均衡器的IP，而不是客户端真实IP。
为了能在Nginx webserver中获得客户端IP，需要在附加HTTP头字段开启客户端真实IP。同时在Nginx的配置中使用$http_x_forwarded_for来检查客户端IP.

IaaS上创建负载均衡器.png
新的配置如下

upstream default{
    server 172.30.198.194:8080 max_fails=1 fail_timeout=60;
}

upstream api_v2{
    server 172.30.198.194:8080 max_fails=1 fail_timeout=60;
}

server {
  listen 80;
  server_name  _;

  set $group default;
  if ($http_x_forwarded_for ~ "202.38.12.10") {
      set $group api_v2;
  }

location / {                       
    proxy_pass http://$group;
    proxy_set_header   Host             $host;
    proxy_set_header   X-Real-IP        $remote_addr;
    proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
    index  index.html index.htm;
  }
}

如何实现高可用？

这个非常简单，只需要在Openshift上将为Nginx的DeploymentConfig增加Pod数增就可以了。

我要有多个IP加入白名单，有没有更方便的配置方法？

Nginx有map函数，能将IP与访问的后台服务。

map $http_x_forwarded_for $group {
        default 172.30.198.194:8080;
        ~202.38.12.10 172.30.198.194:8080;
    }
server{
    listen  8080;
    server_name _; 
    location /{
        proxy_pass http://$group;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded_For $proxy_add_x_forwarded_for;
        index index.html index.htm;
    }
}

明明有域名为啥只能是IP？

Openshift对于Service除了有固定的IP外，还有固定的域名，一般域名形式为：servername-projectname.svc。我们能否用域名代替IP,让这个配置的可读性更高，什么IP访问什么服务一目了然。
但是直接将IP更改为对应Service的域名，在启动Nginx时会报无法解析域名的错误。
Nginx需要在map配置中解析域名需要指定dns。
最终配置如下（172.30.0.1为Openshif集群默认的内部DNS，可在master的配置文件中查看）：

resolver 172.30.0.1;
map $http_x_forwarded_for $group {
        default api_v1.server.svc:8080;
        ~202.38.12.10 api_v2.server.svc:8080;
    }
server{
    listen  8080;
    server_name _; 
    location /{
        proxy_pass http://$group;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded_For $proxy_add_x_forwarded_for;
        index index.html index.htm;
    }
}

Openshift中对于443端口的负载均衡器使用的是TCP协议，无法转发X_forward_for，那https服务要怎么弄？

如何应用请求为Https，无法直接使用TCP负载均衡器，而Openshift部署时是通过TCP负载均衡器来作443端口的负载的。

这就需要创建一个Https负载均衡器，后台Openshift Nginx的Route设置为正常的Http。其它配置一样。既能将clientIP传给后台webserver，同时又满足了该业务请求为Http协议。
最终的流程图如下：

Nginx作负载均衡器图.png

拓展思考

是否一定要在Openshift上部署呢?【必然不需要】
Nginx实现灰度发布除了支持ip还支持啥？【对Header头信息等】
除了对页面HTTP请求实现这种灰度，那么对于TCP服务呢，比如说数据库？【也是OK的】