grpc实现流量染色
什么是流量染色
流量染色是指根据流量协议设置对应的流量染色规则，对指定的流量进行染色标记，并在整个调用链中携带该标记。通过染色流量可以对特定的流量进行跟踪和路由，所以流量染色功能常被用于灰度发布的场景。在业务系统迭代过程中会不断有新版本发布，在正式发布前，可以使用流量染色控制先进行小规模验证，通过收集使用体验的数据，对应用新版本的功能、性能、稳定性等指标进行评判，然后再全量升级。即使某个新版本出现问题，也只会影响已染色流量，不会将问题蔓延至整个系统，保证整个系统的正常运行。
同理，流量染色功能还可以用于大促前的性能压测。在线上压测的场景中，为了让压测数据和正式的线上数据实现隔离，常用的方法是对于消息队列，缓存，数据库使用影子的方式。这就需要流量染色的技术，带一个tag进去，说明这个请求是测试数据，还是真实数据。
此外，流量染色功能还可以用于多测试环境的治理。在大规模微服务场景下，不可能每个部门部署一套完整的环境，因为耗费的资源量实在是太大了。这时候就需要合理规划测试环境，可以建立一个基准测试环境，对应Master分支，里面部署全量的应用。每一个分支对应有更新的模块，比如说你修改了五个工程，测试的时候，不需要部署全量的应用，只需要把这五个工程去创建一个Delta测试环境就可以了。
当客户端进行测试的时候，通过流量染色标记不同的测试分支流量，将该流量路由至测试版本。当这五个服务之内相互调用的时候，微服务框架就会选择这五个服务的实例进行调用，如果需要调用五个服务之外的其他服务的时候，微服务框架会到Master环境里面，选择服务实例进行调用。有了流量染色的环境治理机制，测试环境数量会大大减少。
染色信息的传递
grpc怎么实现流量染色
依赖resolver注册组件以及balancer负载均衡组件
一.首先需要将染色信息注册到etcd等注册发现中心
ip := "127.0.0.1" // NOTE: 必须拿到您实例节点的真实IP，
port := "9000" // NOTE: 必须拿到您实例grpc监听的真实端口
hn, _ := os.Hostname()
dis,err := etcd.New(&clientv3.Config{Endpoints:[]string{"127.0.0.1"}})
if err != nil {
panic(err)
}
ins := &naming.Instfszance{
AppID: "test",
Addrs: []string{
"grpc://" + ip + ":" + port,
},
Metadata : map[string]string{"color":env.Color},
}
cancel, err := etcd.Register(context.Background(), ins)完成服务注册，如test服务，如果有不同测试分支，则数据有多条，同一个appid不用addr和color
二.实现resolver组件Build方法
addrs := make([]resolver.Address, 0, len(instances))
for _, ins := range instances {
var rpc string
for _, a := range ins.Addrs {
u, err := url.Parse(a)
if err == nil && u.Scheme == Scheme {
rpc = u.Host
}
}
addr := resolver.Address{
Addr: rpc,
Type: resolver.Backend,
ServerName: ins.AppID,
Metadata: wmeta.MD{Weight: uint64(weight), Color: ins.Metadata[naming.MetaColor]},
}
addrs = append(addrs, addr)
}
log.Info("resolver: finally get %d instances", len(addrs))
r.cc.NewAddress(addrs)主要逻辑思想为从etcd发现信息，而后更新到grpc，resolver.Address里自此存在了color信息
三.实现balancer的Build和Pick方法，从中挑选出你想要的Conn
func (*p2cPickerBuilder) Build(readySCs map[resolver.Address]balancer.SubConn) balancer.Picker {
p := &p2cPicker{
colors: make(map[string]*p2cPicker),
r: rand.New(rand.NewSource(time.Now().UnixNano())),
}
for addr, sc := range readySCs {
meta, ok := addr.Metadata.(wmd.MD)
if !ok {
meta = wmd.MD{
Weight: 10,
}
}
subc := &subConn{
conn: sc,
addr: addr,
meta: meta,
svrCPU: 500,
lag: 0,
success: 1000,
inflight: 1,
}
if meta.Color == "" {
p.subConns = append(p.subConns, subc)
continue
}
// if color not empty, use color picker
cp, ok := p.colors[meta.Color]
if !ok {
cp = &p2cPicker{r: rand.New(rand.NewSource(time.Now().UnixNano()))}
p.colors[meta.Color] = cp
}
cp.subConns = append(cp.subConns, subc)
}
return p
}
type p2cPicker struct {
// subConns is the snapshot of the weighted-roundrobin balancer when this picker was
// created. The slice is immutable. Each Get() will do a round robin
// selection from it and return the selected SubConn.
subConns []*subConn
colors map[string]*p2cPicker
logTs int64
r *rand.Rand
lk sync.Mutex
}
func (p *p2cPicker) Pick(ctx context.Context, opts balancer.PickInfo) (balancer.SubConn, func(balancer.DoneInfo), error) {
// FIXME refactor to unify the color logic
color := nmd.String(ctx, nmd.Color)
if color == "" && env.Color != "" {
color = env.Color
}
if color != "" {
if cp, ok := p.colors[color]; ok {
return cp.pick(ctx, opts)
}
}
return p.pick(ctx, opts)
}自此则实现了根据染色信息进而路由的功能，那么最后从网关入口处根据不通的流量，标记不通的染色信息，带入go中的context，流量染色整体的功能就实现了。