sentinel 以及 sentinel-golang 让你的服务坚如磐石

首先要说 Sentinel,这是阿里巴巴内部使用多年并演化出来的流控软件,经受住了多年的双十一考验,最早是服务于Java语言的,在2020年推出了 Sentinel-golang 版本。

官方文档:https://sentinelguard.io/zh-cn/docs/introduction.html

Sentinel 基本概念

资源

资源是 Sentinel 的关键概念。它可以是 Java 应用程序中的任何内容,例如,由应用程序提供的服务,或由应用程序调用的其它应用提供的服务,甚至可以是一段代码。在接下来的文档中,我们都会用资源来描述代码块。

只要通过 Sentinel API 定义的代码,就是资源,能够被 Sentinel 保护起来。大部分情况下,可以使用方法签名,URL,甚至服务名称作为资源名来标示资源。

规则

围绕资源的实时状态设定的规则,可以包括流量控制规则、熔断降级规则以及系统保护规则。所有规则可以动态实时调整。

Sentinel 功能和设计理念

流量控制

流量控制在网络传输中是一个常用的概念,它用于调整网络包的发送数据。然而,从系统稳定性角度考虑,在处理请求的速度上,也有非常多的讲究。任意时间到来的请求往往是随机不可控的,而系统的处理能力是有限的。我们需要根据系统的处理能力对流量进行控制。Sentinel 作为一个调配器,可以根据需要把随机的请求调整成合适的形状,如下图所示:

sentinel 以及 sentinel-golang 让你的服务坚如磐石_第1张图片

流量控制有以下几个角度:

  • 资源的调用关系,例如资源的调用链路,资源和资源之间的关系;
  • 运行指标,例如 QPS、线程池、系统负载等;
  • 控制的效果,例如直接限流、冷启动、排队等。

Sentinel 的设计理念是让您自由选择控制的角度,并进行灵活组合,从而达到想要的效果。

熔断降级

什么是熔断降级

除了流量控制以外,降低调用链路中的不稳定资源也是 Sentinel 的使命之一。由于调用关系的复杂性,如果调用链路中的某个资源出现了不稳定,最终会导致请求发生堆积。这个问题和 Hystrix 里面描述的问题是一样的。

sentinel 以及 sentinel-golang 让你的服务坚如磐石_第2张图片

Sentinel 和 Hystrix 的原则是一致的: 当调用链路中某个资源出现不稳定,例如,表现为 timeout,异常比例升高的时候,则对这个资源的调用进行限制,并让请求快速失败,避免影响到其它的资源,最终产生雪崩的效果。

熔断降级设计理念

在限制的手段上,Sentinel 和 Hystrix 采取了完全不一样的方法。

Hystrix 通过线程池的方式,来对依赖(在我们的概念中对应资源)进行了隔离。这样做的好处是资源和资源之间做到了最彻底的隔离。缺点是除了增加了线程切换的成本,还需要预先给各个资源做线程池大小的分配。

Sentinel 对这个问题采取了两种手段:

  • 通过并发线程数进行限制

和资源池隔离的方法不同,Sentinel 通过限制资源并发线程的数量,来减少不稳定资源对其它资源的影响。这样不但没有线程切换的损耗,也不需要您预先分配线程池的大小。当某个资源出现不稳定的情况下,例如响应时间变长,对资源的直接影响就是会造成线程数的逐步堆积。当线程数在特定资源上堆积到一定的数量之后,对该资源的新请求就会被拒绝。堆积的线程完成任务后才开始继续接收请求。

  • 通过响应时间对资源进行降级

除了对并发线程数进行控制以外,Sentinel 还可以通过响应时间来快速降级不稳定的资源。当依赖的资源出现响应时间过长后,所有对该资源的访问都会被直接拒绝,直到过了指定的时间窗口之后才重新恢复。

系统负载保护

Sentinel 同时提供系统维度的自适应保护能力。防止雪崩,是系统防护中重要的一环。当系统负载较高的时候,如果还持续让请求进入,可能会导致系统崩溃,无法响应。在集群环境下,网络负载均衡会把本应这台机器承载的流量转发到其它的机器上去。如果这个时候其它的机器也处在一个边缘状态的时候,这个增加的流量就会导致这台机器也崩溃,最后导致整个集群不可用。

针对这个情况,Sentinel 提供了对应的保护机制,让系统的入口流量和系统的负载达到一个平衡,保证系统在能力范围之内处理最多的请求。

Sentinel 是如何工作的

Sentinel 的主要工作机制如下:

  • 对主流框架提供适配或者显示的 API,来定义需要保护的资源,并提供设施对资源进行实时统计和调用链路分析。
  • 根据预设的规则,结合对资源的实时统计信息,对流量进行控制。同时,Sentinel 提供开放的接口,方便您定义及改变规则。
  • Sentinel 提供实时的监控系统,方便您快速了解目前系统的状态。

流控降级与容错标准

Sentinel 社区正在将流量治理相关标准抽出到 OpenSergo spec 中,Sentinel 作为流量治理标准实现。有关 Sentinel 流控降级与容错 spec 的最新进展,请参考 opensergo-specification,也欢迎社区一起来完善标准与实现。

sentinel 以及 sentinel-golang 让你的服务坚如磐石_第3张图片

Sentinel Go 实践

引入依赖

> go get -u github.com/alibaba/sentinel-golang

已适配的框架

  • Web
    • CloudWeGo Hertz
    • echo
    • gear
    • Gin
  • RPC
    • CloudWeGo Kitex
    • dubbo-go
    • gRPC-go
    • go-micro
    • go-zero
  • Service Mesh && Runtime
    • Dapr
    • MOSN

定义资源

资源 (resource) 是 Sentinel 中的最核心概念之一,Sentinel 中所有的限流熔断机制都是基于资源生效的,不同资源的限流熔断规则互相隔离互不影响。

在 Sentinel 中,用户可以灵活的定义资源埋点。资源可以是应用、接口、函数、甚至是一段代码。我们的流量治理机制都是为了保护这段资源运行如预期一样。

用户通过 Sentinel api 包里面的接口可以把资源访问包起来,这一步称为“埋点”。每个埋点都有一个资源名称(resource),代表触发了这个资源的调用或访问。有了资源埋点之后,我们就可以针对资源埋点配置流量治理规则。即使没有配置任何规则,资源埋点仍然会产生 metric 统计。

gin框架

> go get -u github.com/sentinel-group/sentinel-go-adapters/gin
go: github.com/sentinel-group/[email protected] requires
        github.com/micro/go-micro/[email protected] requires
        github.com/micro/cli/[email protected]: reading https://goproxy.io/github.com/micro/cli/v2/@v/v2.1.2.mod: 404 Not Found
        server response:
        not found: github.com/micro/cli/[email protected]: invalid version: git ls-remote -q origin in /data1/golang/pkg/mod/cache/vcs/2f5431eb5439e9d79f82a6d853348656f17b78125db9eda81300
bc014d0f0a5d: exit status 128:
                fatal: could not read Username for 'https://github.com': terminal prompts disabled
        Confirm the import path was entered correctly.
        If this is a private repository, see https://golang.org/doc/faq#git_https for additional information.

应该是go-micro这个项目出现了问题,这是已知的事情。

sentinel-go-adapters fork 到自己仓库,将 micro 相关的删掉,然后 go mod tidy,提交到自己的仓库。

go get github.com/phprao/[email protected]
import sentinelPlugin "github.com/phprao/sentinel-go-adapters/gin"

使用中间件的方式引入

r := gin.New()
r.Use(sentinelPlugin.SentinelMiddleware())

这是默认的方式,其效果是

  • 资源名称:{method}:{path}, such as "GET:/api/users/:id"
  • 如果触发了限流,会返回 429 (http.StatusTooManyRequests) 状态码
  • 可以通过传入 Option 来改变默认行为

方法签名

// SentinelMiddleware returns new gin.HandlerFunc
// Default resource name is {method}:{path}, such as "GET:/api/users/:id"
// Default block fallback is returning 429 code
// Define your own behavior by setting options
func SentinelMiddleware(opts ...Option) gin.HandlerFunc {
	options := evaluateOptions(opts)
	return func(c *gin.Context) {
		resourceName := c.Request.Method + ":" + c.FullPath()

		if options.resourceExtract != nil {
			resourceName = options.resourceExtract(c)
		}
		// 埋点
		entry, err := sentinel.Entry(
			resourceName,
			sentinel.WithResourceType(base.ResTypeWeb),// 标记该埋点资源的分类
			sentinel.WithTrafficType(base.Inbound),// 入网流量
		)

         // 触发了限流
		if err != nil {
			if options.blockFallback != nil {
				options.blockFallback(c)
			} else {
				c.AbortWithStatus(http.StatusTooManyRequests)
			}
			return
		}
		// 业务逻辑结束后一定要关闭 entry
		defer entry.Exit()
		c.Next()
	}
}

提供了两个 Option,而且 Entry 只封装了这两个。

// WithResourceExtractor sets the resource extractor of the web requests.
func WithResourceExtractor(fn func(*gin.Context) string) Option {
	return func(opts *options) {
		opts.resourceExtract = fn
	}
}

// WithBlockFallback sets the fallback handler when requests are blocked.
func WithBlockFallback(fn func(ctx *gin.Context)) Option {
	return func(opts *options) {
		opts.blockFallback = fn
	}
}

分别用来设置 resourceName 和 触发限流后的返回信息,如果将 resourceName 设置为客户端IP,那就成了IP限流,比如。

// customize resource extractor if required
// method_path by default
WithResourceExtractor(func(ctx *gin.Context) string {
    return ctx.GetHeader("X-Real-IP")
}),

// customize block fallback if required
// abort with status 429 by default
WithBlockFallback(func(ctx *gin.Context) {
    ctx.AbortWithStatusJSON(400, map[string]interface{}{
        "err":  "too many request; the quota used up",
        "code": 10222,
    })
}),

剩下的就是初始化

import sentinel "github.com/alibaba/sentinel-golang/api"

err := sentinel.InitDefault()
if err != nil {
    t.Fatalf("Unexpected error: %+v", err)
}

然后加载流控规则

import "github.com/alibaba/sentinel-golang/core/flow"

_, err = flow.LoadRules([]*flow.Rule{
	{
		Resource:               "GET:/show/stats",
		Threshold:              10,// 1秒10个
		TokenCalculateStrategy: flow.Direct,// 表示直接使用字段 Threshold 作为阈值
		ControlBehavior:        flow.Reject,// 表示超过阈值直接拒绝
         StatIntervalInMs:       1000,// 统计周期,单位毫秒,设置为1000就意味着QPS
	},
})
if err != nil {
	// 加载规则失败,进行相关处理
}

测试

func TestSentinel(t *testing.T) {
	for i := 0; i < 20; i++ {
		t.Run("run-"+strconv.Itoa(i), func(t *testing.T) {
			resp, err := http.Get("http://127.0.0.1:8007/show/stats")
			if err != nil {
				log.Println(err)
			} else {
				_, err := io.ReadAll(resp.Body)
				if err != nil {
					log.Println(resp.StatusCode, err)
				} else {
					log.Println(resp.StatusCode)
				}
			}

		})
	}
}
=== RUN   TestSentinel/run-0
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-1
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-2
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-3
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-4
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-5
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-6
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-7
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-8
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-9
2023/09/27 14:57:50 200
=== RUN   TestSentinel/run-10
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-11
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-12
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-13
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-14
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-15
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-16
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-17
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-18
2023/09/27 14:57:50 429
=== RUN   TestSentinel/run-19
2023/09/27 14:57:50 429

dashboard控制台

下载 jar 包:https://github.com/alibaba/Sentinel/releases/download/1.8.6/sentinel-dashboard-1.8.6.jar

> java -Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.6.jar

访问:localhost:8080

登录:sentinel / sentinel

sentinel 以及 sentinel-golang 让你的服务坚如磐石_第4张图片

还不知道 golang 怎么接入。

你可能感兴趣的:(golang,sentinel,golang,开发语言)