图解 Istio & Envoy 请求处理流程、超时、熔断、指标监控

图解 Istio & Envoy 请求处理流程、超时、熔断、指标监控_第1张图片

关于封面：
Tower Bridge watercolor painting by Juan Bosco

摘录说明：
本文摘自一本我在写作中的开源书《Istio & Envoy 内幕》 中 Envoy 请求与响应调度 一节。如果说你看到的转载图片不清，可回到原书。

正式开编前。想说说写本节的一些故事缘由。为何去研究 Envoy 的请求与响应调度？

缘起于一个客户需求，需要对 Istio 网格节点故障快速恢复做一些调研。为此，我翻阅了大量的 Istio/Envoy 文档、大咖 Blog。看了很多很杂乱的信息：

  • 健康检测
  • 熔断
  • Envoy 中的各个神秘又关系千丝万缕的 timeout 配置
  • 请求 Retry
  • TCP keepalive、TCP_USER_TIMEOUT 配置

杂乱到最后，我不得不写个文章去梳理一下信息：Istio 网格节点故障快速恢复初探 。 但信息是梳理了，基础原理却没理顺。于是，我下决心去钻研一下 Envoy 的文档。是的，其实 Envoy 的文档已经写得比较细致。只是：

  • 信息散落在一个个网页中，无法用时序和流程的方法组织起来，构成一个有机的整体。
  • 不去了解这个整体协作关系，只是一个一个参数分开来看，是无法理性去权衡这些参数的。
  • 指标与指标，指标与参数，关系复杂
  • 而上面的关系，都可以通过请求与响应调度流程串联起来

基于上面原因。我从文档、参数、指标推导出以下流程。注意：暂时未在代码中验证，请谨慎参考。

请求与响应调度

本质上说，Envoy 就是一个代理。说起代理，第一反应应该是有以下流程的软件/硬件：

  1. 接收来自 downstream 的 Request
  2. 做一些逻辑，必要时修改 Request ，并判定upstream目的地
  3. 转发（修改后）的 Request 到upstream

  4. 如果协议是一个 Request & Reponse 式的协议（如 HTTP）

    1. 代理通常会接收upstream的Response
    2. 做一些逻辑，必要时修改 Response
    3. 转发 Response 给 downstream

的确，这也是 Envoy 代理 HTTP 协议的概要流程。但 Envoy 还要实现很多特性：

  1. 高效的 downstream / upstream 传输 ➡️ 需要连接复用与连接池
  2. 灵活配置的转发目标服务策略 ➡️ 需要 Router配置策略与实现逻辑

  3. 弹性服务 (resilient micro-services)

    1. 负载均衡
    2. 突发流量的削峰平谷 ➡️ 请求排队： pending request
    3. 应对异常 upstream、熔断器、保护服务不雪崩 ➡️ 各种 timeout 配置、 Health checking 、 Outlier detection 、 Circuit breaking
    4. 弹性重试 ➡️ retry
  4. 可观察性 ➡️ 无处不在的性能指标
  5. 动态编程配置接口 ➡️ xDS: EDS/LDS/...

要实现这些特性，请求与响应的流程自然不可能简单。

看到这里，读者可能有疑问，本节的标题叫 “请求与响应调度” ？ 难度 Envoy 需要类似 Linux Kernel 调度线程一样，去调度处理 Request 吗？
对的，你说到点上了。

Envoy 应用了 事件驱动 设计模式。事件驱动 的程序，相对于 非事件驱动 的程序，可以用更少的线程，更灵活地控制在什么时候做什么任务，即更灵活的调度逻辑。且更绝的是：由于线程间共享的数据不多，线程的数据并发控制同时被大大简化。

在本节中，事件类型最少有：

  • 外部的网络可读、可写、连接关闭事件

  • 各类定时器

    • 重试定时
    • 各种超时配置定时

由于使用了无限的请求分配到有限的线程的模式，加上请求可能需要重试，所以线程一定要有一系列的逻辑，来 “排序” 什么请求应该先处理。什么请求由于 超时 或资源使用 超过配置上限 而应立即返回失败。

按本书的习惯，先上图。后面，对这个图一步步展开和说明。

互动图书：

  • 建议用 Draw.io 打开。图中包含大量的链接，链接到每一个组件、配置项、指标的文档说明。
  • 双屏，一屏看图，一屏看文档，是本书的正确阅读姿势。如果你在用手机看，那么，忽略我吧

图解 Istio & Envoy 请求处理流程、超时、熔断、指标监控_第2张图片

图：Envoy 请求与响应调度

用 Draw.io 打开

相关组件

上图是尝试说明 Envoy 请求与响应调度 过程，以及串联相关的组件。其中可以看到一些组件：

  • Listener - 应答 downstream 连接请求
  • HTTP Connection Manager(HCM) - HTTP 的核心组件，推动 http 流的读取、解释、路由(Router)

  • HCM-router - HTTP 路由核心组件，职责是:

    • 判定 HTTP 下一跳的目标 cluster，即 upsteam cluster
    • 重试
  • Load balancing - upstream cluster 内的负载均衡
  • pending request queue - 等待连接池可用连接的请求队列
  • requests bind to connection - 已经分配到连接的请求
  • connection pool - worker 线程与 upstream host 专用的连接池
  • health checker/Outlier detection - upsteam host 健康监视，发现异常 host 并隔离。

和一些 Circuit breaking(熔断开关) 上限条件：

  • max_retries - 最大重试并发上限
  • max_pending_requests - pending request queue 的队列上限
  • max_request - 最大并发请求数上限
  • max_connections - upstream cluster 的最大连接上限

需要注意的是，上面的参数是对于整个 upstream cluster 的，即是所有 worker thread、upstream host 汇总的上限。

相关的监控指标

我们用类似著名的 Utilization Saturation and Errors (USE) 方法学来分类指标。

资源过载形的指标：

资源饱和度指标：

  • upstream_rq_pending_active
  • upstream_rq_pending_total
  • upstream_rq_active

错误形的指标：

  • upstream_rq_retry
  • ejections_acive
  • ejections_*
  • ssl.connection_error

信息形的指标：

  • upstream_cx_total
  • upstream_cx_active
  • upstream_cx_http*_total

由于图中已经说明了指标、组件、配置项的关系，这里就不再文字叙述了。图中也提供了到指标文档和相关配置的链接。

Envoy 请求调度流程

先说说请求组件流转部分，流程图可以从相关的文档推理为（未完全验证，存在部分推理）：

图解 Istio & Envoy 请求处理流程、超时、熔断、指标监控_第3张图片

图：Envoy 请求调度流程图

用 Draw.io 打开

请求与响应调度时序线

本节开头说了，写本节的直接缘由是: 需要对 Istio 网格节点故障快速恢复做一些调研。快速恢复 的前提是：

  • 对已经发送到 故障 upstream host 或绑定到 故障 upstream host 的请求，快速响应失败
  • 用 Outlier detection / health checker 识别出 故障 upstream host ，并把它移出负载均衡列表

所有问题都依赖于一个问题：如何定义和发现 upstream host 出了故障？

  • 网络分区或对端崩溃或负载过高

    • 大多数情况下，分布式系统只能通过超时来发现这种问题。所以，要发现 故障 upstream host 或 故障 request ，需要配置

  • 对端有响应，L7 层的失败（如 HTTP 500），或 L3 层的失败（如 TCP REST/No router to destination/ICMP error）

    • 这是可以快速发现的失败

对于 网络分区或对端崩溃或负载过高，需要 timeout 发现的情况，Envoy 提供了丰富的 timeout 配置。丰富到有时让人不知道应该用哪个才是合理的。甚至配置一不小心，就配置出一些逻辑上长短与实现设计矛盾的值。所以，我尝试用理清楚 请求与响应调度时序线 ，然后看相关 timeout 配置关联到这个时间线的哪个点，那么整个逻辑就清楚了。配置也更容易合理化了。

下图是请求与响应的时序线，以及相关的 timeout 配置与产生的指标，以及它们的联系。

图解 Istio & Envoy 请求处理流程、超时、熔断、指标监控_第4张图片

图：Envoy 请求与响应时序线

用 Draw.io 打开

简单说明一下时间线：

  1. 如果 downstream 复用了之前的连接，可以跳过 2 & 3
  2. downstream发起 新连接(TCP 握手)
  3. TLS 握手
  4. Envoy 接收 downstream request header & body
  5. Envoy 执行路由(Router)规则，判定下一跳的 upstream cluster
  6. Envoy 执行 Load Balancing 算法 ，判定下一跳的 upstream cluster 的 upstream host
  7. 如果 Envoy 已经有空闲连接到 upstream host，则跳过 8 & 9
  8. Envoy 向 upstream host 发起新连接(TCP 握手)
  9. Envoy 向 upstream host 发起TLS 握手
  10. Envoy 向 upstream host 转发送 requst header & body
  11. Envoy 接收 upstream host 响应的 response header & body
  12. upstream host 连接开始 idle
  13. Envoy 向 downstream 转发送 response header & body
  14. downstream host 连接开始 idle

相应地，图中也标注了相关超时配置与时间线步骤的关系，从开始计时顺序排列如下

  • max_connection_duration

  • transport_socket_connect_timeout

    • 指标 listener.downstream_cx_transport_socket_connect_timeout
  • request_headers_timeout
  • requst_timeout

  • Envoy 的 route.timeout 即 Istio 的 Istio request timeout(outbound)

    注意，这个超时值是把 请求处理时实际的 retry 的总时间也算上的。

    • 指标 cluster.upstream_rq_timeout
    • 指标 vhost.vcluster.upstream_rq_timeout
  • max_connection_duration

  • connection_timeout

    • 指标 upstream_cx_connect_timeout
  • transport_socket_connect_timeout
  • httpprotocoloptions.idle_timeout

总结

想要 Envoy 在压力与异常情况下，有个比较符合预期的表现，需要给 Envoy 一些合理于具体应用环境与场景的配置。而要配置好这堆参数的前提，是对相关处理流程与逻辑的洞察。 上面把 请求与响应调度 与 请求与响应调度时序线 都过了一遍。希望对了解这些方面有一定的帮助。

不只是 Envoy ，其实所有做代理的中间件，可能最核心的东西都在这一块了。所以，不要期望一下把知识完全吃透。这里，也只是希望让读者在这些流程上，有一个线索，然后通过线索去学习，方可不迷失方向。

一些有趣的扩展阅读

你可能感兴趣的:(istioenvoy)

  • SSR限流降级方案-服务器实现 z657797068 devops运维
    一、ssr限流降级需求1、正常情况下用户访问webssr服务2、ssr负载过高（访问超时、5xx错误等）的情况下，用户访问csr服务。3、ssr服务处理能力有限，经过性能测试得出ssr服务入口api的tps上限，请求量达到上限后请求转发到csr服务，整个过程用户无感知。二、实现方式1、istioenvoy-filter通过令牌桶实现限流，达到流量上限后返回429，ssr服务异常返回503。2、通过
  • istio envoy_将Envoy和Istio Circuit Breaks与Netflix OSS Hystrix进行比较 danpu0978
    istioenvoy当我们构建服务体系结构（面向服务的体系结构，微服务，下一个版本等）时，我们最终会通过网络进行更多的调用。网络是危险的。我们尝试在服务中建立冗余，以便我们可以体验系统中的故障，并继续前进并处理客户的请求。构建冗余，弹性系统这一难题的重要部分是智能的，可感知应用程序的负载平衡。马特·克莱因（MattKlein）最近写了一篇很棒的有关现代负载平衡的文章，您可能应该停下来并立即阅读。断
  • 书其实只有三类 西蜀石兰 类
    一个人一辈子其实只读三种书，知识类、技能类、修心类。 知识类的书可以让我们活得更明白。类似十万个为什么这种书籍，我一直不太乐意去读，因为单纯的知识是没法做事的，就像知道地球转速是多少一样（我肯定不知道），这种所谓的知识，除非用到，普通人掌握了完全是一种负担，维基百科能找到的东西，为什么去记忆？ 知识类的书，每个方面都涉及些，让自己显得不那么没文化，仅此而已。社会认为的学识渊博，肯定不是站在
  • 《TCP/IP 详解，卷1：协议》学习笔记、吐槽及其他 bylijinnan tcp
    《TCP/IP 详解，卷1：协议》是经典，但不适合初学者。它更像是一本字典，适合学过网络的人温习和查阅一些记不清的概念。 这本书，我看的版本是机械工业出版社、范建华等译的。这本书在我看来，翻译得一般，甚至有明显的错误。如果英文熟练，看原版更好： http://pcvr.nl/tcpip/ 下面是我的一些笔记，包括我看书时有疑问的地方，也有对该书的吐槽，有不对的地方请指正： 1.
  • Linux—— 静态IP跟动态IP设置 eksliang linuxIP
    一.在终端输入 vi /etc/sysconfig/network-scripts/ifcfg-eth0 静态ip模板如下： DEVICE="eth0" #网卡名称 BOOTPROTO="static" #静态IP（必须） HWADDR="00:0C:29:B5:65:CA" #网卡mac地址 IPV6INIT=&q
  • Informatica update strategy transformation 18289753290
    更新策略组件： 标记你的数据进入target里面做什么操作，一般会和lookup配合使用，有时候用0,1,1代表 forward  rejected rows被选中，rejected row是输出在错误文件里，不想看到reject输出，将错误输出到文件，因为有时候数据库原因导致某些column不能update，reject就会output到错误文件里面供查看，在workflow的
  • 使用Scrapy时出现虽然队列里有很多Request但是却不下载，造成假死状态 酷的飞上天空 request
    现象就是： 程序运行一段时间，可能是几十分钟或者几个小时，然后后台日志里面就不出现下载页面的信息，一直显示上一分钟抓取了0个网页的信息。 刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成，但是水平有限研究源码未果。 经过不停的google终于发现一个有价值的信息，是给twisted提出的一个bugfix 连接地址如下http://twistedmatrix.
  • 利用预测分析技术来进行辅助医疗 蓝儿唯美 医疗
    2014年，克利夫兰诊所（Cleveland Clinic）想要更有效地控制其手术中心做膝关节置换手术的费用。整个系统每年大约进行2600例此类手术，所以，即使降低很少一部分成本，都可以为诊 所和病人节约大量的资金。为了找到适合的解决方案，供应商将视野投向了预测分析技术和工具，但其分析团队还必须花时间向医生解释基于数据的治疗方案意味着 什么。  克利夫兰诊所负责企业信息管理和分析的医疗
  • java 线程(一)：基础篇 DavidIsOK java多线程线程
                                                            &nbs
  • Tomcat服务器框架之Servlet开发分析 aijuans servlet
    最近使用Tomcat做web服务器，使用Servlet技术做开发时，对Tomcat的框架的简易分析： 疑问： 为什么我们在继承HttpServlet类之后，覆盖doGet(HttpServletRequest req, HttpServetResponse rep)方法后，该方法会自动被Tomcat服务器调用，doGet方法的参数有谁传递过来？怎样传递？ 分析之我见： doGet方法的
  • 揭秘玖富的粉丝营销之谜 与小米粉丝社区类似 aoyouzi 揭秘玖富的粉丝营销之谜
    玖富旗下悟空理财凭借着一个微信公众号上线当天成交量即破百万，第七天成交量单日破了1000万;第23天时，累计成交量超1个亿……至今成立不到10个月，粉丝已经超过500万，月交易额突破10亿，而玖富平台目前的总用户数也已经超过了1800万，位居P2P平台第一位。很多互联网金融创业者慕名前来学习效仿，但是却鲜有成功者，玖富的粉丝营销对外至今仍然是个谜。   　　近日，一直坚持微信粉丝营销
  • Java web的会话跟踪技术 百合不是茶 url会话Cookie会话Seession会话Java Web隐藏域会话
    会话跟踪主要是用在用户页面点击不同的页面时,需要用到的技术点   会话:多次请求与响应的过程     1,url地址传递参数,实现页面跟踪技术          格式:传一个参数的 url?名=值     传两个参数的 url?名=值 &名=值   关键代码
  • web.xml之Servlet配置 bijian1013 javaweb.xmlServlet配置
    定义： <servlet> <servlet-name>myservlet</servlet-name> <servlet-class>com.myapp.controller.MyFirstServlet</servlet-class> <init-param> <param-name>
  • 利用svnsync实现SVN同步备份 sunjing SVN同步E000022svnsync镜像
    1. 在备份SVN服务器上建立版本库    svnadmin create test 2. 创建pre-revprop-change文件     cd test/hooks/     cp pre-revprop-change.tmpl pre-revprop-change 3. 修改pre-revprop-
  • 【分布式数据一致性三】MongoDB读写一致性 bit1129 mongodb
    本系列文章结合MongoDB，探讨分布式数据库的数据一致性，这个系列文章包括： 数据一致性概述与CAP 最终一致性(Eventually Consistency) 网络分裂(Network Partition)问题 多数据中心(Multi Data Center) 多个写者(Multi Writer)最终一致性 一致性图表(Consistency Chart) 数据
  • Anychart图表组件-Flash图转IMG普通图的方法 白糖_ Flash
    问题背景：项目使用的是Anychart图表组件，渲染出来的图是Flash的，往往一个页面有时候会有多个flash图，而需求是让我们做一个打印预览和打印功能，让多个Flash图在一个页面上打印出来。   那么我们打印预览的思路是获取页面的body元素，然后在打印预览界面通过$("body").append(html)的形式显示预览效果，结果让人大跌眼镜：Flash是
  • Window 80端口被占用 WHY? bozch 端口占用window
    平时在启动一些可能使用80端口软件的时候，会提示80端口已经被其他软件占用，那一般又会有那些软件占用这些端口呢？    下面坐下总结：         1、web服务器是最经常见的占用80端口的，例如：tomcat , apache  , IIS , Php等等；         2
  • 编程之美-数组的最大值和最小值-分治法（两种形式） bylijinnan 编程之美
    import java.util.Arrays; public class MinMaxInArray { /** * 编程之美 数组的最大值和最小值 分治法 * 两种形式 */ public static void main(String[] args) { int[] t={11,23,34,4,6,7,8,1,2,23}; int[]
  • Perl正则表达式 chenbowen00 正则表达式perl
    首先我们应该知道 Perl 程序中，正则表达式有三种存在形式，他们分别是： 匹配：m/<regexp>;/ （还可以简写为 /<regexp>;/ ，略去 m） 替换：s/<pattern>;/<replacement>;/ 转化：tr/<pattern>;/<replacemnt>;
  • [宇宙与天文]行星议会是否具有本行星大气层以外的权力呢? comsci
          举个例子: 地球,地球上由200多个国家选举出一个代表地球联合体的议会,那么现在地球联合体遇到一个问题,地球这颗星球上面的矿产资源快要采掘完了....那么地球议会全体投票,一致通过一项带有法律性质的议案,既批准地球上的国家用各种技术手段在地球以外开采矿产资源和其它资源........    &
  • Oracle Profile 使用详解 daizj oracleprofile资源限制
    Oracle Profile 使用详解 转 一、目的： Oracle系统中的profile可以用来对用户所能使用的数据库资源进行限制，使用Create Profile命令创建一个Profile，用它来实现对数据库资源的限制使用，如果把该profile分配给用户，则该用户所能使用的数据库资源都在该profile的限制之内。 二、条件： 创建profile必须要有CREATE PROFIL
  • How HipChat Stores And Indexes Billions Of Messages Using ElasticSearch & Redis dengkane elasticsearchLucene
    This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual space, one you might not
  • 循环小示例，菲波拉契序列，循环解一元二次方程以及switch示例程序 dcj3sjt126com c算法
    # include <stdio.h> int main(void) { int n; int i; int f1, f2, f3; f1 = 1; f2 = 1; printf("请输入您需要求的想的序列："); scanf("%d", &n); for (i=3; i<n; i
  • macbook的lamp环境 dcj3sjt126com lamp
      sudo vim /etc/apache2/httpd.conf   /Library/WebServer/Documents 是默认的网站根目录   重启Mac上的Apache服务   这个命令很早以前就查过了，但是每次使用的时候还是要在网上查： 停止服务：sudo /usr/sbin/apachectl stop 开启服务：s
  • java ArrayList源码 下 shuizhaosi888 ArrayList源码
    版本 jdk-7u71-windows-x64   JavaSE7 ArrayList源码上：http://flyouwith.iteye.com/blog/2166890     /** * 从这个列表中移除所有c中包含元素 */ public boolean removeAll(Collection<?> c) {
  • Spring Security（08）——intercept-url配置 234390216 Spring Securityintercept-url访问权限访问协议请求方法
    intercept-url配置 目录 1.1     指定拦截的url 1.2     指定访问权限 1.3     指定访问协议 1.4     指定请求方法   1.1   &n
  • Linux环境下的oracle安装 jayung oracle
    linux系统下的oracle安装 本文档是Linux(redhat6.x、centos6.x、redhat7.x) 64位操作系统安装Oracle 11g(Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production)，本文基于各种网络资料精心整理而成，共享给有需要的朋友。如有问题可联系：QQ：52-7
  • hotspot虚拟机 leichenlei javaHotSpotjvm虚拟机文档
    JVM参数  http://docs.oracle.com/javase/6/docs/technotes/guides/vm/index.html   JVM工具 http://docs.oracle.com/javase/6/docs/technotes/tools/index.html   JVM垃圾回收 http://www.oracle.com
  • 读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” noaighost Webnode.js
    读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” 眼里的Node.JS 初初接触node是一年前的事，那时候年少不更事。还在纠结什么语言可以编写出牛逼的程序，想必每个码农都会经历这个月经性的问题：微信用什么语言写的？facebook为什么推荐系统这么智能，用什么语言写的？dota2的外挂这么牛逼，用什么语言写的？……用什么语言写这句话，困扰人也是阻碍
  • 快速开发Android应用 rensanning android
    Android应用开发过程中，经常会遇到很多常见的类似问题，解决这些问题需要花时间，其实很多问题已经有了成熟的解决方案，比如很多第三方的开源lib，参考 Android Libraries 和 Android UI/UX Libraries。 编码越少，Bug越少，效率自然会高。 但可能由于 根本没听说过、听说过但没用过、特殊原因不能用、自己已经有了解决方案等等原因，这些成熟的解决
  • 理解Java中的弱引用 tomcat_oracle java工作面试
    　不久之前，我 面试了一些求职Java高级开发工程师的应聘者。我常常会面试他们说，“你能给我介绍一些Java中得弱引用吗？”，如果面试者这样说，“嗯，是不是垃圾回收有关的？”，我就会基本满意了，我并不期待回答是一篇诘究本末的论文描述。 　　然而事与愿违，我很吃惊的发现，在将近20多个有着平均5年开发经验和高学历背景的应聘者中，居然只有两个人知道弱引用的存在，但是在这两个人之中只有一个人真正了
  • 标签输出html标签" target="_blank">关于标签输出html标签 xshdch jsp
    http://back-888888.iteye.com/blog/1181202 关于<c:out value=""/>标签的使用，其中有一个属性是escapeXml默认是true(将html标签当做转移字符，直接显示不在浏览器上面进行解析)，当设置escapeXml属性值为false的时候就是不过滤xml，这样就能在浏览器上解析html标签， &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他