逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第1张图片

承上

在上一篇 逆向工程与云原生现场分析 Part1 —— eBPF 跟踪 Istio/Envoy 之学步 中，介绍了如何入门 bpftrace 跟踪 Envoy。这次我们来次较深度的历险。trace 观察一下 envoy 的启动、worker 线程启动与初始化、socket 监听。

预告

开始前先做个预告，逆向工程与云原生现场分析 系列（将）包括：

  • Part 1: eBPF 跟踪 Istio/Envoy 之学步
  • Part 2: eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡
  • Part 3: eBPF 跟踪 Istio/Envoy 之 downstream L3/4 连接 accept、TLS 握手 与 filter_chain 的选择
  • Part 4: eBPF 跟踪 Istio/Envoy 之 http filter
  • Part 5: eBPF 跟踪 Istio/Envoy 之 http router
  • Part 6: eBPF 跟踪 Istio/Envoy 之 cluster、 connection pool 与 outbound load balance

在系列中，我将演示如何让 bpftrace "读" 懂运行期的由 C++ 11 编写成的 envoy 进程中的对象数据。我花了一个月的时间去补上几个技术债:

  • LLVM (clang++) 下 C++ 对象的内存结构，包括为 virtual 函数而生的 vtable
  • gdb 小恶魔的入坑，分析 C++ 对象结构

坐稳，扶好。为免吓跑人，还是老套图，多图少代码，不过有的图有点点复杂。程序员大叔开始讲故事了。

为何

为何要 trace

这是个很好的问题。我在 逆向工程与云原生现场分析 Part1 —— eBPF 跟踪 Istio/Envoy 之学步 中已经尝试回答。如果抛开那些大话，简单来说：

  • 真实

    • 源码只告诉了我们程序的能力和可能性，而且很多可能性深深地隐藏于复杂的代码逻辑中很难发现。而这又和程序运行的环境、压力、甚至 CPU 温度有关 。只有现场的 trace 才能告诉我们真实的运行期行为。

  • 无常

    • 无常不但是佛系的词，每个关注生产运行期的经历过灾难事故的程序员，都心明于此。问题出现时，设计再良好的埋点和日志永远不够用。

为何要了解启动和监听

现代人很忙，所以做每件事，都要给自己一个很好的理由(jie kou)。如果我说 just for fun. 估计很多人就 bye bye 了。所以我先引几个问题：

  1. 运行期的启动行为会影响性能吗？如果会，怎么影响力？
  2. 我们看了源码，但我们真了解它在我们环境的真实执行路径吗？还是靠经验猜？
  3. 每一行启动代码，都会使用于你的环境吗？还是我们以为是或不是？
  4. 如何优化 Envoy 性能、或者深度定制配置、定制开发？—— 深入源码，但源码不好推理或证明实际运行期行为。
  5. 你知道 Envoy 在哪儿，哪个 listerner ，哪个线程中 open socket fd、bind socket 、listen socket 吗？又在什么地方配置了什么 socket opt ?
  6. Worker thread 和 listner 是什么关系？
  7. Worker thread 是如何做到 event 驱动的？
  8. 在 C++ 的 OOP 抽象、多态与封装下，如何了解运行期的实际行为？

术语

开始前简单过一下术语，以减少后面的误解：

  • upstream: 流量方向中的角色：[downstream] --> envoy --> [upstream]。这里我避免用中文词 上/下游，因为概念上没有统一，也容易和英文误解。
  • downstream: 流量方向中的角色：[downstream] --> envoy --> [upstream]

以上只是部分术语，其它术语我将在首次使用时作介绍。

需要注意的是，upstream 与 downstream 是个相对于观察者的概念。

如场景: service A --调用--> service B --调用--> service C :

  • 如果站在 service C 上，我们在把 service B 叫 downstream;
  • 如果站在 service A 上，我们把 service B 叫 upstream。

例子说明

我不是一个太喜欢只讲理论的人。也相信对于初学一个理论的人来说，再多的理论抽象描述，还不如一个具体例子来得快速理解。即所谓的可以意会不能言传。从这里开始，本文将使用一个简单的部署例子来说明一系列的理论和术语。

例子软件版本

  • Istio proxy release-1.11

    • Envoy version: 1.19.1
  • bpftrace v0.14.1

例子部署脚本

见： https://github.com/labilezhu/...

例子服务调用关系

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第2张图片
图：服务与调用关系图

有3个服务，自下而上地调用。

  1. client
  2. fortio-server:8080
  3. fortio-server-l2:8080

图这样排版也是想直接反映 upstream 和 downstream 字面义。图中需要解释的，或者只有 inbound / outbound 这两个术语。首先，什么是 bound。

  • bound: 字面意为边界。有人译为站（名词）。而在现实的 k8s + istio 环境中，可以理解为 pod / service
  • inbound: 有人译为入站。而在现实的 k8s + istio 环境中，可以理解为流量从 pod 外部进入 pod。即服务的被调用流量
  • outbound: 有人译为出站。而在现实的 k8s + istio 环境中，可以理解为流量从 pod 内部输出到 pod 外部。
需要注意的是，对于同一个调用请求。他可以是调用者 service 的 outbound，同时也是被调用者的 inbound。如上图

回到我们的例子，其实调用关系就是:

client --> fortio-server:8080 --> fortio-server-l2:8080

例子操作系统层面的组件

我们再看看 k8s/Istio 控制下的各组件，在操作系统层面的组件与结构：

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第3张图片
图：操作系统层面的组件与结构

相信图中已经说明，不作文字复述了。下面开始结合例子介绍一下 Evnoy 的理念和术语。

简介启动相关的架构

这部分是简介，由于篇幅限制也不可能说得非常清楚，我在考虑将来写一个独立的系列去说明。如果你是 Envoy 老手，跳过吧。

网上有很多 Envoy 的架构图，一个是 Envoy 原作者 Matt Klein, Lyft 的 [Envoy Internals Deep Dive - Matt Klein, Lyft (Advanced Skill Level)]：

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第4张图片

图源： [Envoy Internals Deep Dive - Matt Klein, Lyft (Advanced Skill Level)]

一个是现在比较活跃的 来自 Tetrate 的 Lizan Zhou 的 [Deep Dive: Envoy]

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第5张图片

图源：Lizan Zhou 的 [Deep Dive: Envoy]

两图区别不大，看你是否喜欢上色了。

本文只关注启动和监听，所以我们只看：

  • Worker Thread
  • Listener
  • Listener Filter
  • Network (L3/L4) filters

Envoy 内部基本概念

Worker Thread

Envoy 的 worker thread 当然是事件驱动和 non-blocking 的了：

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第6张图片
图源： [Envoy Internals Deep Dive - Matt Klein, Lyft (Advanced Skill Level)]

即一条线程会负责多个 downstream 的 socket 连接。有同学问，和 node.js 一样，单个 loop worker thread 就足够，为何要支持多个？

原因起码有：

  • non-blocking 操作有时还是会 blocking 或 waiting。如内存紧张时的内存申请，甚至虚拟内存 swap-in/out。
  • 某 worker 线程有时会被操作系统调度到一个比较忙的 cpu core（Noisy neighbor)，而刚好一个不定时繁忙的其它应用线程与也跑在这个 core 上。这就出现 core 调度 waiting
  • NUMA 架构的机器中。单个进程要充分利用各个内存通道，必须多线程。这个 Envoy 作为 Istio gateway 部署在 NUMA 机器时，由为重要。

那么问题来了，Worker Thread 是什么时候启动？他是在上面执行 socket bind/listen 的吗？如何实现 event loop ?

Listener

顾名思义，就是监听流量的。是不是每个 Listener 都会 listen socket ? 后面再看。先浏览一下 Listener 相关的组件和启动顺序：

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第7张图片

Listener 相关的组件和启动顺序

不好意思，直接由上面的 High Level 说明，一下拉回地面，讲源码了。不过我尽量不贴源码出来吓唬人，而是先从类功能、结构、职责说说。
Envoy 只有两种类型的 Listener 实现。TCP 和 UDP 的。这里我只看 TCP 了。 图中信息量不少，不用怕，我慢慢道来。

首先介绍一下核心类：

  • TcpListenerImpl - Listener 的核心主类。负责 listen socket 和 listen socket 事件处理（就是收到 TCP Client 的 SYN触发，即可以 accept socket 了）。

    • 那么每个 Worker Thread 会为配置的每个 Listener 创建自己的专属 TcpListenerImpl 实例。

      • 如：我们配置了两个 Listener, L1 和 L2。有两个 work thread: W0 和 W1 。那么会有 4 个 TcpListenerImpl 实例。
    • 可以见到TcpListenerImpl中有bool bind_to_port 你就明白，真有不 bind/listen socket 的 TcpListenerImpl 了。
  • TcpListenSocket - 负责 Listner 的实际 socket 操作，包括 bind 和 listen
  • WorkerImpl - Worker 线程的主入口类
  • DispatcherImpl - 主事件循环和队列类

  • ListenerManagerImpl

    • 创建 和 bind TcpListenSocket。
    • 按配置参数创建 WorkerImpl
    • 触发创建 TcpListenerImpl

或者你和我一样，刚看 Envoy 的代码时，总会混淆名字相近的类。如：TcpListenerImpl、TcpListenSocket。

细心的同学如果看了图例，就知道图中黑、红连线代表不同类型的线程的。说说图中主流程：

  1. 进程 main 间接调用 ListenerManagerImpl
  2. bind socket 绑定到 ip 和 port
  3. 启动新的 worker 线程
  4. 加入异步 task：add Listener task(每个 Worker + Listener 执行一次) 到 worker 的任务队列中。
  5. worker 线程取出任务队列，执行 add Listener task
  6. worker 线程 异步 listen socket，和注册事件处理器

细心的同学会发现问题：

  • 为何要在主线程中 bind socket ？

  • 两个 worker 线程可以 listen 同一个 socket?

    • 在旧版本默认不使用 reuse_port 情况下，是使用 duplicate socket/file descriptor 的方法为每个 work thread 复制一个文件描述符。
    • 在使用 reuse_port 情况下（新版本好像默认），是使用当然可以每个线程独立 create/bind/listen 相同 port 的 socket 了。 见我的文章：https://blog.mygraphql.com/zh...

bpftrace 跟踪分析 Listener 的实际监听行为

上面我们对源码进行静态分析和推理，但为了证明推理，还是要 bpftrace 一下，看看 istio proxy evnoy 真实 socket 行为、线程行为、代码位置（堆栈）。

这可能是少有的讲 Envoy 源码但不贴 Envoy 源码的文章。不过 bpftrace 的代码还是要贴的，不然会给人骂的。

bpftrace 脚本地址：https://github.com/labilezhu/...

bpftrace 脚本

#!usr/bin/bpftrace

#include 
#include 

BEGIN
{
}

tracepoint:syscalls:sys_enter_execve
{
       if( str(args->argv[0]) == "/usr/local/bin/envoy" ) {
              @watchedpid[pid] = pid;
              printf("watched envoy pid: %d\n", pid);
       }
}

tracepoint:syscalls:sys_enter_setsockopt
/@watchedpid[pid]/
{
       // socket opts: https://elixir.bootlin.com/linux/v5.16.3/source/include/uapi/linux/tcp.h#L92     
       $level = args->level;
       $fd = args->fd;
       $optname = args->optname;
       $optval = args->optval;
       $optval_int = *$optval;
       $optlen = args->optlen;
       printf("\n########## setsockopt() ##########\n");
       printf("comm:%-16s: setsockopt: level=%d, fd=%d, optname=%d, optval=%d, optlen=%d. \n", comm, $level, $fd, $optname, $optval_int, $optlen);
       @fd2sockopt[$fd] = ($level, $optname, $optval_int);
}


tracepoint:syscalls:sys_enter_bind
/@watchedpid[pid]/
{
       $sa = (struct sockaddr *)args->umyaddr;
       $fd = args->fd;
       printf("\n########## bind() ##########\n");

       if ($sa->sa_family == AF_INET || $sa->sa_family == AF_INET6) {

              if ($sa->sa_family == AF_INET) { //IPv4
                     $s = (struct sockaddr_in *)$sa;
                     $port = ($s->sin_port >> 8) |
                         (($s->sin_port << 8) & 0xff00);
                     $bind_ip = ntop(AF_INET, $s->sin_addr.s_addr);                         
                     printf("comm:%-16s: bind AF_INET: ip:%-16s port:%-5d fd=%d \n", comm,
                         $bind_ip,
                         $port, $fd);
                     @fd2bind[$fd] = ($bind_ip, $port);
                     printf("stack: %s\n", ustack);
              } else { //IPv6
                     printf("not support ipv6\n");
              }

       }      
}

tracepoint:syscalls:sys_enter_listen
/@watchedpid[pid]/
{
       printf("\n########## listen() ##########\n");

       $fd = args->fd;
       $backlog = args->backlog;

       @fd2listen[$fd] = 1;
       $bind = @fd2bind[$fd];
       if( $bind.1 == 0 ) {
              $old_fd = @dup_fd_new2old[$fd];
              if( $old_fd ) {
                     printf("comm:%-16s: listen() on an dupliated old_fd=%d \n", comm, $old_fd);
                     $bind = @fd2bind[$old_fd];
              }
       }
       printf("comm:%-16s: listen() fd=%d, ip:%-16s, port:%-5d \n", comm, $fd, $bind.0, $bind.1);
       printf("stack: %s\n", ustack);
}

tracepoint:syscalls:sys_enter_dup
/@watchedpid[pid]/
{
       $fildes = args->fildes;
       @duping_fd_cache[tid]= $fildes;
}



tracepoint:syscalls:sys_exit_dup
/@watchedpid[pid] && @duping_fd_cache[tid]/
{
       $duping_fd = @duping_fd_cache[tid];
       delete(@duping_fd_cache[tid]);

       $new_fd = args->ret;
       @dup_fd_old2new[$duping_fd]=$new_fd;
       @dup_fd_new2old[$new_fd]=$duping_fd;

       printf("\n########## sys_enter_dup() ##########\n");
       printf("comm:%-16s: duping_fd=%d, new_fd=%d \n", comm, $duping_fd, $new_fd);
       printf("stack: %s\n", ustack);
}


END
{
       clear(@watchedpid);
       clear(@dup_fd_old2new);
}

有点 TLDR;

bpftrace 执行

环境说明：我是在一个 k8s worknode 上执行 bpftrace 的。 worknode 上跑着两个有 istio-proxy 的 pod。

见：例子部署脚本。
由于 worknode 上 Ubuntu 自带的 bpftrace有 bug。我自己编译和打包了最新 bpftrace v0.14.1 到 docker 镜像中。

执行步骤：

  1. 启动 bpftrace 脚本, 开启系统级的探针。
➜  bpftrace git:(main) ✗ docker run -it --rm --init  --privileged --name bpftrace -h bpftrace \
    --pid host \
    --net host \
    -e SCRIPT_HOME=$SCRIPT_HOME \
    -v /etc/localtime:/etc/localtime:ro \
    -v /sys:/sys:rw \
    -v /usr/src:/usr/src:rw \
    -v /lib/modules:/lib/modules:ro \
    -v ${SCRIPT_HOME}:${SCRIPT_HOME}:rw \
    $bpftrace_image \
    bpftrace  ${SCRIPT_HOME}/trace-envoy-socket-listen.bt

  1. 重启其中一个 有 istio-proxy 的 pod，如 ：

    kubectl delete pod fortio-server
kubectl apply -f - <

bpftrace 输出

老习惯，我先不讲原理，先贴出 trace 的输出(stack 有删减，建议看原版本：https://github.com/labilezhu/...)：

Attaching 8 probes...
watched envoy pid: 2062496

########## bind() ##########

########## setsockopt() ##########
comm:envoy           : setsockopt: level=1, fd=18, optname=2, optval=1, optlen=4. 

########## bind() ##########
comm:envoy           : bind AF_INET: ip:127.0.0.1        port:15000 fd=18 
stack: 
        bind+11
        Envoy::Network::IoSocketHandleImpl::bind(std::__1::shared_ptr)+101
        Envoy::Network::SocketImpl::bind(std::__1::shared_ptr)+383
        Envoy::Network::ListenSocketImpl::bind(std::__1::shared_ptr)+77
        Envoy::Network::ListenSocketImpl::setupSocket(std::__1::shared_ptr, std::__1::allocator > > > const&, bool)+76
        Envoy::Network::NetworkListenSocket >::NetworkListenSocket(std::__1::shared_ptr const&, std::__1::shared_ptr, std::__1::allocator > > > const&, bool)+486
        Envoy::Server::InstanceImpl::initialize(Envoy::Server::Options const&, std::__1::shared_ptr, Envoy::Server::ComponentFactory&)+12555
        main+44


########## listen() ##########
comm:envoy           : listen() fd=18, ip:127.0.0.1       , port:15000 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Server::InstanceImpl::initialize(Envoy::Server::Options const&, std::__1::shared_ptr, Envoy::Server::ComponentFactory&)+13195
        main+44


########## setsockopt() ##########
comm:envoy           : setsockopt: level=1, fd=21, optname=2, optval=1, optlen=4. 

########## bind() ##########
comm:envoy           : bind AF_INET: ip:0.0.0.0          port:15090 fd=21 
stack: 
        bind+11
        Envoy::Network::IoSocketHandleImpl::bind(std::__1::shared_ptr)+101
        Envoy::Network::SocketImpl::bind(std::__1::shared_ptr)+383
        Envoy::Network::ListenSocketImpl::bind(std::__1::shared_ptr)+77
        Envoy::Network::ListenSocketImpl::setupSocket(std::__1::shared_ptr, std::__1::allocator > > > const&, bool)+76
        Envoy::Server::ListenSocketFactoryImpl::createListenSocketAndApplyOptions()+114
        Envoy::Server::ListenerManagerImpl::createListenSocketFactory(envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+133
        Envoy::Server::ListenerManagerImpl::setNewOrDrainingSocketFactory(std::__1::basic_string, std::__1::allocator > const&, envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+783
        Envoy::Server::ListenerManagerImpl::addOrUpdateListenerInternal(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool, std::__1::basic_string, std::__1::allocator > const&)+3172
        Envoy::Server::ListenerManagerImpl::addOrUpdateListener(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool)+409
        Envoy::Server::Configuration::MainImpl::initialize(envoy::config::bootstrap::v3::Bootstrap const&, Envoy::Server::Instance&, Envoy::Upstream::ClusterManagerFactory&)+2135
        Envoy::Server::InstanceImpl::initialize(Envoy::Server::Options const&, std::__1::shared_ptr, Envoy::Server::ComponentFactory&)+14470
        main+44


########## setsockopt() ##########
comm:envoy           : setsockopt: level=1, fd=22, optname=2, optval=1, optlen=4. 

########## bind() ##########
comm:envoy           : bind AF_INET: ip:0.0.0.0          port:15021 fd=22 
stack: 
        bind+11
        Envoy::Network::IoSocketHandleImpl::bind(std::__1::shared_ptr)+101
        Envoy::Network::SocketImpl::bind(std::__1::shared_ptr)+383
        Envoy::Network::ListenSocketImpl::bind(std::__1::shared_ptr)+77
        Envoy::Network::ListenSocketImpl::setupSocket(std::__1::shared_ptr, std::__1::allocator > > > const&, bool)+76
        Envoy::Server::ListenSocketFactoryImpl::createListenSocketAndApplyOptions()+114
        Envoy::Server::ListenerManagerImpl::createListenSocketFactory(envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+133
        Envoy::Server::ListenerManagerImpl::setNewOrDrainingSocketFactory(std::__1::basic_string, std::__1::allocator > const&, envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+783
        Envoy::Server::ListenerManagerImpl::addOrUpdateListenerInternal(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool, std::__1::basic_string, std::__1::allocator > const&)+3172
        Envoy::Server::ListenerManagerImpl::addOrUpdateListener(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool)+409
        Envoy::Server::Configuration::MainImpl::initialize(envoy::config::bootstrap::v3::Bootstrap const&, Envoy::Server::Instance&, Envoy::Upstream::ClusterManagerFactory&)+2135
        Envoy::Server::InstanceImpl::initialize(Envoy::Server::Options const&, std::__1::shared_ptr, Envoy::Server::ComponentFactory&)+14470
        main+44


########## setsockopt() ##########
comm:envoy           : setsockopt: level=1, fd=31, optname=2, optval=1, optlen=4. 

########## bind() ##########
comm:envoy           : bind AF_INET: ip:0.0.0.0          port:15001 fd=31 
stack: 
        bind+11
        Envoy::Network::IoSocketHandleImpl::bind(std::__1::shared_ptr)+101
        Envoy::Network::SocketImpl::bind(std::__1::shared_ptr)+383
        Envoy::Network::ListenSocketImpl::bind(std::__1::shared_ptr)+77
        Envoy::Network::ListenSocketImpl::setupSocket(std::__1::shared_ptr, std::__1::allocator > > > const&, bool)+76
        Envoy::Server::ListenSocketFactoryImpl::createListenSocketAndApplyOptions()+114
        Envoy::Server::ListenerManagerImpl::createListenSocketFactory(envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+133
        Envoy::Server::ListenerManagerImpl::setNewOrDrainingSocketFactory(std::__1::basic_string, std::__1::allocator > const&, envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+783
        Envoy::Server::ListenerManagerImpl::addOrUpdateListenerInternal(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool, std::__1::basic_string, std::__1::allocator > const&)+3172
        Envoy::Server::ListenerManagerImpl::addOrUpdateListener(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool)+409
        Envoy::Config::GrpcMuxImpl::onDiscoveryResponse(std::__1::unique_ptr >&&, Envoy::Config::ControlPlaneStats&)+3664
        Envoy::Grpc::AsyncStreamCallbacks::onReceiveMessageRaw(std::__1::unique_ptr >&&)+161
        Envoy::Grpc::AsyncStreamImpl::onData(Envoy::Buffer::Instance&, bool)+199
        Envoy::Http::AsyncStreamImpl::encodeData(Envoy::Buffer::Instance&, bool)+354
        Envoy::Router::UpstreamRequest::decodeData(Envoy::Buffer::Instance&, bool)+230
        Envoy::Http::ResponseDecoderWrapper::decodeData(Envoy::Buffer::Instance&, bool)+59
        Envoy::Http::Http2::ConnectionImpl::onFrameReceived(nghttp2_frame const*)+1413
        Envoy::Http::Http2::ConnectionImpl::Http2Callbacks::Http2Callbacks()::$_22::__invoke(nghttp2_session*, nghttp2_frame const*, void*)+32
        nghttp2_session_on_data_received+172
        nghttp2_session_mem_recv+7174
        Envoy::Http::Http2::ConnectionImpl::dispatch(Envoy::Buffer::Instance&)+1120
        virtual thunk to Envoy::Http::Http2::ConnectionImpl::dispatch(Envoy::Buffer::Instance&)+21
        Envoy::Http::CodecClient::onData(Envoy::Buffer::Instance&)+48
        Envoy::Http::CodecClient::CodecReadFilter::onData(Envoy::Buffer::Instance&, bool)+21
        Envoy::Network::FilterManagerImpl::onContinueReading(Envoy::Network::FilterManagerImpl::ActiveReadFilter*, Envoy::Network::ReadBufferSource&)+303
        Envoy::Network::ConnectionImpl::onReadReady()+1622
        Envoy::Network::ConnectionImpl::onFileEvent(unsigned int)+879
        Envoy::Event::FileEventImpl::assignEvents(unsigned int, event_base*)::$_1::__invoke(int, short, void*)+92
        event_process_active_single_queue+1416
        event_base_loop+1953
        Envoy::Server::InstanceImpl::run()+747
        Envoy::MainCommonBase::run()+68
        Envoy::MainCommon::main(int, char**, std::__1::function)+148
        main+44


########## setsockopt() ##########
comm:envoy           : setsockopt: level=1, fd=32, optname=2, optval=1, optlen=4. 

########## bind() ##########
comm:envoy           : bind AF_INET: ip:0.0.0.0          port:15006 fd=32 
stack: 
        bind+11
        Envoy::Network::IoSocketHandleImpl::bind(std::__1::shared_ptr)+101
        Envoy::Network::SocketImpl::bind(std::__1::shared_ptr)+383
        Envoy::Network::ListenSocketImpl::bind(std::__1::shared_ptr)+77
        Envoy::Network::ListenSocketImpl::setupSocket(std::__1::shared_ptr, std::__1::allocator > > > const&, bool)+76
        Envoy::Server::ListenSocketFactoryImpl::createListenSocketAndApplyOptions()+114
        Envoy::Server::ListenerManagerImpl::createListenSocketFactory(envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+133
        Envoy::Server::ListenerManagerImpl::setNewOrDrainingSocketFactory(std::__1::basic_string, std::__1::allocator > const&, envoy::config::core::v3::Address const&, Envoy::Server::ListenerImpl&, bool)+783
        Envoy::Server::ListenerManagerImpl::addOrUpdateListenerInternal(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool, std::__1::basic_string, std::__1::allocator > const&)+3172
        Envoy::Server::ListenerManagerImpl::addOrUpdateListener(envoy::config::listener::v3::Listener const&, std::__1::basic_string, std::__1::allocator > const&, bool)+409
        Envoy::Config::GrpcMuxImpl::onDiscoveryResponse(std::__1::unique_ptr >&&, Envoy::Config::ControlPlaneStats&)+3664
        Envoy::Grpc::AsyncStreamCallbacks::onReceiveMessageRaw(std::__1::unique_ptr >&&)+161
        Envoy::Grpc::AsyncStreamImpl::onData(Envoy::Buffer::Instance&, bool)+199
        Envoy::Http::AsyncStreamImpl::encodeData(Envoy::Buffer::Instance&, bool)+354
        Envoy::Router::UpstreamRequest::decodeData(Envoy::Buffer::Instance&, bool)+230
        Envoy::Http::ResponseDecoderWrapper::decodeData(Envoy::Buffer::Instance&, bool)+59
        Envoy::Http::Http2::ConnectionImpl::onFrameReceived(nghttp2_frame const*)+1413
        Envoy::Http::Http2::ConnectionImpl::Http2Callbacks::Http2Callbacks()::$_22::__invoke(nghttp2_session*, nghttp2_frame const*, void*)+32
        nghttp2_session_on_data_received+172
        nghttp2_session_mem_recv+7174
        Envoy::Http::Http2::ConnectionImpl::dispatch(Envoy::Buffer::Instance&)+1120
        virtual thunk to Envoy::Http::Http2::ConnectionImpl::dispatch(Envoy::Buffer::Instance&)+21
        Envoy::Http::CodecClient::onData(Envoy::Buffer::Instance&)+48
        Envoy::Http::CodecClient::CodecReadFilter::onData(Envoy::Buffer::Instance&, bool)+21
        Envoy::Network::FilterManagerImpl::onContinueReading(Envoy::Network::FilterManagerImpl::ActiveReadFilter*, Envoy::Network::ReadBufferSource&)+303
        Envoy::Network::ConnectionImpl::onReadReady()+1622
        Envoy::Network::ConnectionImpl::onFileEvent(unsigned int)+879
        Envoy::Event::FileEventImpl::assignEvents(unsigned int, event_base*)::$_1::__invoke(int, short, void*)+92
        event_process_active_single_queue+1416
        event_base_loop+1953
        Envoy::Server::InstanceImpl::run()+747
        Envoy::MainCommonBase::run()+68
        Envoy::MainCommon::main(int, char**, std::__1::function)+148
        main+44
        __libc_start_main+243


########## sys_enter_dup() ##########
comm:wrk:worker_0    : duping_fd=21, new_fd=33 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_0    : listen() on an dupliated old_fd=21 
comm:wrk:worker_0    : listen() fd=33, ip:0.0.0.0         , port:15090 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        std::__1::__function::__func, Envoy::Network::ListenerConfig&, std::__1::function)::$_2, std::__1::allocator, Envoy::Network::ListenerConfig&, std::__1::function)::$_2>, void ()>::operator()()+46
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## sys_enter_dup() ##########
comm:wrk:worker_0    : duping_fd=22, new_fd=34 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_0    : listen() on an dupliated old_fd=22 
comm:wrk:worker_0    : listen() fd=34, ip:0.0.0.0         , port:15021 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## sys_enter_dup() ##########
comm:wrk:worker_1    : duping_fd=21, new_fd=35 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_1    : listen() on an dupliated old_fd=21 
comm:wrk:worker_1    : listen() fd=35, ip:0.0.0.0         , port:15090 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## sys_enter_dup() ##########
comm:wrk:worker_1    : duping_fd=22, new_fd=36 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_1    : listen() on an dupliated old_fd=22 
comm:wrk:worker_1    : listen() fd=36, ip:0.0.0.0         , port:15021 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## sys_enter_dup() ##########
comm:wrk:worker_1    : duping_fd=31, new_fd=37 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_1    : listen() on an dupliated old_fd=31 
comm:wrk:worker_1    : listen() fd=37, ip:0.0.0.0         , port:15001 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## sys_enter_dup() ##########
comm:wrk:worker_0    : duping_fd=31, new_fd=38 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_0    : listen() on an dupliated old_fd=31 
comm:wrk:worker_0    : listen() fd=38, ip:0.0.0.0         , port:15001 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        std::__1::__function::__func, Envoy::Network::ListenerConfig&, std::__1::function)::$_2, std::__1::allocator, Envoy::Network::ListenerConfig&, std::__1::function)::$_2>, void ()>::operator()()+46
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## sys_enter_dup() ##########
comm:wrk:worker_0    : duping_fd=32, new_fd=39 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_0    : listen() on an dupliated old_fd=32 
comm:wrk:worker_0    : listen() fd=39, ip:0.0.0.0         , port:15006 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## sys_enter_dup() ##########
comm:wrk:worker_1    : duping_fd=32, new_fd=40 
stack: 
        dup+11
        Envoy::Network::IoSocketHandleImpl::duplicate()+71
        Envoy::Network::ListenSocketImpl::duplicate()+54
        Envoy::Server::ListenSocketFactoryImpl::getListenSocket()+102
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+60
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## listen() ##########
comm:wrk:worker_1    : listen() on an dupliated old_fd=32 
comm:wrk:worker_1    : listen() fd=40, ip:0.0.0.0         , port:15006 
stack: 
        listen+11
        Envoy::Network::IoSocketHandleImpl::listen(int)+69
        Envoy::Network::TcpListenerImpl::setupServerSocket(Envoy::Event::DispatcherImpl&, Envoy::Network::Socket&)+62
        Envoy::Network::TcpListenerImpl::TcpListenerImpl(Envoy::Event::DispatcherImpl&, Envoy::Random::RandomGenerator&, std::__1::shared_ptr, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+195
        Envoy::Event::DispatcherImpl::createListener(std::__1::shared_ptr&&, Envoy::Network::TcpListenerCallbacks&, bool, unsigned int)+108
        Envoy::Server::ActiveTcpListener::ActiveTcpListener(Envoy::Network::TcpConnectionHandler&, Envoy::Network::ListenerConfig&)+116
        Envoy::Server::ConnectionHandlerImpl::addListener(absl::optional, Envoy::Network::ListenerConfig&)+671
        Envoy::Event::DispatcherImpl::runPostCallbacks()+317
        Envoy::Event::DispatcherImpl::run(Envoy::Event::Dispatcher::RunType)+44
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(std::__1::function, absl::optional const&)::{lambda(void*)#1}::__invoke(void*)+19
        start_thread+217


########## setsockopt() ##########
comm:wrk:worker_0    : setsockopt: level=6, fd=41, optname=1, optval=1, optlen=4. 

########## setsockopt() ##########
comm:wrk:worker_0    : setsockopt: level=6, fd=42, optname=1, optval=1, optlen=4. 

########## setsockopt() ##########
comm:envoy           : setsockopt: level=6, fd=43, optname=1, optval=1, optlen=4. 

########## setsockopt() ##########
comm:wrk:worker_0    : setsockopt: level=6, fd=41, optname=1, optval=1, optlen=4. 

########## setsockopt() ##########
comm:wrk:worker_1    : setsockopt: level=6, fd=41, optname=1, optval=1, optlen=4. 

...
^C

@dup_fd_new2old[33]: 21
@dup_fd_new2old[35]: 21
@dup_fd_new2old[36]: 22
@dup_fd_new2old[34]: 22
@dup_fd_new2old[38]: 31
@dup_fd_new2old[37]: 31
@dup_fd_new2old[40]: 32
@dup_fd_new2old[39]: 32



@fd2bind[18]: (127.0.0.1, 15000)
@fd2bind[21]: (0.0.0.0, 15090)
@fd2bind[22]: (0.0.0.0, 15021)
@fd2bind[31]: (0.0.0.0, 15001)
@fd2bind[32]: (0.0.0.0, 15006)
@fd2listen[35]: 1
@fd2listen[39]: 1
@fd2listen[37]: 1
@fd2listen[18]: 1
@fd2listen[38]: 1
@fd2listen[34]: 1
@fd2listen[36]: 1
@fd2listen[40]: 1
@fd2listen[33]: 1
@fd2sockopt[18]: (1, 2, 1)
@fd2sockopt[21]: (1, 2, 1)
@fd2sockopt[22]: (1, 2, 1)
@fd2sockopt[31]: (1, 2, 1)
@fd2sockopt[32]: (1, 2, 1)
@fd2sockopt[41]: (6, 1, 1)
@fd2sockopt[42]: (6, 1, 1)
@fd2sockopt[43]: (6, 1, 1)
@fd2sockopt[44]: (6, 1, 1)
@fd2sockopt[45]: (6, 1, 1)

原理与分析

原理

在分析家原理前，需要先简单了解一下 Linux server socket 编程的概念：

  • socket ： 本文中可以认为是 TCP 连接在应用层的概念。
  • file descriptor ： 文件描述符，缩写是 fd （Windows 编程过来的同学叫：句柄 handle）。一个 socket 可以对应于多个 fd。不同的线程可以在不同的 fd 上 listen 同一个 socket。操作系统负责新连接的负载均衡（尽管做得不太好）。
  • dup() system call : 就是复制 fd 。一个 socket 如果想对应多个 fd 。可以 dup() 一下原 fd 。为何要复制？因每个 worker 可以独立做 listen 和 close。详见：https://github.com/envoyproxy...
  • bind：把 socket fd 绑定到 ip 地址和 port。思考：不同 socket 可以重复绑定到相同地址吗？如果可以，为何需要？ 见: https://blog.mygraphql.com/zh...
  • listen ： 开启 socket 监听，有同步线程等待和异步通知两种模式，当然，envoy 用后者。

回到脚本。看看探针点(probe):

  • sys_enter_execve - 监听操作系统上的所有启动新进程行为。如果是 envoy 进程，就记下 pid。用于后面过滤其它监控点。
  • sys_enter_bind - 监听 fd 的 bind 操作。记下 fd 监听的 ip 地址和 port。打印出操作线程名与 stack。
  • sys_enter_listen - 监听 fd 的 listen 操作。记下 fd 监听的 ip 地址和 port。打印出操作线程名与 stack。
  • sys_enter_dup/sys_exit_dup - 监听 fd 的 dup 操作。记录下 fd 之间的父子关系。打印出操作线程名与 stack。
  • END部分 - 脚本运行结束（用户按下 Ctrl+C）后，bpftrace 默认会打印所有记录的 bpf map 。有的内部用，不需要打印，就清除。

分析

本文只关心 inbound 和 outbound 的 Listener 和相关 socket 与 port:

  • virtualOutbound Listener - 15001
  • virtualInbound Listener - 15006

说明一下输出最后部分的 bpf map:

  • fd2bind - fd 和它 socket bind 的地址
  • dup_fd_new2old - dup() 出来的新 fd 和 原 fd
  • fd2listen - 执行了 listen 操作的 fd
  • fd2sockopt - 执行了 sockopt 操作的 fd，和 sockopt 的参数。

如果我们这时在 POD 的 linux network namespace 下去执行 ：

$ sudo nsenter -t $POD_PID -n

$ ss -lnp | egrep '15001|15006'

tcp   LISTEN   0   4096   0.0.0.0:15001   0.0.0.0:*    users:(("envoy",pid=2062496,fd=37),("envoy",pid=2062496,fd=38),("envoy",pid=2062496,fd=31))
tcp   LISTEN   0   4096   0.0.0.0:15006   0.0.0.0:*    users:(("envoy",pid=2062496,fd=39),("envoy",pid=2062496,fd=40),("envoy",pid=2062496,fd=32))
注：我用的 Istio/Evnoy 版本默认没启用 reuse_port。上面数据也是基于这个收集和分析的。

我想聪明勇敢如你能坚持读到这里，大概已经明白了。剩下的就是看程序结构、流程、行为点了。

还记得前面的 High Level 流程吗？ 现在再结合上面的 stack 输出再次分析：

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第8张图片
Listener 相关的组件和启动顺序 - 核心流程图

Listener 相关的组件和启动顺序 - 核心流程图说明以下几步：

  1. 进程 main 间接调用 ListenerManagerImpl
  2. bind socket 绑定到 ip 和 port
  3. 启动新的 worker 线程
  4. 加入异步 task：add Listener task(每个 Worker + Listener 执行一次) 到 worker 的任务队列中。
  5. worker 线程取出任务队列，执行 add Listener task
  6. worker 线程 异步 listen socket，和注册事件处理器

但从 stack 输出中，你应该可以知道，现实肯定比核心复杂。我想，现在是回到复杂现实的时候了。让说好的不贴代码见鬼去：

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第9张图片
Listener 相关的组件和启动顺序 - 代码流程图

如果你对照上图和 bpftrace 输出的 stack。相信，我已经不用写多少文字分析了。两显示器是必须的。

结尾

总觉得本 part 还有些东西未说清楚：

谢谢阅读，记得上次的长文章已经是去年年三十晚了。一个多月没新料了。学习 bpf / c++ vtable / gdb ... / ELF 结构 /... ，几次让人想放弃，还好，年纪大，对于我来说不是躺平，而是让我退无可退，坚持到现在了。

同时也要多谢互联网精神让我至今未放弃深耕技术这条路。现世直接相关人，对技术的评定有时更多不是技术价值本身，而是对评定人本人的价值（和负价值）。但我相信，地球那么大，总有人只看技术价值，而非那一亩三分地的小山头和小站队。互联网精神，于我是开放、平等、客观。

我希望这是个有温度的技术 Blog。让我用最近拍的一张片，结束本文。

逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡_第10张图片

原文：逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡

你可能感兴趣的:(逆向工程与云原生现场分析 Part2 —— eBPF 跟踪 Istio/Envoy 之启动、监听与线程负载均衡)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • 扫地机类清洁产品之直流无刷电机控制 悟空胆好小 清洁服务机器人单片机人工智能
    扫地机类清洁产品之直流无刷电机控制1.1前言扫地机产品有很多的电机控制，滚刷电机1个，边刷电机1-2个，清水泵电机，风机一个，部分中高端产品支持抹布功能，也就是存在抹布盘电机，还有追觅科沃斯石头等边刷抬升电机，滚刷抬升电机等的，这些电机有直流有刷电机，直接无刷电机，步进电机，电磁阀，挪动泵等不同类型。电机的原理，驱动控制方式也不行。接下来一段时间的几个文章会作个专题分析分享。直流有刷电机会自动持续
  • 店群合一模式下的社区团购新发展——结合链动 2+1 模式、AI 智能名片与 S2B2C 商城小程序源码 说私域 人工智能小程序
    摘要：本文探讨了店群合一的社区团购平台在当今商业环境中的重要性和优势。通过分析店群合一模式如何将互联网社群与线下终端紧密结合，阐述了链动2+1模式、AI智能名片和S2B2C商城小程序源码在这一模式中的应用价值。这些创新元素的结合为社区团购带来了新的机遇，提升了用户信任感、拓展了营销渠道，并实现了线上线下的完美融合。一、引言随着互联网技术的不断发展，社区团购作为一种新兴的商业模式，在满足消费者日常需
  • 向内而求 陈陈_19b4
    10月27日，阴。阅读书目:《次第花开》。作者:希阿荣博堪布，是当今藏传佛家宁玛派最伟大的上师法王，如意宝晋美彭措仁波切颇具影响力的弟子之一。多年以来，赴海内外各地弘扬佛法，以正式授课、现场开示、发表文章等多种方法指导佛学弟子修行佛法。代表作《寂静之道》、《生命这出戏》、《透过佛法看世界》自出版以来一直是佛教类书籍中的畅销书。图片发自App金句:1.佛陀说，一切痛苦的根源在于我们长期以来对自身及外
  • 2021-08-26 影幽
    在生活中，女人与男人的感悟往往有所不同。人生最大的舞台就是生活，大幕随时都可能拉开，关键是你愿不愿意表演都无法躲避。在生活中，遇事不要急躁，不要急于下结论，尤其生气时不要做决断，要学会换位思考，大事化小小事化了，把复杂的事情尽量简单处理，千万不要把简单的事情复杂化。永远不要扭曲，别人善意，无药可救。昨天是张过期的支票，明天是张信用卡，只有今天才是现金，要善加利用！执着的攀登者不必去与别人比较自己的
  • 消息中间件有哪些常见类型 xmh-sxh-1314 java
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
  • 高级编程--XML+socket练习题 masa010 java开发语言
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
  • 抖音乐买买怎么加入赚钱?赚钱方法是什么 测评君高省
    你会在抖音买东西吗?如果会，那么一定要免费注册一个乐买买，抖音直播间，橱窗，小视频里的小黄车买东西都可以返佣金!省下来都是自己的，分享还可以赚钱乐买买是好省旗下的抖音返佣平台，乐买买分析社交电商的价值，乐买买属于今年难得的副业项目风口机会，2019年错过做好省的搞钱的黄金时期，那么2022年千万别再错过乐买买至于我为何转到高省呢？当然是高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自
  • 2018-07-23-催眠日作业-#不一样的31天#-66小鹿 小鹿_33
    预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
  • 《大清方方案》| 第二话 谁佐清欢
    和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
  • 回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录leetcode算法职场和发展
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
  • 每日一题——第九十题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：判断子串是否与主串匹配#include#include#include//////判断子串是否在主串中匹配//////主串///子串///boolisSubstring(constchar*str,constchar*substr){intlenstr=strlen(str);//计算主串的长度intlenSub=strlen(substr);//计算子串的长度//遍历主字符串，对每个可能得
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 《庄子.达生9》 钱江潮369
    【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
  • 水泥质量纠纷案代理词 徐宝峰律师
    贵州领航建设有限公司诉贵州纳雍隆庆乌江水泥有限公司产品质量纠纷案代理词尊敬的审判长、审判员：贵州千里律师事务所接受被告贵州纳雍隆庆乌江水泥有限公司的委托，指派我担任其诉讼代理人，参加本案的诉讼活动。下面，我结合本案事实和相关法律规定发表如下代理意见，供合议庭评议案件时参考：原告应当举证证明其遭受的损失与被告生产的水泥质量的因果关系。首先水泥是一种粉状水硬性无机胶凝材料。加水搅拌后成浆体，能在空气中
  • 腾讯云技术深度探索：构建高效云原生微服务架构 我的运维人生 云原生架构腾讯云运维开发技术共享
    腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Goolge earth studio 进阶4——路径修改与平滑 陟彼高冈yu Googleearthstudio进阶教程旅游
    如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
  • 18-115 一切思考不能有效转化为行动，都TM是扯淡！ 成长时间线
    7月25号写了一篇关于为什么会断更如此严重的反思，然而，之后日更仅仅维持了一周，又出现了这次更严重的现象。从8月2号到昨天8月6号，5天！又是5天没有更文！虽然这次断更时间和上次一样，那为什么说这次更严重？因为上次之后就分析了问题的原因，以及应该如何解决，按理说应该会好转，然而，没过几天严重断更的现象再次出现，想想，经过反思，问题依然没有解决与改变，这让我有些担忧。到底是哪里出了问题，难道我就真的
  • 山东大学小树林支教调研团青青仓木队——翟晓楠 山东大学青青仓木队
    过了半年，又一次启程，又一次回到支教的初心之地。比起上一次的试探与不安，我更多了一丝稳重与熟练。心境、处境也都随着半个学期的过去而变得不同，半个学期中，身体上的，心理上的，太多的逆境让我变得步履维艰，曲曲折折，弯弯绕绕，我仿佛打不起精神，没有胃口，没有动力。感觉走的不顺畅的时候，支教这个旅程，给了我力量。自告奋勇承担起队长这一职务的我，从组织时的复杂和困难的经历，协调各种问题，从无到有，和校长和队
  • 直返最高等级与直返APP：无需邀请码的返利新体验 古楼
    随着互联网的普及和电商的兴起，直返模式逐渐成为一种流行的商业模式。在这种模式下，消费者通过购买产品或服务，获得一定的返利，并可以分享给更多的人。其中，直返最高等级和直返APP是直返模式中的重要概念和工具。本文将详细介绍直返最高等级的概念、直返APP的使用以及与邀请码的关系。【高省】APP（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，运行三年，稳定可靠。高省APP，
  • 深入浅出Java Annotation(元注解和自定义注解） Josh_Persistence Java Annotation元注解自定义注解
    一、基本概述     　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。   　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
  • mysql优化特定类型的查询 annan211 java工作mysql
    本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。 1 优化count查询 对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看 真正的count()函数的作用到底是什么。 count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。 在统
  • MAC下安装多版本JDK和切换几种方式 棋子chessman jdk
    环境： MAC AIR,OS X 10.10,64位   历史： 过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。 后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。   在终端中输入jav
  • javaScript （1） Array_06 JavaScriptjava浏览器
    JavaScript 1、运算符 　　运算符就是完成操作的一系列符号，它有七类： 　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
  • 国内顶级代码分享网站 袁潇含 javajdkoracle.netPHP
           现在国内很多开源网站感觉都是为了利益而做的                  当然利益是肯定的,否则谁也不会免费的去做网站      &
  • Elasticsearch、MongoDB和Hadoop比较 随意而生 mongodbhadoop搜索引擎
      IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
  • mac os 系统科研软件总结 张亚雄 mac os
    1.1 Microsoft Office for Mac 2011      大客户版，自行搜索。      1.2 Latex （MacTex）:      系统环境：https://tug.org/mactex/     &nb
  • Maven实战（四）生命周期 AdyZhang maven
    1. 三套生命周期     Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。 每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
  • Linux下Jenkins迁移 aijuans Jenkins
    1. 将Jenkins程序目录copy过去      源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面            tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
  • request.getInputStream()只能获取一次的问题 ayaoxinchao requestInputstream
    问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据   原因： 1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1； 2. InputStream并没有实现reset方法（可以重
  • 数据库SQL优化大总结之 百万级数据库优化方案 BigBird2012 SQL优化
    网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where
  • jsonObject的使用 bijian1013 javajson
            在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 JSONUtil.java package com.bijian.json.study; import java.util.ArrayList; import java.util.Date; import java.util.HashMap;
  • [Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration bit1129 zookeeper
    Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类     首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher，   /** * Register a watcher for a particular p
  • 【Scala十三】Scala核心七：部分应用函数 bit1129 scala
    何为部分应用函数？ Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
  • Tomcat Error listenerStart 终极大法 ronin47 tomcat
    Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 Java代码  handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
  • 不用加减符号实现加减法 BrokenDreams 实现
            今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。         分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。    
  • 读《研磨设计模式》-代码笔记-状态模式-State bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类 状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况 把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化 如果在
  • CUDA程序block和thread超出硬件允许值时的异常 cherishLC CUDA
    调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。 以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！ 所以验证结果的正确性很重要！！！ 在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。 以下程序在K5000GPU上跑的。
  • 诡异的超长时间GC问题定位 chenchao051 jvmcmsGChbaseswap
    HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
  • maven环境快速搭建 daizj 安装mavne环境配置
    一 下载maven 安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
  • PHP网站安全，避免PHP网站受到攻击的方法 dcj3sjt126com PHP
    对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
  • yii中给CGridView设置默认的排序根据时间倒序的方法 dcj3sjt126com GridView
    public function searchWithRelated() {         $criteria = new CDbCriteria;         $criteria->together = true; //without th
  • Java集合对象和数组对象的转换 dyy_gusi java集合
        在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 1、数组对象转换为集合对象     最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
  • nginx同一主机部署多个应用 geeksun nginx
    近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 1.   在nginx下创建vhosts目录，用以放置vhost文件。 mkdir vhosts   2.   修改nginx.conf的配置， 在http节点增加下面内容设置，用来包含vhosts里的配置文件 #
  • ubuntu添加admin权限的用户账号 hongtoushizi ubuntuuseradd
    ubuntu创建账号的方式通常用到两种：useradd 和adduser . 本人尝试了useradd方法，步骤如下： 1:useradd    使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。 顾应该如下操作：  
  • 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理 jinnianshilongnian nginxlua
      JSON库   在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
  • Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 yaerfeng1989 timerquartz定时器
    原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 1.Java Timer定时 首先继承jav
  • Linux下df与du两个命令的差别？ pda158 linux
    　一、df显示文件系统的使用情况，与du比較，就是更全盘化。 　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。 　　举比例如以下： 　　[root@localhost ~]# df -T 　　Filesystem                   Type &n
  • [转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象 ctfzh VOandroidsqlite反射Cursor
    在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。   使用时需要注意： 考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。 表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
  • 该学习笔记用到的Employee表 vipbooks oraclesql工作
        这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 drop table Employee; -- 员工信息表 create table Employee( -- 员工编号 EmpNo number(3) primary key, -- 姓
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他