逆向工程思维解决云原生现场分析问题 Part1 —— eBPF 跟踪 Istio/Envoy/K8S

逆向工程思维解决云原生现场分析问题 Part1 —— eBPF 跟踪 Istio/Envoy/K8S_第1张图片

缘起

云原生复杂性

在 200x 年时代，服务端软件架构，组成的复杂度，异构程度相对于云原生，可谓简单很多。那个年代，大多数基础组件，要么由使用企业开发，要么是购买组件服务支持。

到了 201x 年代，开源运动，去 IOE 运动兴起。企业更倾向选择开源基础组件。然而开源基础的维护和问题解决成本其实并不是看起来那么低。给你源码，你以为就什么都看得透吗？对于企业，现在起码有几个大问题：

从高处看：

  • 企业要投入多少人力才、财力可以找到或培养一个看得透开源基础组件的人？
  • 开源的版本、安全漏洞、更迭快速，即使专业人才也很难快速看得透运行期的软件行为。

  • 组件之间错综复杂的依赖、调用关系，再加上版本依赖和更迭，没有可能运行过完全相同环境的测试（哪怕你用了vm/docker image）

    • 或者你还很迷恋向后兼容，即使它已经伤害过无数程序员的心和夜晚
    • 就像 古希腊哲学家赫拉克利特说：no one can step into the same river once（人不能两次踏进同一条河流）

从细节看：

  • 对于大型的开源项目，一般企业没可能投入人力看懂全部代码（注意，是看懂，不是看过）。而企业真正关心或使用的，可能只是一小部分和切身故障相关的子模块。

  • 对于大型的开源项目，即使你认为看懂全部代码。你也不太可能了解全部运行期的状态。哪怕是项目作者，也不一定可以。

    • 项目的作者不在企业，也不可能完全了解企业中数据的特性。更何况无处不在的 bug

  • 开源软件的精神在于开放与 free(这里不是指免费，这里只能用英文)，而 free 不单单是 read only，它还是 writable 的。

    • 开源软件大都不是大公司中某天才产品经理、天才构架师设计出来。而是众多使用者一起打磨出来的。但如果要看懂全部代码才能 writable，恐怕没人可以修改 Linux 内核了。

  • 静态的代码。这点我认为是最重要的。我们所谓的看懂全部代码，是指静态的代码。但有经验的程序员都知道，代码只有跑起来，才真正让人看得通透。而能分析一个跑起来的程序，才可以说，我看懂全部代码。

    • 这让我想起，一般的 code review，都在 review 什么？

云原生现场分析的难

卖了半天的关子，那么有什么方法可以卖弄？可以快速理点，分析开源项目运行期行为？

  1. 加日志。

    1. 如果要解决的问题刚才源码中有日志，或者提供日志开关，当然就打开完事。收工开饭。但这运气得多好？
    2. 修改开源源码，加入日志，来个紧急上线。这样你得和运维关系有多铁？你确定加一次就够了吗？

  2. 语言级别的动态 instrumentation 注入代码

    1. 在注入代码中分析数据或出日志。如 alibaba/arthas 。golang instrumentation
    2. 这对语言有要求，如果是 c/c++ 等就 爱莫能助 了。
    3. 对性能影响一般也不少。

  3. debug

    1. java debug / golang Delve / gdb 等，都有一定的使用门槛，如程序打包时需要包含了 debug 信息。这在当下喜欢计较 image 大小的年代，debug 信息多被翦掉。同时，断点时可能挂起线程甚至整个进程。生产环境上发生就是灾难。

  4. uprobe/kprobe/eBPF

    1. 在上面方法都不可行时，这个方法值得一试。下面，我们分析一下，什么是 uprobe/kprobe/eBPF。为何有价值。

逆向工程思维

我们知道现在大部分程序都是用高级语言编码，再编译生成可执行的文件( .exe / ELF ) 或中间文件在运行期 JIT 编译。最终一定要生成计算机指令，计算机才能运行。对于开源项目，如果我们找到了这堆生成的计算机指令和源代码之间映射关系。然后：

  1. 在这堆计算机指令的一个合理的位置（可以先假设这个位置就是我们关注的一个高级语言函数的入口）中放入一个钩子

  2. 如果程序运行到钩子时，我们可以探视：

    1. 当前程序的函数调用堆栈
    2. 当前函数调用的参数、返回值
    3. 当前进程的静态/全局变量

对于开源项目，知道运行期的实际状态是现场分析问题解决的关键。

由于不想让本文开头过于理论，吓跑人，我把 细说逆向工程思维 一节移到最后。

实践

我之前写技术文章很少写几千字还没一行代码。不过最近不知道是年纪渐长，还是怎的，总想多说点废话。

Show me the code.

实践目标

我们探视所谓的云原生服务网格之背骨的 Envoy sidecar 代理为例子，看看 Envoy 启动过程和建立客户端连接过程中：

  1. 是在什么代码去监听 TCP 端口
  2. 监听的 socket 是否设置了中外驰名的 SO_REUSEADDR
  3. TCP 连接又是否启用了臭名昭著的增大网络时延的 Nagle 算法(还是相反 socket 设置了 TCP_NODELAY)，见 https://en.wikipedia.org/wiki...

说了那么多废话，主角来了，eBPF技术和我们这次要用的工具 bpftrace。

先说说我的环境：

  • Ubuntu Linux 20.04
  • 系统默认的 bpftrace v0.9.4 (这版本有问题，后面说)

Hello World

上面的 3 实践目标很“伟大”。但我们在实现前，还是先来个小目标，写个 Hello World 吧。

我们知道 envoy 源码的主入口在 main_common.cc 的：

int MainCommon::main(int argc, char** argv, PostServerHook hook) {
    ...
}

我们目标是在 envoy 初始化时，调用这个函数时输出一行信息，代表成功拦截。

首先看看 envoy 可执行文件中带有的函数地址元信息：

➜  ~ readelf -s --wide ./envoy | egrep 'MainCommon.*main'                                                       
114457: 00000000016313c0   635 FUNC    GLOBAL DEFAULT   14 _ZN5Envoy10MainCommon4mainEiPPcNSt3__18functionIFvRNS_6Server8InstanceEEEE

这里需要说明一下，c++ 代码编译时，内部表示函数的名字不是直接使用源码的名字，是规范化变形（mangling）后的名字（可以用 c++filt 命令手工转换）。这里我们得知变形后的函数名是：_ZN5Envoy10MainCommon4mainEiPPcNSt3__18functionIFvRNS_6Server8InstanceEEEE。于是可以用 bpftrace去拦截了。

bpftrace -e 'uprobe:./envoy:_ZN5Envoy10MainCommon4mainEiPPcNSt3__18functionIFvRNS_6Server8InstanceEEEE { printf("Hello world: Got MainCommon::main"); }'

这时，在另外一个终端中运行 envoy

./envoy -c envoy-demo.yaml

卡脖子的现实

在我初学摄影时，老师告诉我一个情况叫：Beginner's luck。而技术界往往相反。这次，我什么都没拦截到。用自以为是的经验摸索了各种方法，均无果。我在这种摸索、无果的循环中折腾了大概半年……

突破

折腾了大概半年后，我实在想放弃了。想不到，一个 Hello World 小目标也完成不了。直到一天，我醒悟到说到底是自己基础知识不好，才不能定位到问题的根源。于是恶补了 程序链接、ELF文件格式、ELF 加载进程内存 等知识。后来，千辛万苦最于找到根本原因（如果一定要一句话说完，就是 bpftrace 旧版本错误解释了函数元信息的地址 ）。相关的细节我将写成一编独立的技术文章。这里先不多说。解决方法却很简单，升级 bpftrace，我直接自己编译了 bpftrace v0.14.1 。

终于，在启动 envoy 后输出了：

Hello world: Got MainCommon::main
^C

实践

我尝试不按正常的顺序思维讲这部分。因为一开始去分析实现原理，脚本程序，还不如先浏览一下代码，然后运行一次给大家看。

我们先简单浏览 bpftrace 程序，trace-envoy-socket.bt ：

#!/usr/local/bin/bpftrace

#include 
#include 

BEGIN
{
       @fam2str[AF_UNSPEC] = "AF_UNSPEC";
       @fam2str[AF_UNIX] = "AF_UNIX";
       @fam2str[AF_INET] = "AF_INET";
       @fam2str[AF_INET6] = "AF_INET6";
}


tracepoint:syscalls:sys_enter_setsockopt
/pid == $1/
{
       // socket opts: https://elixir.bootlin.com/linux/v5.16.3/source/include/uapi/linux/tcp.h#L92     

       $fd = args->fd;
       $optname = args->optname;
       $optval = args->optval;
       $optval_int = *$optval;
       $optlen = args->optlen;
       printf("\n########## setsockopt() ##########\n");
       printf("comm:%-16s: setsockopt: fd=%d, optname=%d, optval=%d, optlen=%d. stack: %s\n", comm, $fd, $optname, $optval_int, $optlen, ustack);
}

tracepoint:syscalls:sys_enter_bind
/pid == $1/
{
       // printf("bind");
       $sa = (struct sockaddr *)args->umyaddr;
       $fd = args->fd;
       printf("\n########## bind() ##########\n");

       if ($sa->sa_family == AF_INET || $sa->sa_family == AF_INET6) {

              // printf("comm:%-16s: bind AF_INET(6): %-6d %-16s %-3d \n", comm, pid, comm, $sa->sa_family);
              if ($sa->sa_family == AF_INET) { //IPv4
                     $s = (struct sockaddr_in *)$sa;
                     $port = ($s->sin_port >> 8) |
                         (($s->sin_port << 8) & 0xff00);
                     $bind_ip = ntop(AF_INET, $s->sin_addr.s_addr);                         
                     printf("comm:%-16s: bind AF_INET: ip:%-16s port:%-5d fd=%d \n", comm,
                         $bind_ip,
                         $port, $fd);
              } else { //IPv6
                     $s6 = (struct sockaddr_in6 *)$sa;
                     $port = ($s6->sin6_port >> 8) |
                         (($s6->sin6_port << 8) & 0xff00);
                     $bind_ip = ntop(AF_INET6, $s6->sin6_addr.in6_u.u6_addr8);
                     printf("comm:%-16s: bind AF_INET6:%-16s %-5d \n", comm,
                         $bind_ip,
                         $port);
              }
              printf("stack: %s\n", ustack);

              // @bind[comm, args->uservaddr->sa_family,
              //        @fam2str[args->uservaddr->sa_family]] = count();

       }      
}

//tracepoint:syscalls:sys_enter_accept,
tracepoint:syscalls:sys_enter_accept4
/pid == $1/
{
       @sockaddr[tid] = args->upeer_sockaddr;
}


//tracepoint:syscalls:sys_exit_accept,
tracepoint:syscalls:sys_exit_accept4
/pid == $1/
{
       if( @sockaddr[tid] != 0 ) {
              $sa = (struct sockaddr *)@sockaddr[tid];
              if ($sa->sa_family == AF_INET || $sa->sa_family == AF_INET6) {
                     printf("\n########## exit accept4() ##########\n");

                     printf("accept4: pid:%-6d comm:%-16s family:%-3d ", pid, comm, $sa->sa_family);
                     $error = args->ret;

                     if ($sa->sa_family == AF_INET) { //IPv4
                            $s = (struct sockaddr_in *)@sockaddr[tid];
                            $port = ($s->sin_port >> 8) |
                            (($s->sin_port << 8) & 0xff00);
                            printf("peerIP:%-16s peerPort:%-5d fd:%d\n",
                            ntop(AF_INET, $s->sin_addr.s_addr),
                            $port, $error);
                            printf("stack: %s\n", ustack);
                     } else { //IPv6
                            $s6 = (struct sockaddr_in6 *)@sockaddr[tid];
                            $port = ($s6->sin6_port >> 8) |
                            (($s6->sin6_port << 8) & 0xff00);
                            printf("%-16s %-5d %d\n",
                            ntop(AF_INET6, $s6->sin6_addr.in6_u.u6_addr8),
                            $port, $error);
                            printf("stack: %s\n", ustack);
                     }
              }

              delete(@sockaddr[tid]);
       }
}

END
{
       clear(@sockaddr);
       clear(@fam2str);
}

现在开始行动，如果你看不懂为何如此，不要急，后面会解析为何：

  1. 启动壳进程，以让我们预先可以得到将启动的 envoy 的 PID
$ bash -c '
echo "pid=$$"; 
echo "Any key execute(exec) envoy ..." ; 
read; 
exec ./envoy -c ./envoy-demo.yaml'

输出：

pid=5678
Any key execute(exec) envoy ...
  1. 启动跟踪 bpftrace 脚本。在新的终端中执行：
$ bpftrace trace-envoy-socket.bt 5678
  1. 回到步骤 1 的壳进程终端。按下空格键，Envoy 正式运行，PID 保持为 5678
  2. 这时，我们在运行 bpftrace 脚本的终端中看到跟踪的准实时输出结果：
$ bpftrace trace-envoy-socket.bt 

########## 1.setsockopt() ##########
comm:envoy : setsockopt: fd=22, optname=2, optval=1, optlen=4. stack:
        setsockopt+14
        Envoy::Network::IoSocketHandleImpl::setOption(int, int, void const*, unsigned int)+90
        Envoy::Network::NetworkListenSocket >::setPrebindSocketOptions()+50
...
        Envoy::Server::ListenSocketFactoryImpl::createListenSocketAndApplyOptions()+114
...
        Envoy::Server::ListenerManagerImpl::createListenSocketFactory(...)+133
...
        Envoy::Server::Configuration::MainImpl::initialize(...)+2135
        Envoy::Server::InstanceImpl::initialize(...)+14470
...
        Envoy::MainCommon::MainCommon(int, char const* const*)+398
        Envoy::MainCommon::main(int, char**, std::__1::function)+67
        main+44
        __libc_start_main+243


########## 2.bind() ##########
comm:envoy : bind AF_INET: ip:0.0.0.0          port:10000 fd=22
stack:
        bind+11
        Envoy::Network::IoSocketHandleImpl::bind(std::__1::shared_ptr)+101
        Envoy::Network::SocketImpl::bind(std::__1::shared_ptr)+383
        Envoy::Network::ListenSocketImpl::bind(std::__1::shared_ptr)+77
        Envoy::Network::ListenSocketImpl::setupSocket(...)+76
...
        Envoy::Server::ListenSocketFactoryImpl::createListenSocketAndApplyOptions()+114
...
        Envoy::Server::ListenerManagerImpl::createListenSocketFactory(...)+133
        Envoy::Server::ListenerManagerImpl::setNewOrDrainingSocketFactory...
        Envoy::Server::ListenerManagerImpl::addOrUpdateListenerInternal(...)+3172
        Envoy::Server::ListenerManagerImpl::addOrUpdateListener(...)+409
        Envoy::Server::Configuration::MainImpl::initialize(...)+2135
        Envoy::Server::InstanceImpl::initialize(...)+14470
...
        Envoy::MainCommon::MainCommon(int, char const* const*)+398
        Envoy::MainCommon::main(int, char**, std::__1::function)+67
        main+44
        __libc_start_main+243

这时，模拟一个 client 端过来连接：

$ telnet localhost 10000

连接成功后，可以看到 bpftrace 脚本继续输出了：

########## 3.exit accept4() ##########
accept4: pid:219185 comm:wrk:worker_1     family:2   peerIP:127.0.0.1        peerPort:38686 fd:20
stack:
        accept4+96
        Envoy::Network::IoSocketHandleImpl::accept(sockaddr*, unsigned int*)+82
        Envoy::Network::TcpListenerImpl::onSocketEvent(short)+216
        std::__1::__function::__func const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(...)+19
        start_thread+217


########## 4.setsockopt() ##########
comm:wrk:worker_1    : setsockopt: fd=20, optname=1, optval=1, optlen=4. stack:
        setsockopt+14
        Envoy::Network::IoSocketHandleImpl::setOption(int, int, void const*, unsigned int)+90
        Envoy::Network::ConnectionImpl::noDelay(bool)+143
        Envoy::Server::ActiveTcpConnection::ActiveTcpConnection(...)+141
        Envoy::Server::ActiveTcpListener::newConnection(...)+650
        Envoy::Server::ActiveTcpSocket::newConnection()+377
        Envoy::Server::ActiveTcpSocket::continueFilterChain(bool)+107
        Envoy::Server::ActiveTcpListener::onAcceptWorker(...)+163
        Envoy::Network::TcpListenerImpl::onSocketEvent(short)+856
        Envoy::Event::FileEventImpl::assignEvents(unsigned int, event_base*)::$_1::__invoke(int, short, void*)+92
        event_process_active_single_queue+1416
        event_base_loop+1953
        Envoy::Server::WorkerImpl::threadRoutine(Envoy::Server::GuardDog&, std::__1::function const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(...)+19
        start_thread+217


########## 5.exit accept4() ##########
accept4: pid:219185 comm:wrk:worker_1     family:2   peerIP:127.0.0.1        peerPort:38686 fd:-11
stack:
        accept4+96
        Envoy::Network::IoSocketHandleImpl::accept(sockaddr*, unsigned int*)+82
        Envoy::Network::TcpListenerImpl::onSocketEvent(short)+216
        std::__1::__function::__func const&)+621
        Envoy::Thread::ThreadImplPosix::ThreadImplPosix(...)+19
        start_thread+217

如果你之前没接触过 bpftrace(相信大部分人是这种情况)，你可以先猜想分析一下前面的信息，再看我下面的说明。

bpftrace 脚本分析

回到上面的 bpftrace 脚本 trace-envoy-socket.bt 。

可以看到有很多的 tracepoint:syscalls:sys_enter_xyz 函数，每个其实都是一些钩子方法，在进程调用 xzy 方法时，相应的钩子方法会被调用。而在钩子方法中，可以分析 xyz 函数的入参、返回值（出参）、当前线程的函数调用堆栈等信息。并可以把信息分析状态保存在一个 BPF map 中。

在上面例子里，我们拦截了 setsockopt、bind、accept4（进入与返回），4个事件，并打印出相关入出参数、进程当前线程的堆栈。

每个钩子方法都有一个：/pid == $1/ 。它是个附加的钩子方法调用条件。因 tracepoint 类型拦截点是对整个操作系统的，但我们只关心自己启动的 envoy 进程，所以要加入 envoy 进程的 pid 作为过滤。其中 $1 是我们运行 bpftrace trace-envoy-socket.bt 5678 命令时的第 1 个参数，即为 enovy 进程的 pid。

bpftrace 输出结果分析

  1. envoy 主线程设置了主监听 socket 的 setsockopt

    • comm:envoy。说明这是主线程
    • fd=22。 说明 socket 文件句柄为 22（每个socket都对应一个文件句柄编号，相当于 socket id）。
    • optname=2, optval=1。说明设置项id为 2（SO_REUSEADDR），値为 1。
    • setsockopt+14 到 __libc_start_main+243 为当前线程的函数调用堆栈。通过这，可以对应上项目源码了。

  2. envoy 主线程把主监听 socket 的绑定监听在 IP 0.0.0.0 的端口 10000 上，调用 bind

    • comm:envoy。说明这是主线程
    • fd=22。 说明 socket 文件句柄为 22，即和上一步是相同的 socket
    • ip:0.0.0.0 port:10000。说明 socket 的监听地址
    • 其它就是当前线程的函数调用堆栈。通过这，可以对应上项目源码。

  3. envoy 的 worker 线程之一的 wrk:worker_1 线程接受了一个新客户端的连接。并 setsockopt

    • comm:wrk:worker_1 。envoy 的 worker 线程之一的 wrk:worker_1 线程
    • peerIP:127.0.0.1 peerPort:38686。说明新客户端对端的地址。
    • fd:20。 说明新接受的 socket 文件句柄为 20。

  4. wrk:worker_1 线程 setsockopt 新客户端 socket 连接

    • fd:20。 说明新接受的 socket 文件句柄为 20。
    • optname=1, optval=1。说明设置项id为 1（TCP_NODELAY），値为 1。
  5. 暂时忽略这个，这很可能是传说中的 epoll 假 wakeup。

上面应该算说得还清楚，但肯定要补充的是 setsockopt 中，设置项id的意义：

setsockopt 参数说明：

level optname 描述名 描述
IPPROTO_TCP=8 1 TCP_NODELAY 0： 打开 Nagle 算法，延迟发 TCP 包
1：禁用 Nagle 算法
SOL_SOCKET=1 2 SO_REUSEADDR 1：打开地址重用

通过这个跟踪，我们实现了既定目标。同时可以看到线程函数调用堆栈，可以从我们选择关注的埋点去分析 envoy 的实际行为。结合源码分析运行期的程序行为。比光看静态源码更快和更有目标性地达成目标。特别是现代大项目大量使用的高级语言特性、OOP多态和抽象等技术，有时候让直接阅读代码去分析运行期行为和设计实际目的变得相当困难。而有了这种技术，会简化这个困难。

展望

//TODO

细说逆向工程思维

这小节有点深。不是必须的知识，只是介绍一点背景，因篇幅问题也不可能说得清晰，要清晰直接看参考资料一节。本节不喜可跳过。勇敢如你能读到这里，就不要被本段吓跑了。

进程的内存与可执行文件的关系

可执行文件格式

程序代码被编译和链接成包含二进制计算机指令的可执行文件。而可执行文件是有格式规范的，在 Linux 中，这个规范叫 Executable and linking format (ELF)。ELF 中包含二进制计算机指令、静态数据、元信息。

  • 静态数据 - 我们在程序中 hard code 的东西数据，如字串常量等
  • 二进制计算机指令集合，程序代码逻辑生成的计算机指令。代码中的每个函数都在编译时生成一块指令，而链接器负责把一块块指令连续排列到输出的 ELF 文件的 .text section（区域） 中。而元信息中的.symtab section（区域） 记录了每个函数在 .text section 的地址。说白了，就是代码中的函数名到 ELF 文件地址或运行期进程内存地址的 mapping 关系。.symtab section 对我们逆向工程分析很有用。
  • 元信息 - 告诉操作系统，如何加载和动态链接可执行文件，完成进程内存的初始化。其中可以包括一些非运行期必须，但可以帮助定位问题的信息。如上面说的 .symtab section（区域）

逆向工程思维解决云原生现场分析问题 Part1 —— eBPF 跟踪 Istio/Envoy/K8S_第2张图片

Typical ELF executable object file.
From [Computer Systems - A Programmer’s Perspective]

进程的内存

一般意义的进程是指可执行文件运行实例。进程的内存结构可能大致划分为：

逆向工程思维解决云原生现场分析问题 Part1 —— eBPF 跟踪 Istio/Envoy/K8S_第3张图片
Process virtual address space.From [Computer Systems - A Programmer’s Perspective]

其中的 Memory-mapped region for shared libraries 是二进制计算机指令部分，可先简单认为是直接 copy 或映射自可执行文件的 .text section（区域） (虽然这不完全准确)。

计算机底层的函数调用

有时候不知是幸运还是不幸。现在的程序员的程序视角和90年代时的大不相同。高级语言/脚本语言、OOP、等等都告诉程序员，你不需要了解底层细节。

但有时候了解底层细节，才可以创造出通用共性的创新。如 kernel namespace 到 container，netfiler 到 service mesh。

回来吧，说说本文的重点函数调用。我们知道，高级语言的函数调用，其实绝大部分情况下会编译成机器语言的函数调用，其中的堆栈处理和高级语言是相近的。

如以下一段代码：

//main.c

void funcA() {
    int a;
}

void main() {
    int m;
    funcA();
}

生成汇编：

gcc -S ./blogc.c

汇编结果片段：

funcA:
    endbr64
    pushq    %rbp
    movq    %rsp, %rbp
    nop
    popq    %rbp
    ret
...


main:
    endbr64
    pushq    %rbp
    movq    %rsp, %rbp
    movl    $0, %eax
    call    funcA <----- 调用 funcA
    nop
    popq    %rbp
    ret

即实际上，计算机底层也是有函数调用指令，内存中也有堆栈内存的概念。

逆向工程思维解决云原生现场分析问题 Part1 —— eBPF 跟踪 Istio/Envoy/K8S_第4张图片

堆栈在内存中的结构和 CPU 寄存器的引用 From [BPF Performance Tools]

所以，只要在代码中埋点，分析当前 CPU 寄存器的引用。加上分析堆栈的结构，就可以得到当前线程的函数调用链。而当前函数的出/入参也是放入了指定的寄存器。所以也可以探视到出/入参。具体原理可以看参考一节的内容。

埋点

ebpf 工具的埋点的方法有很多，常用最少包括：

使用哪个还得参考 [BPF Performance Tools] 深入了解一下。

精彩的参考

  • [Computer Systems - A Programmer’s Perspective - Third edition] - Randal E. Bryant • David R. O’Hallaron - 一本用程序员、操作系统角度深入计算机原理的书。介绍了编译和链接、程序加载、进程内存结构、函数调用堆栈等基本原理
  • https://cs61.seas.harvard.edu... - 函数调用堆栈等基本原理
  • [Learning Linux Binary Analysis] - Ryan "elfmaster" O'Neill - ELF 格式深入分析和利用
  • The ELF format - how programs look from the inside
  • [BPF Performance Tools] - Brendan Gregg

卡脖子的现实的一点参考信息

卡脖子根本原因

根本原因类似 https://github.com/iovisor/bc... 。我可能以后写文章详述。

有没函数元信息（.symtab）？

Evnoy 和 Istio Proxy 的 Release ELF 中，到底默认有没函数元信息（.symtab）

https://github.com/istio/isti...

Argh, we ship envoy binary without symbols.

Could you get the version of your istio-proxy by calling /usr/local/bin/envoy --version? It should include commit hash. Since you're using 1.1.7, I believe the version output will be:

version: 73fa9b1f29f91029cc2485a685994a0d1dbcde21/1.11.0-dev/Clean/RELEASE/BoringSSL

Once you have the commit hash, you can download envoy binary with symbols from
https://storage.googleapis.co... (change commit hash if you have a different version of istio-proxy).

You can use gdb with that binary, use it instead of /usr/local/bin/envoy and you should see more useful backtrace.

Thanks!

@Multiply sorry, I pointed you at the wrong binary, it should be this one instead: https://storage.googleapis.co... (symbol, not alpha).
envoy binary file size - currently 127MB #240: https://github.com/envoyproxy...

mattklein123 commented on Nov 23, 2016

The default build includes debug symbols and is statically linked. If you strip symbols that's what takes you down to 8MB or so. If you want to go down further than that you should dynamically link against system libraries.FWIW, we haven't really focused very much on the build/package/install side of things. I'm hoping the community can help out there. Different deployments are going to need different kinds of compiles.

原文：
https://blog.mygraphql.com/zh/posts/low-tec/trace/trace-istio/trace-istio-part1/

你可能感兴趣的:(istiobpfenvoy)

  • knob UI插件使用 换个号韩国红果果 JavaScriptjsonpknob
    图形是用canvas绘制的 js代码 var paras = { max:800, min:100, skin:'tron',//button type thickness:.3,//button width width:'200',//define canvas width.,canvas height displayInput:'tr
  • Android+Jquery Mobile学习系列(5)-SQLite数据库 白糖_ JQuery Mobile
    目录导航   SQLite是轻量级的、嵌入式的、关系型数据库，目前已经在iPhone、Android等手机系统中使用,SQLite可移植性好，很容易使用，很小，高效而且可靠。   因为Android已经集成了SQLite，所以开发人员无需引入任何JAR包，而且Android也针对SQLite封装了专属的API，调用起来非常快捷方便。   我也是第一次接触S
  • impala-2.1.2-CDH5.3.2 dayutianfei impala
    最近在整理impala编译的东西，简单记录几个要点： 根据官网的信息（https://github.com/cloudera/Impala/wiki/How-to-build-Impala）： 1. 首次编译impala，推荐使用命令： ${IMPALA_HOME}/buildall.sh -skiptests -build_shared_libs -format 2.仅编译BE ${I
  • 求二进制数中1的个数 周凡杨 java算法二进制
    解法一： 对于一个正整数如果是偶数，该数的二进制数的最后一位是 0 ，反之若是奇数，则该数的二进制数的最后一位是 1 。因此，可以考虑利用位移、判断奇偶来实现。   public int bitCount(int x){ int count = 0; while(x!=0){ if(x%2!=0){ /
  • spring中hibernate及事务配置 g21121 Hibernate
    hibernate的sessionFactory配置： <!-- hibernate sessionFactory配置 --> <bean id="sessionFactory" class="org.springframework.orm.hibernate3.LocalSessionFactoryBean"> <
  • log4j.properties 使用 510888780 log4j
    log4j.properties 使用 一.参数意义说明 输出级别的种类 ERROR、WARN、INFO、DEBUG ERROR 为严重错误 主要是程序的错误 WARN 为一般警告，比如session丢失 INFO 为一般要显示的信息，比如登录登出 DEBUG 为程序的调试信息 配置日志信息输出目的地 log4j.appender.appenderName = fully.qua
  • Spring mvc-jfreeChart柱图（2） 布衣凌宇 jfreechart
    上一篇中生成的图是静态的，这篇将按条件进行搜索，并统计成图表，左面为统计图，右面显示搜索出的结果。 第一步：导包 第二步；配置web.xml(上一篇有代码) 建BarRenderer类用于柱子颜色 import java.awt.Color; import java.awt.Paint; import org.jfree.chart.renderer.category.BarR
  • 我的spring学习笔记14-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
    PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。 PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java
  • maven 之 cobertura 简单使用 antlove maventestunitcoberturareport
    1. 创建一个maven项目 2. 创建com.CoberturaStart.java package com; public class CoberturaStart { public void helloEveryone(){ System.out.println("=================================================
  • 程序的执行顺序 百合不是茶 JAVA执行顺序
          刚在看java核心技术时发现对java的执行顺序不是很明白了,百度一下也没有找到适合自己的资料,所以就简单的回顾一下吧   代码如下;     经典的程序执行面试题 //关于程序执行的顺序 //例如： //定义一个基类 public class A(){ public A(
  • 设置session失效的几种方法 bijian1013 web.xmlsession失效监听器
    在系统登录后，都会设置一个当前session失效的时间，以确保在用户长时间不与服务器交互，自动退出登录，销毁session。具体设置很简单，方法有三种：（1）在主页面或者公共页面中加入：session.setMaxInactiveInterval(900);参数900单位是秒，即在没有活动15分钟后，session将失效。这里要注意这个session设置的时间是根据服务器来计算的，而不是客户端。所
  • java jvm常用命令工具 bijian1013 javajvm
    一.概述         程序运行中经常会遇到各种问题，定位问题时通常需要综合各种信息，如系统日志、堆dump文件、线程dump文件、GC日志等。通过虚拟机监控和诊断工具可以帮忙我们快速获取、分析需要的数据，进而提高问题解决速度。 本文将介绍虚拟机常用监控和问题诊断命令工具的使用方法，主要包含以下工具:       &nbs
  • 【Spring框架一】Spring常用注解之Autowired和Resource注解 bit1129 Spring常用注解
    Spring自从2.0引入注解的方式取代XML配置的方式来做IOC之后，对Spring一些常用注解的含义行为一直处于比较模糊的状态，写几篇总结下Spring常用的注解。本篇包含的注解有如下几个： Autowired Resource Component Service Controller Transactional 根据它们的功能、目的，可以分为三组，Autow
  • mysql 操作遇到safe update mode问题 bitray update
        我并不知道出现这个问题的实际原理,只是通过其他朋友的博客,文章得知的一个解决方案,目前先记录一个解决方法,未来要是真了解以后,还会继续补全.     在mysql5中有一个safe update mode,这个模式让sql操作更加安全,据说要求有where条件,防止全表更新操作.如果必须要进行全表操作,我们可以执行 SET
  • nginx_perl试用 ronin47 nginx_perl试用
    因为空闲时间比较多，所以在CPAN上乱翻，看到了nginx_perl这个项目(原名Nginx::Engine)，现在托管在github.com上。地址见：https://github.com/zzzcpan/nginx-perl 这个模块的目的，是在nginx内置官方perl模块的基础上，实现一系列异步非阻塞的api。用connector/writer/reader完成类似proxy的功能（这里
  • java-63-在字符串中删除特定的字符 bylijinnan java
    public class DeleteSpecificChars { /** * Q 63 在字符串中删除特定的字符 * 输入两个字符串，从第一字符串中删除第二个字符串中所有的字符。 * 例如，输入”They are students.”和”aeiou”，则删除之后的第一个字符串变成”Thy r stdnts.” */ public static voi
  • EffectiveJava--创建和销毁对象 ccii 创建和销毁对象
    本章内容： 1. 考虑用静态工厂方法代替构造器 2. 遇到多个构造器参数时要考虑用构建器（Builder模式） 3. 用私有构造器或者枚举类型强化Singleton属性 4. 通过私有构造器强化不可实例化的能力 5. 避免创建不必要的对象 6. 消除过期的对象引用 7. 避免使用终结方法 1. 考虑用静态工厂方法代替构造器     类可以通过
  • [宇宙时代]四边形理论与光速飞行 comsci
       从四边形理论来推论 为什么光子飞船必须获得星光信号才能够进行光速飞行？    一组星体组成星座  向空间辐射一组由复杂星光信号组成的辐射频带，按照四边形-频率假说  一组频率就代表一个时空的入口    那么这种由星光信号组成的辐射频带就代表由这些星体所控制的时空通道，该时空通道在三维空间的投影是一
  • ubuntu server下python脚本迁移数据 cywhoyi pythonKettlepymysqlcx_Oracleubuntu server
    因为是在Ubuntu下，所以安装python、pip、pymysql等都极其方便，sudo apt-get install pymysql， 但是在安装cx_Oracle（连接oracle的模块）出现许多问题，查阅相关资料，发现这边文章能够帮我解决，希望大家少走点弯路。http://www.tbdazhe.com/archives/602 1.安装python 2.安装pip、pymysql
  • Ajax正确但是请求不到值解决方案 dashuaifu Ajaxasync
    Ajax正确但是请求不到值解决方案   解决方案：1 .     async: false ,    2.     设置延时执行js里的ajax或者延时后台java方法！！！！！！！   例如：   $.ajax({     &
  • windows安装配置php+memcached dcj3sjt126com PHPInstallmemcache
    Windows下Memcached的安装配置方法 1、将第一个包解压放某个盘下面，比如在c:\memcached。 2、在终端（也即cmd命令界面）下输入 'c:\memcached\memcached.exe -d install' 安装。 3、再输入： 'c:\memcached\memcached.exe -d start' 启动。（需要注意的: 以后memcached将作为windo
  • iOS开发学习路径的一些建议 dcj3sjt126com ios
    iOS论坛里有朋友要求回答帖子，帖子的标题是： 想学IOS开发高阶一点的东西，从何开始，然后我吧啦吧啦回答写了很多。既然敲了那么多字，我就把我写的回复也贴到博客里来分享，希望能对大家有帮助。欢迎大家也到帖子里讨论和分享，地址：http://bbs.csdn.net/topics/390920759   下面是我回复的内容：   结合自己情况聊下iOS学习建议，
  • Javascript闭包概念 fanfanlovey JavaScript闭包
    1.参考资料 http://www.jb51.net/article/24101.htm http://blog.csdn.net/yn49782026/article/details/8549462 2.内容概述 要理解闭包，首先需要理解变量作用域问题 内部函数可以饮用外面全局变量 var n=999; 　　functio
  • yum安装mysql5.6 haisheng mysql
    1、安装http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm   2、yum install mysql   3、yum install mysql-server   4、vi /etc/my.cnf   添加character_set_server=utf8
  • po/bo/vo/dao/pojo的详介 IT_zhlp80 javaBOVODAOPOJOpo
        JAVA几种对象的解释 PO:persistant object持久对象,可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作. VO:value object值对象。通常用于业务层之间的数据传递，和PO一样也是仅仅包含数据而已。但应是抽象出的业务对象,可
  • java设计模式 kerryg java设计模式
    设计模式的分类：    一、 设计模式总体分为三大类： 1、创建型模式（5种）：工厂方法模式，抽象工厂模式，单例模式，建造者模式，原型模式。 2、结构型模式（7种）：适配器模式，装饰器模式，代理模式，外观模式，桥接模式，组合模式，享元模式。 3、行为型模式（11种）：策略模式，模版方法模式，观察者模式，迭代子模式，责任链模式，命令模式，备忘录模式，状态模式，访问者
  • [1]CXF3.1整合Spring开发webservice——helloworld篇 木头.java springwebserviceCXF
    Spring 版本3.2.10 CXF 版本3.1.1 项目采用MAVEN组织依赖jar 我这里是有parent的pom，为了简洁明了，我直接把所有的依赖都列一起了，所以都没version，反正上面已经写了版本 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
  • Google 工程师亲授：菜鸟开发者一定要投资的十大目标 qindongliang1922 工作感悟人生
    身为软件开发者，有什么是一定得投资的？ Google 软件工程师 Emanuel Saringan 整理了十项他认为必要的投资，第一项就是身体健康，英文与数学也都是必备能力吗？来看看他怎么说。（以下文字以作者第一人称撰写）） 你的健康 无疑地，软件开发者是世界上最久坐不动的职业之一。 每天连坐八到十六小时，休息时间只有一点点，绝对会让你的鲔鱼肚肆无忌惮的生长。肥胖容易扩大罹患其他疾病的风险，
  • linux打开最大文件数量1,048,576 tianzhihehe clinux
    File descriptors are represented by the C int type. Not using a special type is often  considered odd, but is, historically, the Unix way. Each Linux process has a maximum number of files th
  • java语言中PO、VO、DAO、BO、POJO几种对象的解释 衞酆夼 javaVOBOPOJOpo
    PO:persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作。 BO:business object业务对象 封装业务逻辑的java对象
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他