eBPF编写避坑指南

0x1:基本概念

1. 当使用tracepoint的时候，函数参数如何确认？

cat /sys/kernel/debug/tracing/events/syscalls/xxx/format. xxx为要跟踪的函数，在这里有函数参数定义。

0x2:注意事项

1. 写结构体的时候一定要注意内存对齐，防止被编译器优化填充。

2. 使用 LLVM 内置的函数做内存操作

   #ifndef memset
   # define memset(dest, chr, n)   __builtin_memset((dest), (chr), (n))
   #endif
   
   #ifndef memcpy
   # define memcpy(dest, src, n)   __builtin_memcpy((dest), (src), (n))
   #endif
   
   #ifndef memmove
   # define memmove(dest, src, n)  __builtin_memmove((dest), (src), (n))
   #endif

3. 指针被操作过后，就得再次声明，不然会被禁止访问

   struct iphdr *ip4 = (struct iphdr *) skb->data + ETH_HLEN; //第一次赋值
   
   skb_store_bytes(skb, l3_off + offsetof(struct iphdr, saddr), &new_saddr, 4, 0); //skb被操作了 因此ip4的值不可信，此时如果操作ip4会被拒绝
   
   ip4 = (struct iphdr *) skb->data + ETH_HLEN; //再获取一次
   
   if (ip4->protocol == IPPROTO_TCP) { //才能正常使用
    // do something
   }

   0x3:常见报错

4. R2 min value is negative, either use unsigned or 'var &= const'

第二个变量需要保证非负。 逻辑运算0xFFFFFFFF。

2. R2 unbounded memory access, use 'var &= const' or 'if (var < const)'

   bpf验证器有限制 
   
   #define BPF_MAX_VAR_SIZ (1 << 29)
   if (reg->umax_value >= BPF_MAX_VAR_SIZ) {
    verbose(env, "R%d unbounded memory access, use 'var &= const' or 'if (var < const)'\n",
        regno);
    return -EACCES;
   }

3. invalid stack type R1 off=-72 access_size=536870911

   类似的问题，需要进行逻辑运算保证变量的范围。
   
   off = reg->off + reg->var_off.value;
   if (off >= 0 || off < -MAX_BPF_STACK || off + access_size > 0 ||
    access_size < 0 || (access_size == 0 && !zero_size_allowed)) {
    verbose(env, "invalid stack type R%d off=%d access_size=%d\n",
        regno, off, access_size);
    return -EACCES;
   }

4. 从map中lookup出来的指针，不能直接update回去，在eBPF代码中更新值之后不再需要重新update，因为拿到了引用.
5. 字符串拷贝可以使用编译器内置的 __builtin_memcpy
6. 一个bpf程序不能申请太多的栈空间，目前限制512Byte，多了就会报错：Looks like the BPF stack limit of 512 bytes is exceeded.。例如在程序中申请了两个数组char arr1[256];char arr2[256];程序就会报错了

7. 程序包含无法执行到的指令

   unreachable insn 1

8. 程序读取未初始化的寄存器

   0: (bf) r0 = r2
   R2 !read_ok

9. 程序退出前未设置 R0 寄存器

   0: (bf) r2 = r1
   1: (95) exit
   R0 !read_ok

10. 程序访问超出栈空间

    0: (7a) *(u64 *)(r10 +8) = 0
    invalid stack off=8 size=8

11. 未初始化栈内元素，就传递该栈地址

    0: (bf) r2 = r10
    1: (07) r2 += -8
    2: (b7) r1 = 0x0
    3: (85) call 1
    invalid indirect read from stack off -8+0 size 8

12. 程序未检查 map_lookup_elem() 的返回值是否为空就开始使用

    0: (7a) *(u64 *)(r10 -8) = 0
    1: (bf) r2 = r10
    2: (07) r2 += -8
    3: (b7) r1 = 0x0
    4: (85) call 1
    5: (7a) *(u64 *)(r0 +0) = 0
    R0 invalid mem access 'map_value_or_null'

本文由博客一文多发平台 OpenWrite 发布！