嵌入式Linux 系统的优化策略和方法

嵌入式Linux 系统启动优化的那些事儿

嵌入式Linux 系统优化的那些儿事之系统启动时间的优化方法。。

嵌入式Linux 系统时间测量工具以及用法

• Printk Times – 用于显示每个 printk 的执行时间

• • 配置
    CONFIG_PRINTK_TIME
    Kernel hacking –> Show timing information on printks

  • 结果
    dmesg > boot.log
    [
    3.038027] Memory: 3154176k/3325940k available …
    [
    3.042366] SLUB: Genslabs=13, HWalign=32, Order=0-3, MinObjects=0, CPUs=32, Nodes=1
    [
    3.050169] Hierarchical RCU implementation.
    [
    3.050558] RCU-based detection of stalled CPUs is enabled.
    [
    3.066428] console [ttyS0] enabled, bootconsole disabled
    [
    3.066965] Calibrating delay loop… 166.40 BogoMIPS (lpj=332800)

  • 分析
    scripts/show_delta boot.log | cut -d’ ’ -f2- | sort -k3 -gr
    < 3.179683 >] 0000:01:00.0: eth0: (PCI Express:2.5GB/s:Width x1) …
    < 1.834118 >] Initializing cgroup subsys cpuset
    < 1.555749 >] IP-Config: Complete:
    < 0.463878 >] Memory: 3154176k/3325940k available …
    < 0.119374 >] Initrd not found or empty - disabling initrd
    < 0.111845 >] Serial: 8250/16550 driver, 2 ports, IRQ sharing disabled

  • 避免丢失内核日志: CONFIG_LOG_BUF_SHIFT=21

  • 在printk中打印时间戳：kernel/printk.c: vprintk()

    if (printk_time) {
    ...
    t = cpu_clock(printk_cpu);
    nanosec_rem = do_div(t, 1000000000);
    tlen = sprintf(tbuf, "[%5lu.%06lu] ",
    (unsigned long) t,
    nanosec_rem / 1000);
    ...
    }
    

  • cpu_clock()调用sched_clock()

  • 时间单位us，但有些平台精度只有10ms

  • 默认实现：直接通过jiffies转换

    如果HZ=100，jiffies单位为1/HZ, 即10ms
    kernel/sched_clock.c: __weak sched_clock()
    return (unsigned long long)(jiffies - INITIAL_JIFFIES) * (NSEC_PER_SEC / HZ);
    

  • 高精度sched_clock()：读硬件时钟计数器，如果时钟频率为400M，精度达2.5ns

    arch/x86/kernel/tsc.c: native_sched_clock()
    /* read the Time Stamp Counter: */
    rdtscll(this_offset);
    /* return the value in ns */
    return __cycles_2_ns(this_offset);

  • 潜在问题：计数器溢出？include/linux/cnt32_to_63.h

  • 相关信息：http://elinux.org/Printk_Times

• 内核函数跟踪（Ftrace） – 用于报告内核中每个函数的调用时间。详细用法见Ftrace 简介

• Linux 跟踪工具箱（LTT） – 用于报告确切的内核和进程事件的时间数据。
• Oprofile（译注：最新替代品是 perf） – 通用的 Linux 分析器（Profile） - 详细用法见间Oprofile
• Bootchart – 用于 Linux 启动过程的性能分析和数据展示。收集启动过程中的用户空间部分的资源使用情况和进程信息，然后渲染成 PNG、SVG 或者 EPS 格式的图表。
• Bootprobe – 一组用于分析系统启动过程的 System Tap 脚本
• 当然，别忘了 cat /proc/uptime （译注：统计系统已经运行的时间）
• grabserial – Tim Bird （译注：CE Linux Forum 主席）写的一个非常赞的工具用于记录控制台输出并打上时间戳
• 进程跟踪 –- 同样是 Tim Bird 写的一个简单补丁，用于记录 exec、fork 和 exit 系统调用。
• ptx_ts – Pengutronix 的时间戳记录器（TimeStamper）：一个简单的过滤器，可前置时间戳到标准输出（STDOUT）上，有点像 grabserial 但是不限于串口。
• Initcall（内核初始化函数）调试 – 一个用于显示 initcalls 所花时间的内核命令行选项
• 也可以看下: Kernel 检测工具，里头列举了一些已知的内核检测工具，这些对于测量内核启动时间来说可能会有帮助。

基础常规优化方法

• 禁用内核的IP地址自动配置
  net/ipv4/ipconfig.c: ip_auto_config() 1.58s
  /* Wait for devices to appear */
  err = wait_for_devices();
  if (err)
  return err;
  /* Setup all network devices */
  err = ic_open_devs();
  if (err)
  return err;
  /* Give drivers a chance to settle */
  ssleep(CONF_POST_OPEN); /* 1s */
  
  • 禁用办法
    不传递ip参数给内核
    禁用内核配置：CONFIG_IP_PNP*
  • 延迟到用户态配置IP地址：/etc/init.d/rcS
    将IP配置相关放在启动后交于业务去做这些事情。
  • 思路：分开两个相互依赖的操作，消除不必要的IO等待时间
• 减少或禁用pseudo终端设备
  drivers/tty/pty.c: pty_init() 0.65 s
  
  • pseudo终端：用于远程连接(ssh)或者X下的虚拟终端(xterm)
  • 减少设备个数：LEGACY_PTY_COUNT=2
  • 直接禁用：UNIX98_PTYS, LEGACY_PTYS
  • 思路：根据实际需要减少或停用某些功能
• 关闭控制台输出
  
  • 打印日志信息到控制台很耗时
    控制台设备：VGA、Framebuffer、串口
  • 关闭控制台输出
    关闭部分输出: quiet参数, console_loglevel=4
    关闭所有输出：loglevel=0，副作用：错误也不显示
  • 禁用控制台设备: e.g. 如果产品基于X11
    CONFIG_{SERIAL*,VGA*, FB}=n
  • 完全禁用printk：副作用：不能收集错误日志
    CONFIG_{EARLY_PRINTK, PRINTK}=n
    e.g. #define panic(…) do { } while (0) or loop or reboot
  • 效果：提速30 ˜ 60%
  • 思路：考虑研发阶段和产品阶段的不同需求
• 计算loops_per_jiffy
  {u,n}delay(): 根据loops_per_jiffy执行相应的nops
  loops_per_jiffy: 每个jiffy需要执行的nop次数
  1个jiffy = 1/HZ = 10ms (HZ = 100)
  tick_periodic() -> do_timer(1) -> jiffies_64 += 1;
  loops_per_jiffy计算：init/calibrate.c: calibrate_delay()
  最慢：calibrate_delay_converge(): 250ms
  最快：启动一次记录下来，下次直接传lpj参数给内核
  $ dmesg | grep lpj
  … calculated using timer frequency.. (lpj=7181976)
  
  • 问题：下次启动时处理器主频变了怎么办？
  • 解决办法：实现不基于loops_per_jiffy的{u,n}delay()
    新办法：读取硬件计数器直到delay的时长：e.g. delay_tsc()
    在delay_tsc()里头设置lpj_fine
  • 思路：1、以静制动；2、转变思维方式寻求突破

• 采用更快的内核解压算法

  • 为减少内核大小，一般都会对内核进行压缩

    算法	内核大小	解压时间
    不压缩	3.24M	-
    LZO	1.76M	0.552s
    Gzip	1.62M	0.775s
    Bzip2	？	？
    LZMA	？	？
    XZ	?	?

    表1:不同压缩算法的解压速度比较

  • 数据来源：http://free-electrons.com/blog/lzo-kernel-compression/

  • 解压最快：LZO; 压缩比最高：XZ (针对可执行文件优化）
  • 不压缩：拷贝时间？从哪里拷贝？多大？够小无须压缩。
  • 思路：在不同需求之间进行权衡

• 减少内核大小

  • 内核（未压缩的）越小，拷贝快，功能可能也少，执行快
  • 减少内核大小的详细方法见《减少系统和程序的大小》
  • 思路：启动速度的影响因素是多方面的

• 减少或者消除动态探测

  • 基本思想：类似传lpj给内核避免计算loops_per_jiffy
    思想扩展
    把“不变”参数作为binary，类似DTB，传给内核
    把“不变”参数定义成宏等数据，重编译内核，例
    如：arch/mips/include/asm/cpu-features.h
  • 可采用的对象
    处理器：大部分属性都是固定的，比如tlbsize,
    cachesize等feature
    PCI：PCI的外设不变的情况下，可把各外设的配置定死
  • 效果：减少Probe过程，如果重编译，还可减少内核大小，
    减少大量分支跳转以及由此相应的分支预测失败等
  • 思路：以静制动

统筹考虑整个启动过程
- 一般启动过程：man boot
硬件开机、重启、软件重启(reboot)
BIOS(EFI)、Boot Loader(U-boot)
OS Loader in MBR: Lilo, Grub
装载Linux: cp.b, tftp
启动Linux: boot, bootm
运行Linux: 初始化、内核线程
进入用户态
- 优化后
硬件开机、重启、软件重启(reboot)
完成必要的硬件初始化: X-loader
Kexecboot: 装载、启动、运行Linux并进入用户态
- 切换其他Linux
- 效果：减少若干秒
- 思路：从整体上考虑问题

• 更多内核启动加速方法
  
  • 快速重启: 直接装载、启动、运行Linux并进入用户态
    Kexec: Documentation/kdump/kdump.txt
    reboot=soft (?)
  • 快速分配内存：内存预留(mem, reserve_bootmem)映射(ioremap)后直接使用
  • 优化内存拷贝：DMA方式从Flash拷贝内核到RAM
  • initcalls优化
    串行转并行：异步API: http://lwn.net/Articles/314808/
    延迟initcalls到用户态: http://elinux.org/Deferred_Initcalls
  • 全速（或超速）启动、重启
    确保处理器在启动过程中全速运行，刚初始化时就设置处理器主频为全速
    在处理器启动过程中禁用变频、idle和节能模式
  • 设备驱动特定的优化

加快程序运行速度

• Init 进程
  
  • SysV init
    串行地启动预先配置好的服务
    启动下一个时需要等前一个完成
  • upstart
    基于事件驱动，基于系统状态的改变启用和停用相应的任务
    e.g. /etc/init/cron.conf
    start on runlevel [2345]
    stop on runlevel [!2345]
    …
    exec cron
  • systemd
    基于socket和D-Bus激活来启动服务
    按需启动daemons，类似xinetd
• 追踪Init启动服务过程
  
  • 在内核态跟踪进程执行
    在系统调用kernel/exec.c: sys_exec()入口打印时间戳
    可以用scripts/show_delta统计分析
  • bootchart
    统计资源利用率和各个进程的执行情况，导出SVG结果
    启动阶段资源利用率越高越好
  • timechart
    统计更多信息，结果更详细，导出SVG结果
    tools/perf/builtin-timechart.c
• 从休眠的映像文件启动内核
  
  • 休眠接口：/sys/power/state
  • 开发：启动内核和必须的应用，把系统休眠到磁盘或者Flash设备中，产生一个休眠映像文件
    echo disk > /sys/power/state
  • 产品：启动内核，直接从休眠映像文件恢复系统
  • 效果：无需重新一个一个地启动程序，只需要恢复到一个早期休眠到内存的系统状态
• 预读：readahead与tmpfs
  
  • readahead
    预先读取文件到内存中
    减少iowait
    用法：sys_readahead(), readahead-list
  • tmpfs
    Documentation/filesystems/tmpfs.txt
    tmpfs：内存中的文件系统+no swap
    如果内存足够可以考虑把程序预先复制到tmpfs中
• 使用更快的文件系统
  
  • 文件系统影响程序的IO操作
  • Squashfs v.s. CramFS
  • UBIFS v.s. JFFS2
  • Reiser4 v.s. Ext3
  • XFS(mount) v.s. JFS(cpu utilization)
  • 文件系统操作属性：async,noatime,nodirtime,relatime
  • 文件系统性能评测：Dbench, Bonnie++, IOzone, Flexible，IO Tester
• 使用更小的执行文件
  
  • 可执行文件更小，启动更快，占用内存更少
  • ash v.s. bash
  • busybox
  • buildroot
• 编译器优化
  
  • 常规：-O2, -O3
  • gcc 4.5新特性：-flto
  • 处理器特定优化：-march=, -mtune=
  • 使用处理器优化指令: liboil
  • 更多参数：http://en.wikipedia.org/wiki/Compiler_optimization
  • 装载大量共享连接库很耗时
  • 一般情况下可执行文件和共享连接库不变
  • prelink通过修改可执行文件和共享连接库预先链接
  • 减少动态链接的开销
  • 更多信息：http://elinux.org/Pre_Linking
• 优化程序本身
  
  • 记录程序执行时间: time
    $ time find /var/log/ -name “test” > /dev/null
    real 0m0.006s
    user 0m0.004s
    sys 0m0.000s
  • 跟踪程序函数执行开销: gprof
  • 跟踪程序代码执行覆盖情况：gcov
    -: 35:int main(int argc, char **argv)
    function main called 3 returned 100% blocks executed 60%
    3: 36:{
    3: 37: if (argc < 2) {
    #####: 38: a();
    -: 39: } else {
    3: 40: b();
    -: 41: }
    -: 42:}
  • 跟踪Cache miss, branch miss, page fault, tlb miss等：oprofile, perf, valgrind
    
    • Cache miss: cacheline对齐。
    • branch miss: 消除不必要分支，通过gcov把执行多的branch调到前面或者用likely。
    • page fault: mlock/munlock防止swap出去。
    • tlb miss: 增加page大小。

优化系统调用和库函数

• 优化库函数 Ltrace.

  • 用法：e.g. ltrace -T -f -o ltrace.log ls -l
  • ltrace跟踪可执行文件调用的系统库文件

  • pre_load(LD_PRELOAD)优化过后的函数，如memcpy

    $ ltrace -c -f ls -l
    % time seconds usecs/call calls function

    ---

    24.88 0.020998 42 491 strlen
    10.64 0.008981 41 216 __ctype_get_mb_cur_max
    9.02 0.007613 45 166 __overflow
    8.75 0.007388 47 156 __errno_location
    7.67 0.006472 41 156 memcpy
    5.33 0.004497 55 81 strcoll
    …

    ---

    100.00 0.084397 1733 total

• 优化系统调用: strace .

  • 用法：e.g. strace -T -f -o strace.log ls -l
  • 减少fork/exec，合并程序成applet
  • 优化shell程序：去掉不必要的pipe, pipe也使用fork/exec
  • 减少不必要的系统调用
  • fast system call: e.g. MIPS syscall指令有预留的指令域，
    可以用于实现快速系统调用，比如模拟rdtsc，在用户态读
    取硬件时钟计数器
• 优化内核函数: Ftrace/Kgcov.
  
  • Ftrace: Documentation/trace/ftrace.txt
    Ftrace可以跟踪内核的函数执行情况
    执行程序前后开关Ftrace可追踪程序运行时的内核执行路径
    优化跟程序相关的内核路径
  • Kgcov: Documentation/gcov.txt
    内核代码覆盖率测试
    lgcov：把测试结果转换成HTML格式方便浏览和分析

减少内核大小和内存使用

• 内核配置.
  
  • 默认关闭所有配置: make allnoconfig
  • 开启一些必须的配置选项: lspci, lsusb…
  • 通过CONFIG_EMBEDDED去掉某些功能: futex?
  • 开启内核和initramfs压缩支持: lzo, lzma, gzip, bzip2, xz
  • 采用支持压缩的文件系统: squashfs, ubifs
  • 去掉内核调试支持: 调试功能、调试符号
  • 去掉模块支持？
  • -Os: CONFIG_CC_OPTIMIZE_FOR_SIZE
  • strip -X: CONFIG_STRIP_ASM_SYMS
• Linux-Tiny.
  
  • 目标：致力于降低内核大小和内存开销
  • 下载：http://elinux.org/Linux_Tiny
  • 策略
    让更多选项可配置
    删除内核消息(printk, BUG, panic, die)
    不内联inline函数：性能跟大小折中
    内存分配: Slob v.s. slab
    减少内存数据结果大小：性能与大小折中
    相同功能的简单实现：BFS v.s. CFS
• 降低内存消耗.
  
  • initramfs v.s initrd
    no block
    no filesystem
    no duplication
  • strip -x: 删除non-global符号，模块的non-global符号可删除
  • strip -s: 删除所有符号; strip -S: 删除跟调试相关符号
  • sstrip(来自buildroot): 删除可执行文件的section table
  • objcopy -O binary: 仅保留可直接执行的二进制映像
  • section garbage collection patchset
    -ffunction-sections -fdata-sections and -gc-sections
  • 动态probing转静态definition
  • 去掉更多的内核特性
    系统调用: ptrace
    内核和模块参数支持
    让某些宏可配置：NR_IRQS, COMMAND_LINE_SIZE…
    多选一：多个重复功能选其中一个，比如emulated
    FPU和hardware FPU
  • 减少长调用：-mno-long-calls, 合并内核和模块空间

降低系统功耗

• Tickless Kernel(Dynamic Ticks)
  
  • 配置：CONFIG_NO_HZ
  • HZ: 周期性的发出中断以便进行任务调度而支持多任务
  • NO_HZ: 时钟中断按需发出, Idle时无时钟中断
  • include/linux/clockchips.h: clock_event_device()
    CLOCK_EVT_FEAT_ONESHOT
    set_next_event
  • 2.6.24: 支持X86, ARM, MIPS和PowerPC架构
• Powertop
  
  • 监测频繁唤醒系统的内核和应用
  • 提供一些减少功耗的建议
• 其他节能措施
  
  • CPUFreq
    处理器支持多级频率支持且可软件调节
    自动调节策略：governor用户态可配置
    实现驱动：配置可调节频率范围和操作底层寄存器
  • 挂起隐藏的GUI
    Suspend: kill -SIGTSTP
    Resume: kill -SIGCONT
  • 软件休眠与挂起
    休眠到Disk: echo disk > /sys/power/state
    挂起到内存：echo mem > /sys/power/state
    设备驱动支持：dev_pm_ops: suspend/resume
  • 视频输出控制：video_output子系统
  • 背光控制: backlight子系统
  • 无线射频：rfkill子系统

提高系统响应能力

• 测试系统响应延迟
  yclictest: git://git.kernel.org/pub/scm/linux/kernel/git/clrkwllms/rt-tests.git
  
  • 更换调度策略
    BFS v.s. CFS
    低延迟桌面：PREEMPT
  • 中断线程化
  • 降低某些长中断处理的优先级
    request_threaded_irq()
  • 调整任务优先级：nice, chrt
  • 绑定任务到处理器：taskset
  • 资源分配：Session cgroup, ulimit

文章引用自吴老师的ppt;