Softlockup分析

在Linux环境机器上面进行测试的时候，经常会报softlockup的问题，而导致系统panic。Softlockup是内核中进行死锁检查的一种机制，在2.6.X内核中是在softlockup.c的文件中实现，在新的3.X内核中是在watchdog.c文件中实现的。

Softlockup是用来检测内核长时间不发生调度的情况，它的工作原理是在内核中启动一个优先级为MAX_RT_PRIO – 1的FIFO进程，在此进程里面会刷新时间戳。如果此时间戳超过设定的时间阈值没有更新，则会报softlockup错误。

下面结合代码来分析softlockup的实现。系统启动会调用

lockup_detector_init函数

àwatchdog_enable_all_cpus函数

watchdog_enable_all_cpus函数会在每个cpu上都创建一个watchdog_threads内核线程。

static struct smp_hotplug_threadwatchdog_threads ={                                                                                .store    = &softlockup_watchdog,     .thread_should_run = watchdog_should_run,     .thread_fn   = watchdog,     .thread_comm   = "watchdog/%u",     .setup    = watchdog_enable,     .cleanup   = watchdog_cleanup,     .park    = watchdog_disable,     .unpark    = watchdog_enable,  };

此内核线程的名字为watchdog/%u，对应与每个CPU就是watchdog0、watchdog1等，线程函数为watchdog。在创建线程的时候会调用watchdog_enable函数：

static void watchdog_enable(unsigned intcpu)  {       struct hrtimer*hrtimer = &__raw_get_cpu_var(watchdog_hrtimer);                                                               hrtimer_init(hrtimer,CLOCK_MONOTONIC,HRTIMER_MODE_REL);      hrtimer->function =  watchdog_timer_fn;        hrtimer_start(hrtimer,ns_to_ktime(sample_period), HRTIMER_MODE_REL_PINNED);        watchdog_set_prio(SCHED_FIFO,MAX_RT_PRIO -  1);      __touch_watchdog();  }

首先获取当前CPU的per cpu变量watchdog_hrtimer，启动一个hrtimer，此hrtimer的处理函数为watchdog_timer_fn，并在随后启动此hrtimer。

然后调用函数设置进程的调度策略和优先级，此内核线程为实时的FIFO线程，优先级为MAX_RT_PRIO- 1，优先级最高了，这样就能够在进程被唤醒的时候能够强制其它优先级低的线程\进程了。

最后在__touch_watchdog函数中刷新时间戳PER CPU变量watchdog_touch_ts。

watchdog/%u的线程函数watchdog主要工作就是调用__touch_watchdog函数来刷新时间戳。此线程函数是在watchdog_timer_fn中唤醒的。

下面分析下hrtimer的处理函数watchdog_timer_fn：

static enum hrtimer_restartwatchdog_timer_fn(struct hrtimer *hrtimer)  {       unsigned long touch_ts =__this_cpu_read(watchdog_touch_ts);      int softlockup_all_cpu_backtrace =sysctl_softlockup_all_cpu_backtrace;        wake_up_process(__this_cpu_read(softlockup_watchdog));      hrtimer_forward_now(hrtimer,ns_to_ktime(sample_period));        if (touch_ts== 0) {          if (unlikely(__this_cpu_read(softlockup_touch_sync))) {              __this_cpu_write(softlockup_touch_sync, false);                        sched_clock_tick();          }           __touch_watchdog();          return HRTIMER_RESTART;      }

下面分析下hrtimer的处理函数watchdog_timer_fn：

首先读取per CPU变量watchdog_touch_ts赋值给touch_ts，表示上一次刷新的时间戳。sysctl_softlockup_all_cpu_backtrace变量由用户通过sysctl命令改写或者接口/proc/sys/kernel/softlockup_all_cpu_backtrace来设置。

然后调用wake_up_process函数唤醒此cpu上的watchdog线程，如果watchdog线程被唤醒就会去刷新时间戳。如果系统关了抢占，此watchdog线程不会被唤醒，这样时间戳就不会更新。

hrtimer_forward_now函数会将此hrtimer的下次到期时间设置为从现在开始的sample_period纳秒之后。

如果touch_ts为0，表示第一次hrtimer到期，直接刷新时间戳，并重新启动此定时器。

duration =is_softlockup(touch_ts);      if (unlikely(duration)) {           if (__this_cpu_read(soft_watchdog_warn)== true)               return HRTIMER_RESTART;          if (softlockup_all_cpu_backtrace) {               if (test_and_set_bit(0,&soft_lockup_nmi_warn)) {                                                                                                          __this_cpu_write(soft_watchdog_warn, true);                  return HRTIMER_RESTART;              }           }

is_softlockup函数会判断当前时间与上次刷新时间touch_ts的差值，如果差值大于设定的阈值，就返回差值即变量duration，否则返回0。

如果duration不为0，则表示内核有超过设定的阈值时间没有发生调度。

printk(KERN_EMERG"BUG: soft lockup - CPU#%d stuck for %us! [%s:%d]\n", smp_processor_id(),duration,                                                                     current->comm, task_pid_nr(current));          print_modules();          print_irqtrace_events(current);          if (regs)              show_regs(regs);          else               dump_stack();          if (softlockup_all_cpu_backtrace) {               trigger_allbutself_cpu_backtrace();              clear_bit(0,&soft_lockup_nmi_warn);                 smp_mb__after_atomic();          }             if (softlockup_panic)              panic("softlockup: hung tasks");          __this_cpu_write(soft_watchdog_warn, true);      }  else           __this_cpu_write(soft_watchdog_warn, false);

上面的代码打印出softlockup信息，包括模块信息、寄存器信息、堆栈信息等。如果变量softlockup_all_cpu_backtrace有设置，还会给其它的CPU发生IPI中断，触发softlockup信息。

变量softlockup_panic可以通过sysctl和proc接口设置，在使能的情况下，系统会panic。