设置每CPU环境

5.3 设置每CPU环境

回到start_kernel，563行调用mm_init_owner函数，将init_mm的owner字段指回init_task。这个函数可以说进入start_kernel以来最简单的函数了。继续走，setup_command_line也很简单：

 

static void __init setup_command_line(char *command_line) {        saved_command_line = alloc_bootmem(strlen (boot_command_line)+1);        static_command_line = alloc_bootmem(strlen (command_line)+1);        strcpy (saved_command_line, boot_command_line);        strcpy (static_command_line, command_line); }

 

把刚才在setup_arch()中拷贝进来的command_line，拷贝到全局变量saved_command_line和static_command_line所指向的内存单元中。这个内存单元通过alloc_bootmem函数在刚刚建立好的内存管理环境中进行分配。

 

继续走，565行，setup_nr_cpu_ids()函数，在多CPU情况下，调用同一文件中的：

static void __init setup_nr_cpu_ids(void)

{

       nr_cpu_ids = find_last_bit(cpumask_bits(cpu_possible_mask),NR_CPUS) + 1;

}

 

nr_cpu_ids是一个特殊的值，在单CPU情况下是1；而SMP情况下，又是一个全局变量，被find_last_bit函数设置，针对x86体系其本质上会调用bsr汇编指令。这里我大概介绍一下这个指令的概念，可能有不对的地方，请高手指教。386以上的CPU有一对指令BSF/BSR ——正/反向位扫描。这个指令的使用方法是：BSF dest,src，影响标志位ZF。这个指令的意思是，扫描源操作数中的第一个被设置的位，如果发现某一位被设置了，则设置ZF位并将第一个被设置位的索引装载到目的操作数中；如果没有发现被设置的位，则清除ZF。BSF正向扫描各个位(从第0位到第N位)，BSR相反(从第N位到第0位)。

 

继续走，566行，setup_per_cpu_areas，来自arch/x86/kernel/setup_percpu.c。这个函数只是设置一下SMP的每CPU存储区，也就是说为系统中的每个cpu的per_cpu变量申请空间。函数比较复杂，我这里只把整个函数列出来，对SMP感兴趣的同学可以尝试深入分析一下：

 

void __init setup_per_cpu_areas(void) {        unsigned int cpu;        unsigned long delta;        int rc;          pr_info("NR_CPUS:%d nr_cpumask_bits:%d nr_cpu_ids:%d nr_node_ids:%d/n",               NR_CPUS, nr_cpumask_bits, nr_cpu_ids, nr_node_ids);          /*         * Allocate percpu area.  Embedding allocator is our favorite;         * however, on NUMA configurations, it can result in very         * sparse unit mapping and vmalloc area isn't spacious enough         * on 32bit.  Use page in that case.         */ #ifdef CONFIG_X86_32        if (pcpu_chosen_fc == PCPU_FC_AUTO && pcpu_need_numa())               pcpu_chosen_fc = PCPU_FC_PAGE; #endif        rc = -EINVAL;        if (pcpu_chosen_fc != PCPU_FC_PAGE) {               const size_t atom_size = cpu_has_pse ? PMD_SIZE : PAGE_SIZE;               const size_t dyn_size = PERCPU_MODULE_RESERVE +                      PERCPU_DYNAMIC_RESERVE - PERCPU_FIRST_CHUNK_RESERVE;                 rc = pcpu_embed_first_chunk(PERCPU_FIRST_CHUNK_RESERVE,                                        dyn_size, atom_size,                                        pcpu_cpu_distance,                                        pcpu_fc_alloc, pcpu_fc_free);               if (rc < 0)                      pr_warning("%s allocator failed (%d), falling back to page size/n",                                pcpu_fc_names[pcpu_chosen_fc], rc);        }        if (rc < 0)               rc = pcpu_page_first_chunk(PERCPU_FIRST_CHUNK_RESERVE,                                       pcpu_fc_alloc, pcpu_fc_free,                                       pcpup_populate_pte);        if (rc < 0)               panic("cannot initialize percpu area (err=%d)", rc);          /* alrighty, percpu areas up and running */        delta = (unsigned long)pcpu_base_addr - (unsigned long)__per_cpu_start;        for_each_possible_cpu(cpu) {               per_cpu_offset(cpu) = delta + pcpu_unit_offsets[cpu];               per_cpu(this_cpu_off, cpu) = per_cpu_offset(cpu);               per_cpu(cpu_number, cpu) = cpu;               setup_percpu_segment(cpu);               setup_stack_canary_segment(cpu);               /*                * Copy data used in early init routines from the                * initial arrays to the per cpu data areas.  These                * arrays then become expendable and the *_early_ptr's                * are zeroed indicating that the static arrays are                * gone.                */ #ifdef CONFIG_X86_LOCAL_APIC               per_cpu(x86_cpu_to_apicid, cpu) =                      early_per_cpu_map(x86_cpu_to_apicid, cpu);               per_cpu(x86_bios_cpu_apicid, cpu) =                      early_per_cpu_map(x86_bios_cpu_apicid, cpu); #endif #ifdef CONFIG_X86_64               per_cpu(irq_stack_ptr, cpu) =                      per_cpu(irq_stack_union.irq_stack, cpu) +                      IRQ_STACK_SIZE - 64; #ifdef CONFIG_NUMA               per_cpu(x86_cpu_to_node_map, cpu) =                      early_per_cpu_map(x86_cpu_to_node_map, cpu); #endif #endif               /*                * Up to this point, the boot CPU has been using .data.init                * area.  Reload any changed state for the boot CPU.                */               if (cpu == boot_cpu_id)                      switch_to_new_gdt(cpu);        }          /* indicate the early static arrays will soon be gone */ #ifdef CONFIG_X86_LOCAL_APIC        early_per_cpu_ptr(x86_cpu_to_apicid) = NULL;        early_per_cpu_ptr(x86_bios_cpu_apicid) = NULL; #endif #if defined(CONFIG_X86_64) && defined(CONFIG_NUMA)        early_per_cpu_ptr(x86_cpu_to_node_map) = NULL; #endif   #if defined(CONFIG_X86_64) && defined(CONFIG_NUMA)        /*         * make sure boot cpu node_number is right, when boot cpu is on the         * node that doesn't have mem installed         */        per_cpu(node_number, boot_cpu_id) = cpu_to_node(boot_cpu_id); #endif          /* Setup node to cpumask map */        setup_node_to_cpumask_map();          /* Setup cpu initialized, callin, callout masks */        setup_cpu_local_masks(); }

 

在该函数中，为每个CPU分配一段专有数据区，并将.data.percpu中的数据拷贝到其中， 每个CPU各有一份。由于数据从__per_cpu_start处转移到各CPU自己的专有数据区中了， 因此存取其中的变量就不能再用原先的值了，比如存取per_cpu__runqueues 就不能再用per_cpu__runqueues了，需要做一个偏移量的调整，即需要加上各CPU自己的专有数据区首地址相对于__per_cpu_start的偏移量。在这里也就是__per_cpu_offset[i]，其中CPU i的专有数据区相对于__per_cpu_start的偏移量为__per_cpu_offset[i]。

 

这样，就可以方便地计算专有数据区中各变量的新地址，比如对于per_cpu_runqueues， 其新地址即变成per_cpu_runqueues+__per_cpu_offset[i]。

 

经过这样的处理，.data.percpu这个section在系统初始化后就可以释放了。为什么要释放它？OK，自己去看arch/x86/kernel/vmlinux.lds文件，整个.data.percpu这个section都在__init_begin和__init_end之间，也就是说，该section所占内存会在系统启动后释放(free)掉。

 

继续走，start_kernel的567行smp_prepare_boot_cpu函数，来自arch/x86/include/asm/smp.h：

static inline void smp_prepare_boot_cpu(void)

{

       smp_ops.smp_prepare_boot_cpu();

}

 

全局变量smp_ops也是一个smp_ops结构，在代码arch/x86/kernel/smp.c中被初始化成：

 

struct smp_ops smp_ops = {        .smp_prepare_boot_cpu = native_smp_prepare_boot_cpu,        .smp_prepare_cpus = native_smp_prepare_cpus,        .smp_cpus_done            = native_smp_cpus_done,          .smp_send_stop             = native_smp_send_stop,        .smp_send_reschedule    = native_smp_send_reschedule,          .cpu_up                 = native_cpu_up,        .cpu_die         = native_cpu_die,        .cpu_disable           = native_cpu_disable,        .play_dead             = native_play_dead,          .send_call_func_ipi = native_send_call_func_ipi,        .send_call_func_single_ipi = native_send_call_func_single_ipi, };

 

所以，567行smp_prepare_boot_cpu函数最终调用native_smp_prepare_boot_cpu函数。该函数最终会调用switch_to_new_gdt函数，传给他的参数是当前CPU的编号：

 

void switch_to_new_gdt(int cpu) {        struct desc_ptr gdt_descr;          gdt_descr.address = (long)get_cpu_gdt_table(cpu);        gdt_descr.size = GDT_SIZE - 1;        load_gdt(&gdt_descr);        /* Reload the per-cpu base */          load_percpu_segment(cpu); }

 

load_gdt很熟悉了，就是调用lgdt汇编指令加载GDT表。那么，自系统启动至此，已经有三次加载GDT了，为啥这里又来加载一次呢？这里面的关键是get_cpu_gdt_table函数，来自arch/x86/include/asm/desc.h：

static inline struct desc_struct *get_cpu_gdt_table(unsigned int cpu)

{

       return per_cpu(gdt_page, cpu).gdt;

}

 

好了，SMP的重中之重来了，per_cpu宏，这里重点介绍它：

#define per_cpu(var, cpu) /

       (*SHIFT_PERCPU_PTR(&(var), per_cpu_offset(cpu)))

 

我们看到传入这个宏的两个参数是gdt_page和cpu。gdt_page还记得吧，我们在“初始化GDT” http://blog.csdn.net/yunsongice/archive/2010/12/31/6110703.aspx中讲过，包含32个8字节的段描述符；cpu，刚刚传进来的当前CPU的id。翻译过来就是：

*SHIFT_PERCPU_PTR(&(gdt_page), per_cpu_offset(cpu))

 

#define SHIFT_PERCPU_PTR(__p, __offset)     ({                         /

       __verify_pcpu_ptr((__p));                                 /

       RELOC_HIDE((typeof(*(__p)) __kernel __force *)(__p), (__offset)); /

})

 

__verify_pcpu_ptr是GCC的一个优化过程，我们忽略，所以继续翻译就是：

RELOC_HIDE((typeof(*(&(gdt_page))) __kernel __force *)(&(gdt_page)), (per_cpu_offset(cpu))

 

#define RELOC_HIDE(ptr, off)                                /

  ({ unsigned long __ptr;                                 /

    __asm__ ("" : "=r"(__ptr) : "0"(ptr));          /

    (typeof(ptr)) (__ptr + (off)); })

 

对于per_cpu(gdt_page, cpu)，将等效地扩展为：

__per_cpu_offset[smp_processor_id()] + per_cpu__gdt_page

并且是一个lvalue，也就是说可以进行赋值操作。这正好是上述per_cpu__runqueues变量在对应CPU的专有数据区中的新地址。

 

由于不同的每cpu变量有不同的偏移量，并且不同的CPU其专有数据区首地址不同， 因此，通过per_cpu (var,cpu)便访问到了不同的变量。对这个概念还不是很清楚的同学请查阅一下博客“每CPU变量”http://blog.csdn.net/yunsongice/archive/2010/05/18/5605239.aspx。