Multi_kswapd专场

是不是非常炫酷，这么多内存回收线程kswapd0，从此告别低内存~

---

如何做到的呢？

其实社区早就有类似patch，只是芯片平台厂商没有merge进来，我们可以自己手动尝试移植下来！

1. 首先在proc/sys/vm下搞个节点，用来写入kswapd0进程数（一般最大为16），回调函数kswapd_threads_sysctl_handler => update_kswapd_threads()

2. 在mmzone.h头文件的Node结构体中，即typedef struct pglist_data新增kswapd0的进程数组
   struct task_struct *kswapd[MAX_KSWAPD_THREADS];

3. 因为原生是每个Node配置一个kswapd0，所以要遍历node，去做kswapd0的线程的创建。

   PS.在创建前要进行内存的热插拔，即开始前mem_hotplug_begin();，开始后mem_hotplug_done();

   /mm/vmscan.c

static void update_kswapd_threads_node(int nid) //nid就是node的id
{
    pg_data_t *pgdat;
    int drop, increase;
    int last_idx, start_idx, hid;
    int nr_threads = kswapd_threads_current;

    pgdat = NODE_DATA(nid); 
    //就是遍历node的struct pglist_data *node_data[MAX_NUMNODES] __read_mostly;
      
    last_idx = nr_threads - 1;
    if (kswapd_threads < nr_threads) { //设的数量比当前小，stop一些线程
        drop = nr_threads - kswapd_threads;
        for (hid = last_idx; hid > (last_idx - drop); hid--) {
            if (pgdat->kswapd[hid]) {
                kthread_stop(pgdat->kswapd[hid]);
                pgdat->kswapd[hid] = NULL;
            }
        }
    } else {   //设的数量比当前大，run一些线程
        increase = kswapd_threads - nr_threads; //需要增加的线程数
        start_idx = last_idx + 1; //当前kswapd数量
        for (hid = start_idx; hid < (start_idx + increase); hid++) { //执行increase遍
            pgdat->kswapd[hid] = kthread_run(kswapd, pgdat,
                        "kswapd%d:%d", nid, hid); //所以是kswpad0 ->代表node  hid代表个数
            if (IS_ERR(pgdat->kswapd[hid])) {
                pr_err("Failed to start kswapd%d on node %d\n",
                    hid, nid);
                pgdat->kswapd[hid] = NULL;
                /*
                 * We are out of resources. Do not start any
                 * more threads.
                 */
                break;
            }
        }
    }
}

4. 在kswapd_run和kswapd_stop中完善下代码

---

后续：好像高通4.19内核部分平台也新增了这个功能，好尴尬，所以再增加点内容吧。。

比如，如何把kswapd0进程绑定到非超大核上，以此来减少对其他ux进程的抢占：

1. linux/sched.h头文件中，定义了kswapd标识

   #define PF_KSWAPD        0x00020000  /* I am kswapd */ 
   

2. 在调度中，先对带有kswapd的标识的进程不允许在超大核或者大核上运行，一般0-3为小核，4-6为大核，7为超大核，kernel/sched/core.c -> do_set_cpus_allowed :

   if ((p->flags & PF_KSWAPD) && (cpumask_test_cpu(6, new_mask) || cpumask_test_cpu(7, new_mask)))
        return;
   

3. 在kwapd创建函数中vmscan.c -> kswapd增加CPU调度优先级设置，只设置小核或者大核

   static inline int set_thread_affinity_littlecore(struct task_struct *tsk)
   {
    int ret;
    struct cpumask mask;
   
    cpumask_clear(&mask);
   
    cpumask_set_cpu(0, &mask);
    cpumask_set_cpu(1, &mask);
    cpumask_set_cpu(2, &mask);
    cpumask_set_cpu(3, &mask);
    cpumask_set_cpu(4, &mask);
    cpumask_set_cpu(5, &mask);
   
    ret = sched_setaffinity(tsk->pid, &mask);
   
    return ret;
   }
   

还有，如何增加埋点查看是哪些进程因为什么原因唤醒或者休眠了kswapd0：

唤醒：mm/vmscan.c -> wakeup_kswapd 函数

（至多每个时钟HZ打印一次哦！不然容易挂掉）

在最后wake_up_interruptible前，先打印zone、分配的order以及zone_type

加rcu_read_lock锁，遍历进程打印所有进程的内存信息：

tsk->pid,
from_kuid(&init_user_ns, task_uid(tsk)),  //uid
tsk->tgid, tsk->mm->total_vm,
get_mm_rss(tsk->mm),
tsk_nr_ptes / SZ_1K, //PTRS_PER_PTE * sizeof(pte_t) * atomic_long_read(&tsk->mm->nr_ptes);
get_mm_counter(tsk->mm, MM_SWAPENTS),
get_mm_counter(tsk->mm, MM_SHMEMPAGES),
tsk_oom_adj = tsk->signal->oom_score_adj;
task_state_to_char(tsk);,
tsk->comm,
frozen_mark = frozen(tsk) ? '*' : ' ';

休眠：mm/vmscan.c -> kswapd_try_to_sleep 函数

在prepare_kswapd_sleep后打印需要的zone 和 order