hugepage设置相关总结

HugePages_Total:      16     //预留HugePages的总个数
HugePages_Free:       16     //池中尚未分配的 HugePages 数量,真正空闲的页数等于HugePages_Free - HugePages_Rsvd
HugePages_Rsvd:        0     //表示池中已经被应用程序分配但尚未使用的 HugePages 数量
HugePages_Surp:        0     //这个值得意思是当开始配置了20个大页,现在修改配置为16,那么这个参数就会显示为4,一般不修改配置,这个值都是0
Hugepagesize:    1048576 kB //每个大页的大小

 

1、hugepage永久 配置 
修改/etc/default/grub 中的 GRUB_CMDLINE_LINUX,然后运行 grub 更新并重启系统:

default_hugepagesz=1G hugepagesz=1G hugepages=16 hugepagesz=2M hugepages=2048 iommu=pt intel_iommu=on isolcpus=1-13,15-27

#grub2-mkconfig -/boot/grub2/grub.cfg

#reboot

注意:上面设置的是系统预留内存,如果是单cpu,预留大小肯定就是上面设置的值,如果是numa系统,每个cpu node平分上面设置的大小(比如系统有cpu node 0和node1,hugepages=2048,在查看/sys/devices/system/node/node0/hugepages/nr_hugepages时,大小肯定是1024)命令 echo ‘vm.nr_hugepages=2048' > /etc/sysctl.d/hugepages.conf也可以设置,但一定注意,有时发现grub设置的大页大小和实际大小不一样时,可能就是/etc/sysctl.d/hugepages.conf里的参数在作怪。默认情况下就是系统当前所有在线NUMA节点平均分配这些HugePages,除非那个NUMA节点本身没有足够的可用连续内存来生成 HugePages,那么此时HugePages将由另外一个NUMA节点生成hugepage 的数量和类型可根据系统中的可用内存进行调整。 isolcpus 参数支持我们将某些 CPU 与 Linux 调度程序隔离,以便基于 DPDK 的应用能够锁定到这些 CPU 上。

重启系统后,查看内核 cmdline 并按照如下方式分配 hugepage。

hugepage设置相关总结_第1张图片

接下来是安装 hugepage 文件系统,加载 vfio-pci 用户空间驱动程序。

#mkdir -/mnt/huge

#mkdir -/mnt/huge_2mb

#mount -t hugetlbfs hugetlbfs /mnt/huge (没有-o参数,挂载系统默认hugepage大小)
默认大小指的是上图显示的Hugepagesize:    1048576 kB,也就是1G大页(cat /proc/meminfo | grep Hugepagesize)。

#mount -t hugetlbfs none /mnt/huge_2mb -o pagesize=2MB(-o参数指定挂载2M的hugepage大小)


2、临时配置

Hugepage能够动态预留,执行命令:

$ echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

上面通过没有节点关联的系统分配内存页。如果希望强制分配给指定的NUMA节点,你必须做:

#echo 1024 >/sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

#echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages
hugepages-2048kB指预留2M的大小为1024个,一共2*1024M,hugepages-1048576kB指预留1G的大小

 

3、查看HugePages情况:

cat /proc/meminfo 

hugepage设置相关总结_第2张图片

4、查看挂载情况

 cat /proc/mounts

hugepage设置相关总结_第3张图片

会看见hugetlbfs /mnt/huge hugetlbfs rw,relatime 0 0这样的,这就是挂载了大页,在free不够时,在确定可以umount时,把这些umount一下就可以了,vpp代码自动挂载大页的,ovs+dpdk需要手动挂载

 

5、vpp关于大页的一些问题

A:有时启动vpp会报:

hugepage设置相关总结_第4张图片

导致这原因一般是dpdk默认要求的大页内存大小太大,而实际预留的太小,就必须在vpp启动配置文件startup.conf中修改dpdk属性socket-mem,改小一点

hugepage设置相关总结_第5张图片

B:vpp默认挂载大页的路径是/run/vpp/hugepages,有时vpp\启动不了,查看cat /proc/mounts,发现挂载了多个/run/vpp/hugepages,但umount又卸载不完,

[root@localhost /]# umount /run/vpp/hugepages

umount: /run/vpp/hugepages: target is busy.
        (In some cases useful info about processes that use
         the device is found by lsof(8) or fuser(1))

可以使用以下解决办法

 

使用fuser命令,先确认有那些进程需要杀掉

[root@localhost /]# fuser -cu /run/vpp/hugepages

/mnt:                15060c(root)

其次向进程发出SIGKILL信号

[root@localhost /]# fuser -ck /run/vpp/hugepages

/mnt:                15060c

确认

[root@localhost /]# fuser -c /run/vpp/hugepages

[1]+  Killed                  dd if=1g of=/dev/null bs=1M  (wd:/run/vpp/hugepages)

(wd now: /)

6 ovs+dpdk大页问题

有时没法重启服务器只能配置临时大页时,但启动ovs+dpdk会报错,

A:

hugepage设置相关总结_第6张图片

上面显示的是有4个1073741824(1G)大小的大页,2048个2097152(2M)大小的大页,但都没有挂载,必须手动挂载大页,需要执行mount -t hugetlbfs hugetlbfs /mnt/huge

 

B:

hugepage设置相关总结_第7张图片

这是因为配置的大页大小不满足ovs+dpdk大页需求,需要增大临时大页配置

 

C:

hugepage设置相关总结_第8张图片

这种情况具体原因就是没有mount!必须执行

 

mkdir /mnt/huge
mount -t hugetlbfs nodev /mnt/huge

 

 

比如原来的设置是4096   echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

AnonHugePages:   5218304 kB
HugePages_Total:     4096
HugePages_Free:     4096
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

现在先设置 echo 128 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

再设置echo 4096 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

估计是内存连续问题造成的

7、其他问题

有时,你会发现大页

hugepage设置相关总结_第9张图片

不管怎样配置,free就是0,top或是free命令,查看内存基本使用完了,但是我们并没有启动vpp或是ovs,这个很大可能就是其他进程使用了hugepage,使用以下命令查找

find /proc/*/smaps | xargs grep -ril "anon_hugepage"

原理请查看https://toutiao.io/posts/n4hzg1/preview里hugepage内容

你可能感兴趣的:(dpdk)