KCSAN(Kernel Concurrency Sanitizer)是一种动态竞态检测器,它依赖于编译时插装,并使用基于观察点的采样方法来检测竞态,其主要目的是检测数据竞争。
KCSAN是一种检测LKMM(Linux内核内存一致性模型)定义的数据竞争(data race)的工具,同时它也可以控制报告哪种类型的数据竞争。
KCSAN知道LKMM定义的所有标记原子操作,以及LKMM尚未提到的操作,例如原子位掩码操作(bit mask)。
KCSAN扩展了LKMM,例如通过提供data_race()标记,来表示存在数据竞争和缺乏原子可能性。
Linux内核内存模型目前在源代码树中的memory-barrier.txt和atomic_ops.txt文件中有非正式的定义。包含以下组成部分:
使用READ_ONCE()、WRITE_ONCE()和ACCESS_ONCE()宏来保护从共享(但非原子)变量的加载和存储;
一类同步屏障指令,是CPU或编译器在对内存随机访问的操作中的一个同步点,使得此点之前的所有读写操作都执行后才可以开始执行此点之后的操作。比如barrier、smp_mb/smp_wmb/smp_rmb等;
Linux内核提供了一个有限的控件依赖的概念,在某些情况下对依赖控件的存储进行优先加载;
允许更新者等待所有已经存在的读侧临界区完成,再回收旧的资源;
将原子原语的实现委托给编译器;如果多个体系结构采用这种方法,将减少体系结构特定代码的数量。
为什么要关心数据竞争?
C语言的发展独立于并发性。如果给定的变量或访问没有任何特别之处,则变量只会在响应当前线程的存储时发生变化。
因此,编译器可以并且使用各种优化,包括负载融合、代码重新排序和许多其他可能导致并发算法故障的优化。
读取拆分(单次访问多次读取)
存储拆分(单次访问多次写入)读取融合(编译器直接使用上一次对这个变量的load结果,而不是真正再去load一次)
存储融合(编译器优化写入变量流程,不再真实写入)
代码重排(把一些类似的计算归在一起,节省占用的寄存器,改善现代超标量微处理器里面各个运算单元的利用效率)
虚拟读取(编译器优化会导致多次读取,导致后续加载异常)
虚拟存储(编译器优化会导致多次存储,导致后续存储异常)
.....
因此需要告诉编译器并发代码,Linux提供内存一致性模型,也提供检查方法解决此类问题。
以下线程打钩的是标准做法;打叉的是可能存在数据竞争的情况。
例如:使用不对称的锁机制,并且使用READ_ONCE/WRITE_ONCE标记访问。
KCSAN支持GCC/CLANG编译,需要GCC版本11,CLANG 12以上版本。
x86_64: >=5.8 ARM64: >=5.17
cc-option,-fsanitize=thread --param tsan-distinguish-volatile=1
资料直通车:Linux内核源码技术学习路线+视频教程内核源码
学习直通车:Linux内核源码内存调优文件系统进程管理设备驱动/网络协议栈
检查未标记读取是否写入竞争,会持续扫描内核的主要分支,在访问的内存位置上设置观察点,挑出导致数据争用的数据,并将其报告给内核日志。
●用“软观察点”查找竞争
〇设置观察点和失速通道;
〇如果监测点已经存在,那么竞争检查将照常进行;
〇如果值改变了--> 竞争;
〇失速通道随机延迟,增加观察竞争状态的机会;
默认值:任务[1,80]us,中断[1,20]us。
●为所有检测内存访问设置观察点
〇 注释标记访问,仅用于检查非标记访问是否存在观察点;
KCSAN从不在标记的访问上设置观察点;
如果对并发访问的变量的所有访问都正确地标记了,KCSAN将永远不会触发观察点,因此永远不会报告访问。
●采样: 周期性建立观察点
〇默认值:平均2000次访问。
基于地址页索引
〇可以溢出到相邻槽。
〇使用索引确保报告元数据给匹配的生产者/消费者。
具有灵活、可缩放的特点,以数组的形式存放。
代码片段如下:
入口函数check_access,在check_access数据地址、长度、类型;在check_access函数执行find_watchpoint判断。需要检测的ptr已经插桩编译。
KCSAN提供有一种断言检测机制,检查在数据竞争模型以外的情况下提供竞争检测;
KCSAN提供KUNIT的支持
1. 配置CONFIG_KCSAN_KUNIT_TEST=y使能KUNIT
2. KCSAN功能正常开启
QEMU Linux 6.11 core 4 GCC11
测试覆盖:
1. 不同条件下的数据竞争data_race
2.断言函数数据竞争assert_exclusive_x
3. barrier/lock判定
1. 在完成KCSAN配置后,系统启动时有“kcsan:enable early”打印:
2.后台会实时进行观测点的监控与比对,如果比中会有”BUG:KCSAN”控制台打印来描述数据竞争的信息;这些信息包括调用函数、数据竞争地址、CPU号、进程号等;可在不同的测试场景进行压力测试;
3.在运行过程中,查看“KCSAN kernel debug”节点查看当前的状态,这些状态信息包括观测点、数据竞争、ASSERT报错等一系列信息;
描述:IGMP协议timer超时与事件函数在读写mr_ifc_count变量的数据竞争
net: igmp: fix data-race in igmp_ifc_timer_expire()
解决办法:
1. igmp_ifc_event/ igmp_ifc_timer_expire函数在读写mr_ifc_count变量存在数据竞争,需要使用LLKM 访问保护;
2. 修改调用mr_ifc_count点,使用READ_ONCE/WRITE_ONCE保证编译器的一致性;
3. mr_ifc_count和in_dev->mr_ifc_count值不等时启动重传机制;
描述:在taskstats_exit()中分配和测试任务统计时,会有一个竞争在读写sig->stats
When assiging and testing taskstats in taskstats_exit() there's a race when writing and reading sig->stats
解决办法:
1. 结构体成员sig->stats存在数据竞争,需要使用LLKM访问保护;
2. smp_load_acquire/smp_store_release函数解决CPU数据同步和编译器同步问题,适用于同一个函数内部的数据竞争;
本文从工作原理、运行流程、测试方式等多个方面介绍了KCSAN,旨在让读者能够对KCSAN运行有一个直观的认识,利用KCSAN在产品中解决一些数据竞争问题;数据竞争是一个复杂问题,用KCSAN能帮助大家快速找到数据竞争问题,进而寻找方法解决或规避,本文更多传递是一种发现和解决此类问题的思路。
消杀器技术在不断地迭代和更新,也让大家多一份探寻世界、改变世界的机会;借此机会,站在巨人的肩膀上,让大家看得更远、走得更远,愿大家都有一个美好的明天。