FUZZ测试总结

FUZZ测试总结

Fuzzing简介

模糊测试(fuzzing test)是一种软件测试技术,其核心思想是将自动或半自动生成的随机数据输入到一个程序中,并监视程序异常,如崩溃,断言(assertion)失败,以发现可能的程序错误,比如内存泄漏,访问越界等。

Fuzzing测试框架使用了LLVM编译器框架中的libFuzzer作为Fuzzing引擎进行构建,libFuzzer是一个基于LLVM编译时路径插桩,可以对被测库API进行路径引导测试的Fuzzing引擎。

使用Fuzzing测试框架,需要完成fuzzer测试用例初始化、fuzzer用例编写、fuzzer用例编译和fuzzer用例执行几步。

Fuzzing测试关注的风险接口

开发者应该了解自身模块的接口数据输入是基于不可信的来源输入,特别是针对

  • 解析处理远程发送来的TCP/UDP或者蓝牙等协议数据
  • 通过复杂的文件解码处理等,包括音视频、图片解码、解压缩等
  • IPC跨进程的数据输入处理

通过Fuzzing的覆盖引导能力,可以有效的探测和消减外部输入造成的内存安全问题,也可以极大的增强系统稳定性。

环境配置

将toolchains添加在环境变变中:

在cmd中用hdc_std shell检测

安装Linux扩展组件readline,安装命令如下:

sudo apt-get install libreadline-dev

安装setuptools插件,安装命令如下:

pip3 install setuptools

安装paramiko插件,安装命令如下:

pip3 install paramiko

安装python的rsa插件,安装命令如下:

pip3 install rsa

安装串口插件pyserial,安装命令如下:

pip3 install pyserial

如果设备仅支持串口输出测试结果,则需要安装NFS Server

  • Windows环境下安装,例如安装haneWIN NFS Server1.2.50。
  • Linux环境下安装,安装命令如下:
sudo apt install nfs-kernel-server

启动测试框架

root@ubuntu:/home/OpenHarmony/test/developertest#

 ./start.sh 

Please select the current tested product form:

  1. xxx

  2. xxx

  3. xxx

(输入对应数字的产品;回车)

或者

在Windows下点击start.bat;

输入输入对应数字的产品;回车

生成测试目录

Fuzz用例初始化

>>> gen -t FUZZ -fn  xxx_fuzzer -dp fuzztest/

>>> gen -t FUZZ -fn xxx_fuzzer -dp fuzztest/

>>> quit

在Windows下:
>>> gen -t FUZZ -fn xxx_fuzzer -dp D:\xxx\xxx

>>> gen -t FUZZ -fn xxx_fuzzer -dp D:\file_work

执行gen命令用于fuzzer源文件生成,会自动生成fuzzer源文件、fuzzer配置文件和corpus语料,目录结构如下:

xxx_fuzzer/
├── corpus                       			 # Fuzz语料目录
│   ├── init                     			 # Fuzz语料
├── BUILD.gn                      			 # Fuzz用例编译配置
├── xxx_fuzzer.cpp      # Fuzz用例源文件
├── xxx.h        # Fuzz用例头文件
├── project.xml                  			 # Fuzz选项配置文件

命令参数说明,参数可以指定fuzzer名称和fuzzer路径

gen -t TESTTYPE -fn FUZZERNAME -dp DIRECTORYPATH
参数 描述 说明 备注
-t testtype 测试类型 目前仅支持"FUZZ"
-fn fuzzername fuzzer名称 为显式区分Fuzz用例,名称必须以测试套前缀小写 + _fuzzer形式命名
-dp dirpath fuzzer生成路径 路径不存在则自动创建目录

gen命令的参数-t、-fn和-dp均为必选项;

Fuzz用例编写

注意:更改每个文件注释里的年份为当年!!!

源文件编写

Fuzz用例主要在{fuzzer名称}.cpp源文件中,一个Fuzz用例仅支持一个接口进行fuzz测试。

源文件包含两个接口:

接口 说明
LLVMFuzzerTestOneInput Fuzz入口函数,由Fuzz框架调用
DoSomethingInterestingWithMyAPI 被测试接口,实现各业务被测试逻辑

说明: DoSomethingInterestingWithMyAPI接口名称允许依据业务逻辑修改。两接口参数data和size为fuzz测试标准化参数,不可修改。

#include 
#include 
#include "xxx_fuzzer.h"

void OHOS::xxx::xxxTest(const uint8_t* data, size_t size)
{
    if ((data == nullptr) || (size <= 0)) {
        return;
    }

    XXX xxx;
    size -= sizeof(uint32_t);
    xxx.WriteBuffer(data + sizeof(uint32_t), size);
    xxx.RewindRead(0);

    XXXX xxxx;

    xxxx.Marshalling(xxx);
    xxxx.Unmarshalling(xxx);
}

/* Fuzzer entry point */
extern "C" int LLVMFuzzerTestOneInput(const uint8_t* data, size_t size)
{
    /* Run your code on data */
    OHOS::xxx::xxxxTest(data, size);
    return 0;
}

头文件编写

#ifndef OHOS_xxx_FUZZER_H
#define OHOS_xxx_FUZZER_H

#include 
#include 
#include 
#include 
#include 

#define FUZZ_PROJECT_NAME "xxx_fuzzer"

namespace OHOS::xxx{
void xxxTest(const uint8_t* data, size_t size);
}

#endif

BUILD.gn编写

#####################hydra-fuzz###################
import("//build/config/features.gni")
import("//build/test.gni")
module_output_path = "xxx/xxx"

##############################fuzztest##########################################
ohos_fuzztest("xxxFuzzTest") {
  module_out_path = module_output_path

  fuzz_config_file =
    "//foundation/xxx/xxx/xxx_fuzzer"

  include_dirs = [
    "//foundation/xxx/xxx/test/fuzztest"
  ]
  cflags = ["-g","-O0","-Wno-unused-variable","-fno-omit-frame-pointer"]
  sources = [
    "xxx_fuzzer.cpp",
  ]
  deps = [
    "//foundation/xxx/xxx:xxx",
    "//utils/native/base:utils"
  ]
  external_deps = [
    "xxx:xxx",
  ]
}

group("fuzztest") {
  testonly = true
  deps = []
  deps += [
    # deps file
    ":xxxFuzzTest",
  ]
}

基于[ohos_fuzztest]配置Fuzz模板,例如:

ohos_fuzztest("xxxFuzzTest") {	#定义测试套名称CalculatorFuzzTest
  module_out_path = module_output_path

  include_dirs = [
  ]
  cflags = ["-g","-O0","-Wno-unused-variable","-fno-omit-frame-pointer"]
  sources = [
    "xxx_fuzzer.cpp",
  ]
}

[group]引用测试套,例如:

group("fuzztest") {
  testonly = true
  deps = []
  deps += [
    # deps file
    ":xxxFuzzTest",	#引用测试套
  ]
}

Fuzz配置编写

project.xml为DTFuzz参数配置文件,提供基于libFuzzer参数的动态配置,更多参数配置可参考:

https://llvm.org/docs/LibFuzzer.html#options

<max_len>1000max_len>

<max_total_time>300max_total_time>

<rss_limit_mb>4096rss_limit_mb>

用例编写中常见的强制转换

int32_t xxx= *(reinterpret_cast(data));

bool xxx= *(reinterpret_cast(data));

std::string xxx(reinterpret_cast(data), size);

Fuzz用例编译

添加Fuzz用例编译到模块的test_list中:

在需要DTFuzz测试的对应模块bundle.json中添加Fuzz用例路径,如在bundle.json添加:

"tests": [
  "//foundation/xxx/xxx/test/unittest:unittest",
  "//foundation/xxx/xxx/test/fuzztest:fuzztest", #添加DTFuzz用例路径
]

在用例路径下的BUILD.gn添加group,如examples/calculator/test的BUILD.gn

group("fuzztest") {
  testonly = true
  deps = []
  
  deps += [ "fuzztest/xxx_fuzzer:fuzztest" ]
}

编译命令:

./build.sh --product-name rk3568 --export-para PYCACHE_ENABLE:true --ccache --build-target xxx_test

上32位,下64位;

./build.sh --product-name rk3568 --ccache --target-cpu arm64 --build-target xxx_test

#单独生成group的测试用例

./build.sh --product-name rk3568 --build-target xxxFuzzTest

生成测试用例位置:

root@ubuntu:/home/xxx/OpenHarmony/out/rk3568/tests/fuzztest/xxx/xxx#

windows下测试用例位置:

D:\file_work\22.6.25(FuzzTest)\tests\fuzztest\xxx\xxx

添加路径:D:\file_work\22.6.25(FuzzTest)\developertest\config下的user_config.xml文件


  D:\file_work\22.6.25(FuzzTest)\tests

修改D:\file_work\22.6.25(FuzzTest)\developertest\config下的user_config.xml文件(非必要)

false

(重要)在D:\file_work\22.6.25(FuzzTest)\tests\res目录下:

添加xxx_fuzzer(测试用例目录)
......

复制两文件到本地

/home/si/openharmony/test$  ls

将developertest和xdevice复制到D:\file_work\22.6.13(test)

#########################################


## Fuzz用例执行

执行前需要重新全量编译+烧录rk3568

全量编译+烧录操作看笔记


运行start.bat文件闪退

熟悉流程可以执行下一步操作


修改start.bat文件(非必要操作)

@echo off
set BASE_HOME_PATH=%CD%
@echo start time is:
TIME /T
cd %BASE_HOME_PATH%\src
python -m main %1
cd %BASE_HOME_PATH%
@echo finish time is:
TIME /T
@echo on


参考启动测试框架

Fuzz能力集成,在测试类型-t中新增FUZZ类型,执行Fuzz测试指令示例,其中-t为必选,-ss和-tm为可选

run -t FUZZ -ss developertest -tm calculator


| 参数 | 描述       | 说明     | 备注                     |
| ---- | ---------- | -------- | ------------------------ |
| -t   | TESTTYPE   | 测试类型 |                          |
| -ss  | SUBSYSTEM  | 子系统   | 被测试子系统             |
| -tm  | TESTMODULE | 模块     | 被测试模块,如calculator |

执行测试框架:

运行start.bat,输入3,回车(或选择rk3568回车)


执行DTFuzz命令示例:(不加单个测试用例就是全跑)

run -t FUZZ -ts CalculatorFuzzTest
run -t FUZZ


(可选)

在cmd中运行:

hdc_std shell


运行之后输入top查看测试进程运行时间:

top


## 测试结果与日志

- 通过在测试框架中执行测试指令,即可以生成测试日志和测试报告。

路径:D:\file_work\22.6.25(FuzzTest)\developertest\reports


- 测试结果

测试用例的结果会直接显示在控制台上,执行一次的测试结果根路径如下:

reports/xxxx-xx-xx-xx-xx-xx


测试用例格式化结果

result/


测试用例日志

log/plan_log_xxxx-xx-xx-xx-xx-xx.log


测试报告汇总

summary_report.html


测试报告详情

details_report.html


最新测试报告

reports/latest

你可能感兴趣的:(OpenHarmony,harmonyos,c++,华为)