代码质量检测-SonarQube
文章目录
- 前言
- 一、SonarQube是什么？
- 二、SonarQube安装步骤
-
- 1.docker安装
- 2.docker-compose安装
- 3. 访问SonarQube
- 4. 配置SonarQube
-
- 4.1 安装中文插件
- 4.2 导入规则集
- 4.3 配置规则集
- 4.3 安装多分支检查插件
- 三、SonarQube使用步骤
-
- 1. 创建项目
- 2. 启动本地扫描
- 四、GitLab流水线集成Sonarqube扫描
-
- 1. sonarqube创建关联gitlab仓库的项目
- 2. 配置gitlab流水线作业
-
- 2.1 选择设置好的项目，使用Gitlab CI来分析项目
- 2.2 配置gitlab-runner
- 2.3 maven镜像私有化配置
- 2.4 启动流水线
- 2.5 流水线门禁设置
- 五、代码质量
-
- 异味
- 覆盖率
- 重复率
- 新增代码质量
- 全部代码质量
- 质量阀
- 总结
前言
CI/CD流水线完善计划， 增加代码质量检查作业，在开发代码合入前提前发现不安全问题，因此引入代码质量检测-SonarQube服务。
一、SonarQube是什么？
Sonar是一个用于代码质量管理的开源平台，用于管理Java源代码的质量。通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具，比如pmd-cpd、checkstyle、findbugs、Jenkins。通过不同的插件对这些结果进行再加工处理，通过量化的方式度量代码质量的变化，从而可以方便地对不同规模和种类的工程进行代码质量管理。同时 Sonar 还对大量的持续集成工具提供了接口支持，可以很方便地在持续集成中使用 Sonar。 此外，Sonar 的插件还可以对 Java 以外的其他编程语言提供支持，对国际化以及报告文档化也有良好的支持。
二、SonarQube安装步骤
当前最新发布 SonarQube 社区版9.7，以下步骤以此为例。
1.docker安装
快速安装，仅限于测试或则体验：
docker run -d --name sonarqube --restart always -p 9000:9000 sonarqube
2.docker-compose安装
可用于持久化，私有化部署使用。
docker-compose.yml 配置：
version: "3"
services:
sonarqube:
image: sonarqube:9.7-community
container_name: sonarqube
depends_on:
- db
environment:
SONAR_JDBC_URL: jdbc:postgresql://db:5432/sonar
SONAR_JDBC_USERNAME: sonar
SONAR_JDBC_PASSWORD: sonar
volumes:
- sonarqube_data:/opt/sonarqube/data
- sonarqube_extensions:/opt/sonarqube/extensions
- sonarqube_logs:/opt/sonarqube/logs
ports:
- "9000:9000"
db:
image: postgres:12
container_name: postgres
environment:
POSTGRES_USER: sonar
POSTGRES_PASSWORD: sonar
volumes:
- postgresql:/var/lib/postgresql
- postgresql_data:/var/lib/postgresql/data
volumes:
sonarqube_data:
sonarqube_extensions:
sonarqube_logs:
postgresql:
postgresql_data:
如果是非volume安装，注意给本地文件权限
chmod 777 -R xxxx
修改系统资源：
sysctl -w vm.max_map_count=524288
sysctl -w fs.file-max=131072
ulimit -n 131072
ulimit -u 8192
在docker-compose.yml 文件更目录执行：
docker compose up -d
3. 访问SonarQube
URL： http://localhost:9000
用户名: admin
密码: admin
4. 配置SonarQube
4.1 安装中文插件
-
在线安装：
插件在GitHub，因为网络原因可能会安装失败，多试几次。
Caused by: org.sonar.api.utils.SonarException: Fail to download: https://github.com/xuhuisheng/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-9.7/sonar-l10n-zh-plugin-9.7.jar (no proxy) at org.sonar.core.util.DefaultHttpDownloader.failToDownload(DefaultHttpDownloader.java:157) at org.sonar.core.util.DefaultHttpDownloader.download(DefaultHttpDownloader.java:152) at org.sonar.server.plugins.PluginDownloader.downloadRelease(PluginDownloader.java:145) at org.sonar.server.plugins.PluginDownloader.download(PluginDownloader.java:118) ... 131 common frames omitted Caused by: java.net.SocketTimeoutException: connect timed out at java.base/java.net.PlainSocketImpl.socketConnect(Native Method) at java.base/java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:412) at java.base/java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:255) at java.base/java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:237) at java.base/java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) at java.base/java.net.Socket.connect(Socket.java:609) at java.base/sun.security.ssl.SSLSocketImpl.connect(SSLSocketImpl.java:305) at java.base/sun.net.NetworkClient.doConnect(NetworkClient.java:177) at java.base/sun.net.www.http.HttpClient.openServer(HttpClient.java:474) at java.base/sun.net.www.http.HttpClient.openServer(HttpClient.java:569) at java.base/sun.net.www.protocol.https.HttpsClient.<init>(HttpsClient.java:266) at java.base/sun.net.www.protocol.https.HttpsClient.New(HttpsClient.java:373) at java.base/sun.net.www.protocol.https.AbstractDelegateHttpsURLConnection.getNewHttpClient(AbstractDelegateHttpsURLConnection.java:203) at java.base/sun.net.www.protocol.http.HttpURLConnection.plainConnect0(HttpURLConnection.java:1187) at java.base/sun.net.www.protocol.http.HttpURLConnection$6.run(HttpURLConnection.java:1071) at java.base/sun.net.www.protocol.http.HttpURLConnection$6.run(HttpURLConnection.java:1069) at java.base/java.security.AccessController.doPrivileged(Native Method) at java.base/java.security.AccessController.doPrivilegedWithCombiner(AccessController.java:795) at java.base/sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:1068) at java.base/sun.net.www.protocol.https.AbstractDelegateHttpsURLConnection.connect(AbstractDelegateHttpsURLConnection.java:189) at java.base/sun.net.www.protocol.https.HttpsURLConnectionImpl.connect(HttpsURLConnectionImpl.java:168) at org.sonar.core.util.DefaultHttpDownloader$BaseHttpDownloader$HttpInputSupplier.getInput(DefaultHttpDownloader.java:274) at org.sonar.core.util.DefaultHttpDownloader.download(DefaultHttpDownloader.java:149) ... 133 common frames omitted
安装完成重启
也可以通过docker 重启容器
docker restart sonarqube其他插件也可在应用市场安装。
-
离线安装
下载好的插件直接扔到 sonarqube安装目录下的 extensions/plugins
重启sonarqube即可。如果是先查找对应sonarqube_extensions 卷路径，插件路径默认在
/var/lib/docker/volumes/sonarqube_sonarqube_extensions/_data/plugins
4.2 导入规则集
目前国内ali-p3c-pmd规则集比较流行，适用于没有自己规则的中小企业。
-
下载ali-p3c-pmd插件 源码
https://github.com/caowenliang/sonar-pmd-p3c -
打包部署插件
mvn clean install -Dmaven.test.skip=true将{仓库目录}\sonar-pmd-plugin\target\ 下生成的sonar-pmd-plugin-3.2.1.jar
copy到 sonarqube的{安装目录}/extensions/plugins下.。如果是docker数据卷安装可以直接扔到对应数据卷目录下。
/var/lib/docker/volumes/sonarqube_sonarqube_extensions/_data/plugins重启sonarqube容器
docker restart sonarqube -
重启完成可以在插件市场看到已安装的规则集插件
-
进入代码规则页面，过滤器输入p3c，在仓库下可以看到PMD规则一共56条，为ali-p3c-pmd全部规则
4.3 配置规则集
创建质量配置
输入名称和代码语言
为新创建的配置添加规则
进入到规则页面，左侧过滤器显示当前选择的规则集，有系统自带e.g.:xxxx(内置)的规则集，和我们导入的外部规则集（ali-p3c-pmd）。
这里选择我们导入的规则集PMD(过滤器输入p3c >>选择仓库下的PMD(56条))
弹出框激活—选择我们的质量配置all-check----应用
ali-p3c-pmd一共56条规则，排除了PMD默认规则（因为没有中文描述）
4.3 安装多分支检查插件
-
下载插件
https://github.com/mc1arke/sonarqube-community-branch-plugin/releases
-
离线 安装到插件目录 extensions/plugins/
-
修改config
进入docker容器内部docker exec -it sonarqube bash修改sonar.properties
vi conf/sonar.properties在文件末尾加入两行:
sonar.web.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-${version}.jar=web sonar.ce.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-${version}.jar=ce${version}：你所下载的jar包的版本，本文因SonarQube版本为9.7所以是填入1.12.0
保存文件，重启sonarqueb。
9.7社区版安装1.12.0有问题:
10:40:30.202 [main] INFO com.github.mc1arke.sonarqube.plugin.CommunityBranchAgent - Loading agent
Exception in thread “main” java.lang.reflect.InvocationTargetException
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.base/java.lang.reflect.Method.invoke(Method.java:566)
at java.instrument/sun.instrument.InstrumentationImpl.loadClassAndStartAgent(InstrumentationImpl.java:513)
at java.instrument/sun.instrument.InstrumentationImpl.loadClassAndCallPremain(InstrumentationImpl.java:525)
Caused by: java.lang.ClassNotFoundException: org.sonar.server.almsettings.MultipleAlmFeatureProvider
at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:581)
at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178)
at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:522)
at java.base/java.lang.Class.forName0(Native Method)
at java.base/java.lang.Class.forName(Class.java:315)
at com.github.mc1arke.sonarqube.plugin.CommunityBranchAgent.redefineEdition(CommunityBranchAgent.java:93)
at com.github.mc1arke.sonarqube.plugin.CommunityBranchAgent.premain(CommunityBranchAgent.java:56)
… 6 more
*** java.lang.instrument ASSERTION FAILED ***: “result” with message agent load/premain call failed at src/java.instrument/share/native/libinstrument/JPLISAgent.c line: 422
FATAL ERROR in native method: processing of -javaagent failed, processJavaStart failed安装9.6社区版，或者等待插件升级
-
登录sonarqube，忽略风险提示
修改maven 构建命令，添加：
-Dsonar.branch.name=${CI_COMMIT_BRANCH}选择对应分支扫描后就能看到
三、SonarQube使用步骤
1. 创建项目
-
创建项目
输入项目名称
选择本地构建
创建令牌，默认即可
测试项目为java maven项目，选择maven
复制maven执行命令
2. 启动本地扫描
-
进入IDEA maven构建菜单，copy命令回车执行（注意删除输入栏的mvn）
-
等待执行完成，登录sonarqube项目页面查看结果。
点击问题个数进入详情p3c规则都属于异味，sonar 扫描代码后，在类型 “异味” 可以找到，分“阻断”、“严重”、“主要” 3个严重等级
-
注意事项
org/sonar/batch/bootstrapper/EnvironmentInformation has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0当前项目为JDK1.8，sonarqube 9.7 在jdk11上运行，所以本地编译会报错；
解决方法：
修改本地JDK环境为jdk11
安装低版本sonarqube7.8(最后一个支持jdk1.8的版本)—不推荐
我们目标是流水线构建，本地构建可以采用idea插件，这里暂不介绍。
四、GitLab流水线集成Sonarqube扫描
1. sonarqube创建关联gitlab仓库的项目
-
在sonarqube配置-ALM集成-gitlab 创建配置
配置名称：gitlab
GitLab网址: http://localhost/api/v4
个人访问令牌: 在gitlab中设置
Gitlab个人访问令牌创建：
复制令牌
配置成功
-
新建项目=>更多=>来自gitlab
输入需要访问项目的仓库管理员用户令牌，需要read_api权限
保存后可以看到该用户名下的gitlab仓库
点击设置，配置对应仓库的代码检查项目
2. 配置gitlab流水线作业
2.1 选择设置好的项目，使用Gitlab CI来分析项目
2.2 配置gitlab-runner
-
docker创建gitlab-runner的步骤
docker run -d --name gitlab-runner --restart always \ -v /var/run/docker.sock:/var/run/docker.sock \ -v gitlab-runner-config:/etc/gitlab-runner \ gitlab/gitlab-runner:latest -
gitlab注册runner
点击注册一个实例runner=>显示runner安装与注册说明
复制 注册runner的命令
进入刚才启动好的runner 容器docker exec -it gitlab-runner bash执行命令，一路回车确定
gitlab-runner register --url http://localhost/ --registration-token D8pXEqBH6nRrRsNCRSk_ -
配置gitlab-runner config.toml
[[runners]]
name = “”
url = “http://localhost/”
token = “D8pXEqBH6nRrRsNCRSk_”
executor = “docker”
[runners.custom_build_dir]
[runners.cache]
[runners.cache.s3]
[runners.cache.gcs]
[runners.cache.azure]注意修改 executor = “docker”
2.3 maven镜像私有化配置
-
gitlab添加变量引入自定义settings.xml
键：MVN_SETTINGS_XML
值：settings.xml文件内容复制进来
类型：文件
# MVN_SETTINGS_XML变量在GitLab的设置=>CI/CD=>变量中定义，值就是整个settings.xml的内容(文本)，变量类型设置成了"文件"
-
maven构建脚本引入变量
-s ${MVN_SETTINGS_XML}
script: - mvn -s ${MVN_SETTINGS_XML} -
docker镜像配置本地仓库缓存
配置gitlab-ci缓存script: - mvn -s ${MVN_SETTINGS_XML} -Dmaven.repo.local=$CI_PROJECT_DIR/.m2/repository cache: key: "${CI_JOB_NAME}" paths: - .m2/repository
2.4 启动流水线
完整gitalab-ci.yml配置
sonarqube-check:
stage: build
image: maven:3.6.3-jdk-11
tags:
- docker-runner
variables:
SONAR_USER_HOME: "${CI_PROJECT_DIR}/.sonar" # Defines the location of the analysis task cache
GIT_DEPTH: "0" # Tells git to fetch all the branches of the project, required by the analysis task
script:
- mvn -s ${MVN_SETTINGS_XML} -Dmaven.repo.local=$CI_PROJECT_DIR/.m2/repository verify sonar:sonar -Dsonar.projectKey=test
cache:
key: "${CI_JOB_NAME}"
paths:
- .sonar/cache
- .m2/repository
allow_failure: true
only:
- master # or the name of your main branch
运行流水线完毕到sonarqube查看检测报告
注意事项
当前配置仅支持master分支检测，需要切分支，需要装插件
stage 和 tags值按照自己项目配置定义
目前缓存还不是很完美，每次需要从gitlab应用所在环境copy缓存到执行机，存在一些延迟。
如果放到runner执行机本地更好，但不灵活。
效率分析：
TODO 总用时59s
Analysis total time: 9.997
Total time: 29.079 s
pull images 59-29~= 20s
docker镜像下载还有必要优化
2.5 流水线门禁设置
我们期望当代码质量不满足sonarqube设置的门禁时，流水线运行阻塞，不进行后续作业。
-
创建sonarqube质量阀
-
如果没有创建，sonarque有默认值，如果需要自定义门禁值，创建规则后按需添加条件
-
gitlab流水线如果需要sonarqube检查成功后才可执行下阶段作业，需要修改gitlab-ci.yml
allow_failure: false
-
当流水线未通过代码检查时
点击sonarqueb-check job查看详情
点击链接跳转sonarqube查看代码质量详情
五、代码质量
异味
ali-p3c-pmd问题都归属异味
点击数量进入
严重程度细分为： 阻断=>严重=>主要=>次要=>提示
其中阻断、严重需要解决
覆盖率
单元测试覆盖率，行覆盖率
pom.xml引入jacoco插件，注意版本不行就换
<build>
<plugins>
<plugin>
<groupId>org.jacocogroupId>
<artifactId>jacoco-maven-pluginartifactId>
<version>0.8.8version>
<executions>
<execution>
<goals>
<goal>prepare-agentgoal>
<goal>reportgoal>
goals>
execution>
executions>
plugin>
plugins>
build>
重复率
新增代码质量
本次推送或者MR的新增部分代码质量
全部代码质量
仓库全部代码当前质量
质量阀
质量阀俗称门禁值，根据项目要求设置各类指标，如不了解，用默认值。
超过门禁值，检测失败
总结
本文介绍了sonarqube的docker安装及使用，结合gitlab-ci完成自动化代码质量检测。