13. Sonarqube实现代码扫描

1 代码质量测试

官方网站：http://www.sonarqube.org/

SonarQube 是一个用于代码质量管理的开放平台，通过插件机制，SonarQube可以
集成不同的测试工具，代码分析工具，以及持续集成工具，例如 Hudson/Jenkins 等

下载地址：https://www.sonarqube.org/downloads/

七个维度检测代码质量:

复杂度分布：代码复杂度过高将难以理解
重复代码：程序中包含大量复制、粘贴的代码而导致代码臃肿，sonar 可以展示源码中重复严重的地方
单元测试统计：统计并展示单元测试覆盖率，开发或测试可以清楚测试代码的覆盖情况
代码规则检查：检查代码是否符合规范
注释率：若代码注释过少，特别是人员变动后，其他人接手比较难接手；若过多，又不利于阅读
潜在的 Bug：检测潜在的 bug
结构与设计：找出循环，展示包与包、类与类之间的依赖、检查程序之间耦合度

2 Sonarqube

2.1 Sonarqube架构

图片.png

Sonarqube代码检测功能由Sonarqube服务器端提供
SonarScanner需要在执行代码扫描的服务器安装, 用于扫描代码, 并且上传到Sonarqube Server端

2.2 Sonarqube部署环境

10.0.0.139  Sonarqube Server 4G 2c  v7.9.6
10.0.0.149 PGSQL 4G 2c
Jenkins master服务器负责代码扫描, 需要安装Sonar Scanner

2.3 Sonarqube Server安装

2.3.1 包下载

https://www.sonarqube.org/downloads/

root@sonarserver:~# ls
sonarqube-7.9.6.zip

2.3.2 配置环境依赖

• 内核参数要求

root@sonarserver:~# vim /etc/sysctl.conf

vm.max_map_count=262144
fs.file-max=65536 

root@sonarserver:~# sysctl -p
vm.max_map_count = 262144
fs.file-max = 65536

• 文件描述符限制

root@sonarserver:~# vim /etc/security/limits.conf
sonarqube - nofile 65536
sonarqube - nproc 65536  

2.3.3 创建sonarqube用户

Sonarqube Server不能用root账户启动

root@sonarserver:~# useradd -m -r -s /bin/bash sonarqube

2.3.4 安装jdk-11

Sonarqube Server只支持jdk-11, 而SonarScanner支持jdk8和jdk11

root@sonarserver:~# apt -y install openjdk-11-jdk
root@sonarserver:~# reboot 

2.3.5 安装PGSQL

Sonarqube7.x开始支持PGSQL, 支持v10和v9.3-v9.6, 字符集必须是UTF-8

root@pgsql:~# apt-cache madison postgresql
postgresql | 10+190ubuntu0.1 | http://mirrors.aliyun.com/ubuntu bionic-security/main amd64 Packages
postgresql | 10+190ubuntu0.1 | http://mirrors.aliyun.com/ubuntu bionic-security/main i386 Packages
postgresql | 10+190ubuntu0.1 | http://mirrors.aliyun.com/ubuntu bionic-updates/main amd64 Packages
postgresql | 10+190ubuntu0.1 | http://mirrors.aliyun.com/ubuntu bionic-updates/main i386 Packages
postgresql |     10+190 | http://mirrors.aliyun.com/ubuntu bionic/main amd64 Packages
postgresql |     10+190 | http://mirrors.aliyun.com/ubuntu bionic/main i386 Packages
postgresql-common |        190 | http://mirrors.aliyun.com/ubuntu bionic/main Sources
postgresql-common | 190ubuntu0.1 | http://mirrors.aliyun.com/ubuntu bionic-security/main Sources
postgresql-common | 190ubuntu0.1 | http://mirrors.aliyun.com/ubuntu bionic-updates/main Sources

root@pgsql:~# apt install postgresql -y

切换到 postgres 操作，PostgresSQL 安装后会自动创建 postgres 用户且没有密码. 数据库的创建必须使用postgres账户操作

root@pgsql:~# su -  postgres
postgres@pgsql:~$ psql -U postgres
psql (10.17 (Ubuntu 10.17-0ubuntu0.18.04.1))
Type "help" for help.

postgres=#  CREATE DATABASE sonar;
CREATE DATABASE
postgres=# CREATE USER sonar WITH ENCRYPTED PASSWORD '123456';
CREATE ROLE
postgres=# GRANT ALL PRIVILEGES ON DATABASE sonar TO sonar;
GRANT
postgres=#  ALTER DATABASE sonar OWNER TO sonar;
ALTER DATABASE

修改监听地址, 使用root账号配置

root@pgsql:~# vim /etc/postgresql/10/main/postgresql.conf
listen_addresses = '*'  # 修改第59行

开启远程访问

root@pgsql:~# vim /etc/postgresql/10/main/pg_hba.conf
host    all             all             10.0.0.0/24            md5 # 修改第92行, 允许某个网段或者某台主机访问

重启服务

root@pgsql:~# systemctl restart postgresql
root@pgsql:~# ss -ntl
State                 Recv-Q                 Send-Q                                  Local Address:Port                                   Peer Address:Port                 
LISTEN                0                      128                                           0.0.0.0:5432          # 监听在0.0.0.0                              0.0.0.0:*                    
LISTEN                0                      128                                     127.0.0.53%lo:53                                          0.0.0.0:*                    
LISTEN                0                      128                                           0.0.0.0:22                                          0.0.0.0:*                    
LISTEN                0                      128                                              [::]:5432                                           [::]:*                    
LISTEN                0                      128                                              [::]:22                                             [::]:* 

2.3.6 安装Sonarqube Server

root@sonarserver:~# mkdir /apps
root@sonarserver:~# ls
sonarqube-7.9.6.zip
root@sonarserver:~# unzip sonarqube-7.9.6.zip  -d /apps
root@sonarserver:~# cd /apps
root@sonarserver:/apps# ll
total 12
drwxr-xr-x  3 root root 4096 Jul  6 22:33 ./
drwxr-xr-x 25 root root 4096 Jul  6 22:32 ../
drwxr-xr-x 11 root root 4096 Mar  1 09:21 sonarqube-7.9.6/
root@sonarserver:/apps# ln -sv sonarqube-7.9.6/ sonarqube
'sonarqube' -> 'sonarqube-7.9.6/'

root@sonarserver:/apps# chown -R sonarqube.sonarqube /apps/sonarqube
root@sonarserver:/apps# chown -R sonarqube.sonarqube /apps/sonarqube/
root@sonarserver:/apps# ll /apps
total 12
drwxr-xr-x  3 root      root      4096 Jul  6 22:34 ./
drwxr-xr-x 25 root      root      4096 Jul  6 22:32 ../
lrwxrwxrwx  1 sonarqube sonarqube   16 Jul  6 22:34 sonarqube -> sonarqube-7.9.6//
drwxr-xr-x 11 sonarqube sonarqube 4096 Mar  1 09:21 sonarqube-7.9.6/

sonarqube@sonarserver:/apps/sonarqube$ vim conf/sonar.properties 
sonarqube@sonarserver:/apps/sonarqube$ grep -E '^[a-zA-Z]' conf/sonar.properties 
sonar.jdbc.username=sonar  # 数据库账号
sonar.jdbc.password=123456 # 密码
sonar.jdbc.url=jdbc:postgresql://10.0.0.149/sonar # 数据库地址

2.3.7 启动服务

使用sonarqube普通账户启动, 如果用root账户启动, 那么ES服务无法启动, 间接造成Sonarqube无法启动

sonarqube@sonarserver:/apps/sonarqube$ ./bin/linux-x86-64/sonar.sh start
Starting SonarQube...
Started SonarQube.

sonarqube@sonarserver:/apps/sonarqube$ tail logs/*.log

2021.07.06 22:41:32 INFO  app[][o.s.a.SchedulerImpl] Process[ce] is up
2021.07.06 22:41:32 INFO  app[][o.s.a.SchedulerImpl] SonarQube is up

2.3.8 访问sonarqube

账号:admin
密码:admin

图片.png

2.3.9 使用官方提供的Service文件启动sonarqube

• 先停止服务

sonarqube@sonarserver:~$ /apps/sonarqube/bin/linux-x86-64/sonar.sh stop
Gracefully stopping SonarQube...
Stopped SonarQube.

• 使用root账号, 创建Service文件

root@sonarserver:~# vim /etc/systemd/system/sonarqube.service 

[Unit]                                                                                                                                                                      
Description=SonarQube service
After=syslog.target network.target

[Service]
Type=simple
User=sonarqube
Group=sonarqube
PermissionsStartOnly=true
ExecStart=/usr/bin/nohup /usr/bin/java -Xms1024m -Xmx1024m -Djava.net.preferIPv4Stack=true -jar /apps/sonarqube/lib/sonar-application-7.9.6.jar
StandardOutput=syslog
LimitNOFILE=131072
LimitNPROC=8192
TimeoutStartSec=5
Restart=always
SuccessExitStatus=143

[Install]
WantedBy=multi-user.target

root@sonarserver:~# systemctl daemon-reload
root@sonarserver:~# systemctl restart sonarqube
root@sonarserver:~# systemctl enable --now sonarqube
Created symlink /etc/systemd/system/multi-user.target.wants/sonarqube.service → /etc/systemd/system/sonarqube.service.
root@sonarserver:/apps/sonarqube# ss -ntl
State                Recv-Q                Send-Q                                     Local Address:Port                               Peer Address:Port                
LISTEN               0                     128                                        127.0.0.53%lo:53                                      0.0.0.0:*                   
LISTEN               0                     128                                              0.0.0.0:22                                      0.0.0.0:*                   
LISTEN               0                     128                                                 [::]:22                                         [::]:*                   
LISTEN               0                     25                                                     *:9000                                          *:*                   
LISTEN               0                     128                                   [::ffff:127.0.0.1]:9001                                          *:*   

2.3.10 安装中文插件

图片.png

插件保存目录

root@sonarserver:~# ll /apps/sonarqube/extensions/plugins/
total 87836
drwxr-xr-x 2 sonarqube sonarqube     4096 Mar  1 09:10 ./
drwxr-xr-x 5 sonarqube sonarqube     4096 Jul  6 22:41 ../
-rw-r--r-- 1 sonarqube sonarqube      224 Mar  1 09:10 README.txt
-rw-r--r-- 1 sonarqube sonarqube   287504 Mar  1 09:10 sonar-auth-github-plugin-1.5.0.870.jar
-rw-r--r-- 1 sonarqube sonarqube  3312399 Mar  1 09:10 sonar-auth-saml-plugin-1.2.0.682.jar
-rw-r--r-- 1 sonarqube sonarqube  4094975 Mar  1 09:10 sonar-csharp-plugin-7.15.0.8572.jar
-rw-r--r-- 1 sonarqube sonarqube  7015434 Mar  1 09:10 sonar-css-plugin-1.1.1.1010.jar
-rw-r--r-- 1 sonarqube sonarqube  1544789 Mar  1 09:10 sonar-flex-plugin-2.5.1.1831.jar
-rw-r--r-- 1 sonarqube sonarqube  3903342 Mar  1 09:10 sonar-go-plugin-1.1.1.2000.jar
-rw-r--r-- 1 sonarqube sonarqube  1727846 Mar  1 09:10 sonar-html-plugin-3.1.0.1615.jar
-rw-r--r-- 1 sonarqube sonarqube    15098 Mar  1 09:10 sonar-jacoco-plugin-1.0.2.475.jar
-rw-r--r-- 1 sonarqube sonarqube  8302745 Mar  1 09:10 sonar-java-plugin-5.13.1.18282.jar
-rw-r--r-- 1 sonarqube sonarqube  6866969 Mar  1 09:10 sonar-javascript-plugin-5.2.1.7778.jar
-rw-r--r-- 1 sonarqube sonarqube  7595999 Mar  1 09:10 sonar-kotlin-plugin-1.5.0.315.jar
-rw-r--r-- 1 sonarqube sonarqube   300503 Mar  1 09:10 sonar-ldap-plugin-2.2.0.608.jar
-rw-r--r-- 1 sonarqube sonarqube  5105268 Mar  1 09:10 sonar-php-plugin-3.2.0.4868.jar
-rw-r--r-- 1 sonarqube sonarqube  2752167 Mar  1 09:10 sonar-python-plugin-1.14.1.3143.jar
-rw-r--r-- 1 sonarqube sonarqube 10036210 Mar  1 09:10 sonar-ruby-plugin-1.5.0.315.jar
-rw-r--r-- 1 sonarqube sonarqube  9202024 Mar  1 09:10 sonar-scala-plugin-1.5.0.315.jar
-rw-r--r-- 1 sonarqube sonarqube  2538373 Mar  1 09:10 sonar-scm-git-plugin-1.12.1.2064.jar
-rw-r--r-- 1 sonarqube sonarqube  7229293 Mar  1 09:10 sonar-scm-svn-plugin-1.9.0.1295.jar
-rw-r--r-- 1 sonarqube sonarqube  2239156 Mar  1 09:10 sonar-typescript-plugin-1.9.0.3766.jar
-rw-r--r-- 1 sonarqube sonarqube  3580236 Mar  1 09:10 sonar-vbnet-plugin-7.15.0.8572.jar
-rw-r--r-- 1 sonarqube sonarqube  2242738 Mar  1 09:10 sonar-xml-plugin-2.0.1.2020.jar

看到install pending后, 要点击重启服务器, 以便开始安装

图片.png

图片.png

图片.png

2.4 Sonar-Scanner安装

Sonar-Scanner可以部署在单独的服务器, 也可以部署在Jenkins服务器, Jenkins把代码拉取到本地后, 直接通过Sonar-Scanner扫描

下载地址：https://binaries.sonarsource.com/Distribution/sonar-scanner-cli/
官方文档：https://docs.sonarqube.org/latest/analysis/scan/sonarscanner/

root@jenkins:/opt# ls
sonar-scanner-cli-4.5.0.2216-linux.zip
root@jenkins:~# unzip sonar-scanner-cli-4.5.0.2216-linux.zip -d /apps/
root@jenkins:/apps# ln -sv sonar-scanner-4.5.0.2216-linux/ sonar-scanner

root@jenkins:/apps# cd sonar-scanner
root@jenkins:/apps/sonar-scanner# vim conf/sonar-scanner.properties
#----- Default SonarQube server
sonar.host.url=http://10.0.0.139:9000

#----- Default source code encoding
sonar.sourceEncoding=UTF-8  

2.5 利用官方提供的bug代码进行扫描测试

https://github.com/SonarSource/sonar-scanning-examples

将示例代码传到Jenkins服务器

root@jenkins:~# cd /opt
root@jenkins:/opt# ls
sonar-scanning-examples-master.zip

root@jenkins:/opt# unzip sonar-scanning-examples-master.zip

root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner# cd src/ # 代码示例存放位置
root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src# ll
total 80
drwxr-xr-x 20 root root 4096 Jun 24 16:41 ./
drwxr-xr-x  5 root root 4096 Jun 24 16:41 ../
drwxr-xr-x  2 root root 4096 Jun 24 16:41 abap/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 cobol/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 directory/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 erlang/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 flex/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 html/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 javascript/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 kotlin/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 package/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 php/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 pli/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 python/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 rpg/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 samples/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 sql/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 swift/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 vb6/
drwxr-xr-x  2 root root 4096 Jun 24 16:41 xml/

扫描php代码, 每个代码目录都要有一个sonar-project.properties文件, 来指定项目名称, 扫描代码后会在sonarqube显示

root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# vim ../../sonar-project.properties 

sonar.projectKey=org.sonarqube:sonarqube-scanner                                                                                                                            
sonar.projectName=Example of SonarQube Scanner Usage
sonar.projectVersion=1.0

sonar.sources=src,copybooks

sonar.sourceEncoding=UTF-8

## Cobol Specific Properties

# comma-separated paths to directories with copybooks
sonar.cobol.copy.directories=copybooks
# comma-separated list of suffixes
sonar.cobol.file.suffixes=cbl,cpy
sonar.cobol.copy.suffixes=cpy



## Flex Specific Properties

# retrieve code coverage data from the Cobertura report
sonar.flex.cobertura.reportPath=coverage-report/coverage-cobertua-flex.xml



# PL/I Specific Properties
sonar.pli.marginLeft=2
sonar.pli.marginRight=0

root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# ll
total 16
drwxr-xr-x  2 root root 4096 Jun 24 16:41 ./
drwxr-xr-x 20 root root 4096 Jun 24 16:41 ../
-rw-r--r--  1 root root 5559 Jun 24 16:41 Math.php

将sonar-project.properties文件拷贝到php目录下, 做修改

root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner# cp sonar-project.properties src/php/
root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner# cd src/php
root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# vim sonar-project.properties

sonar.projectKey=sonarqube-sample-php-projectKey                                                                                                                            
sonar.projectName=sonarqube-sample-php-projectName
sonar.projectVersion=1.0

sonar.sources=src # src目录相对于php目录, 因此, 在php目录下还要创建src目录, 存放php代码
sonar.language=php
sonar.sourceEncoding=UTF-8

root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# mkdir src
root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# mv Math.php src/

root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# ll
total 16
drwxr-xr-x  3 root root 4096 Jul  6 23:47 ./
drwxr-xr-x 20 root root 4096 Jun 24 16:41 ../
-rw-r--r--  1 root root  172 Jul  6 23:47 sonar-project.properties
drwxr-xr-x  2 root root 4096 Jul  6 23:47 src/
root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# ll src/
total 16
drwxr-xr-x 2 root root 4096 Jul  6 23:47 ./
drwxr-xr-x 3 root root 4096 Jul  6 23:47 ../
-rw-r--r-- 1 root root 5559 Jun 24 16:41 Math.php

在php目录下执行扫描命令

root@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php# /apps/sonar-scanner/bin/sonar-scanner
...
INFO: ANALYSIS SUCCESSFUL, you can browse http://10.0.0.139:9000/dashboard?id=sonarqube-sample-php-projectKey
...
NFO: EXECUTION SUCCESS
INFO: ------------------------------------------------------------------------
INFO: Total time: 8.974s
INFO: Final Memory: 6M/24M
INFO: 

• 查看结果

图片.png

图片.png

3 Gitlab+Jenkins+Sonarqube结合使用

让Jenkins到Gitlab拉取代码到本地, 之后使用SonarScanner进行代码扫描, 然后传到Sonarqube

3.1 通过Jenkins插件执行代码扫描

3.1.1 创建一个测试项目, 测试web-02项目克隆

图片.png

图片.png

图片.png

图片.png

3.1.2 Jenkins安装插件

图片.png

root@jenkins:/tmp# systemctl restart jenkins

3.1.3 在Jenkins上, 配置Sonarqube Server地址

图片.png

图片.png

3.1.4 在Jenkins上, 配置Sonarscanner的路径

图片.png

图片.png

• 如果Jenkins服务器可以联网, 也可使用自动安装, 这样Jenkins会自动下载Scanner到本地, 如果不能上网, 就要通过离线安装包的方式

3.1.5 在Jenkins上, 配置项目构建

选择项目 --> 配置 --> 构建 --> Execute SonarQube Scanner --> 将Analysis properties里的内容填写为代码扫描的properties文件里的内容

图片.png

jenkins@jenkins:/opt/sonar-scanning-examples-master/sonarqube-scanner/src/php$ vim sonar-project.properties 

sonar.projectKey=sonarqube-sample-php-projectKey
sonar.projectName=sonarqube-sample-php-projectName
sonar.projectVersion=1.0

sonar.sources=src
sonar.language=php
sonar.sourceEncoding=UTF-8

本案例内容

sonar.projectKey=project-web-02
sonar.projectName=project-web-02
sonar.projectVersion=1.0

sonar.sources=./ # 这里写./表示当前目录, 也就是相对于/var/lib/jenkins/workspace/test-scanner目录, Scanner会扫描该目录下的所有文件. 如果代码放到了$WORKSPACE/src目录, 那么这里就写src
sonar.languagehtml # web-02里只有一个html文件
sonar.sourceEncoding=UTF-8

• 执行构建

图片.png

• Sonarqube Server查看结果

图片.png

3.2 通过脚本自定义代码扫描

配置项目构建时, 无需指定git仓库, 也无需使用Scanner插件, 而是统一把流程定义在构建的Shell脚本中.

先在Jenkins服务器上, 用Jenkins用户运行脚本测试, 如果没问题, 再把脚本保存的构建的Shell脚本中

先用root用户创建/data/jenkins/qq目录, 然后授权给jenkins用户
root@jenkins:~# mkdir -pv /data/jenkins/qq
root@jenkins:~# chown -R jenkins.jenkins /data/jenkins/

切换到jenkins用户下, 创建脚本

jenkins@jenkins:/opt$ vim sonar.sh

#!/bin/bash
  
cd /data/jenkins/qq # 进到项目目录

rm -rf * && git clone [email protected]:qq/web-02.git # 删除旧的项目内容, clone新的内容
 
cd web-02 # 进到项目里面

cat >> sonar-project.properties <

INFO: Analysis total time: 3.226 s
INFO: ------------------------------------------------------------------------
INFO: EXECUTION SUCCESS
INFO: ------------------------------------------------------------------------
INFO: Total time: 3.916s
INFO: Final Memory: 12M/44M
INFO: ------------------------------------------------------------------------

测试没问题, 保存到Jenkins配置

图片.png

图片.png