自动化工具之Sonar

一、Sonar是什么

1、Sonar简介

Sonar是一个用于代码质量管理的开源平台，用于管理源代码的质量，可以从七个维度检测代码质量

通过插件形式，可以支持包括java,C#,C/C++,PL/SQL,Cobol,JavaScrip,Groovy等等二十几种编程语言的代码质量管理与检测

Sonar是从七个维度检测代码质量，而作为开发人员至少需要处理前5中代码质量问题。

2、为什么要选择sonarQube

到目前为止
没有哪个CI工具可以提供良好的钻取功能。
没有CI插件可以将所有的软件质量的度量数据整合到一起。
没有CI插件提供管理视角。
没有设计/架构问题相关的CI插件
没有CI工具或插件提供整体项目质量的仪表盘。

但是sonarQube都有，而且相比于阿里编码规约这种市面上常见类似软件，能提供但不限如下优点：

1. 更加优秀的图形化界面，基本上通过界面就可以对自己项目的代码状况一目了然
2. 可以查询出其它软件难以定位到的问题
   a 可能导致空指针异常的问题 (对象在进行使用前没有加空的判断)
   b 可能导致内存泄漏的问题, 在try catch 块里面,直接使用e.printStackTrace()将堆栈 信息打印到内存的
   c 可能导致的漏洞，成员变量使用public定义的
   d 流等未关闭或者是非正常关闭都能够检测出来
   …

3、代码质量问题

1. 没有代码标准,不遵循代码标准
   sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写。
2. 潜在的bug,潜在的缺陷
   sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具检测出潜在的bug。
3. 糟糕的复杂度分布
   文件、类、方法等，如果复杂度过高将难以改变，这会使得开发人员难以理解它们，且如果没有自动化的单元测试，对于程序中的任何组件的改变都将可能导致需要全面的回归测试。
4. 重复
   显然程序中包含大量复制粘贴的代码是质量低下的,sonar可以展示源码中重复严重的地方。
5. 没有足够的或者过多的注释
   没有注释将使代码可读性变差，特别是当不可避免地出现人员变动时，程序的可读性将大幅下降,而过多的注释又会使得开发人员将精力过多地花费在阅读注释上。
6. 缺乏单元测试
   sonar可以很方便地统计并展示单元测试覆盖率。
7. 糟糕的设计（原文Spaghetti Design，意大利面式设计）
   通过sonar可以找出循环，展示包与包、类与类之间的相互依赖关系；
   可以检测自定义的架构规则；
   通过sonar可以管理第三方的jar包；
   可以利用LCOM4检测单个任务规则的应用情况；
   检测耦合；

注意：
PMD，CheckStyle，Findbugs这些工具都叫静态代码分析工具。什么是静态代码分析？静态代码分析是指无需运行被测代码，仅通过分析或检查源程序的语法、结构、接口等来检查程序的正确性，找出代码隐藏的错误或缺陷，如参数不匹配，有歧义的嵌套语句，错误的递归，非法计算，空指针引用等。

4、Sonar组成

sonarqube系统是一个代码质量检测工具 由以下四个组件组成

• 一个sonarqube服务器，包含三个子进程（web服务（界面管理），搜索服务，计算引擎服务（写入数据库））。
• 一个sonarqube数据库，配置sonarqube服务 。
• 多个sonarqube插件，位于解压目录extensions\plugins目录 。
• 一个或者多个sonarqube scanners用于分析特定的项目，相当于客户端。
  

5、代码规则检测工具

5.1、Checkstyle

Checkstyle是一个开源工具，可以帮助实施编码标准和最佳实践，特别注重编码惯例。

虽然Checkstyle涵盖了一些静态代码分析功能（与PMD和Findbug的方式大致相同），但是我们将主要在Checkstyle检测和执行编码编写规范。

5.2、PMD

PMD是一种静态代码分析工具，能够自动检测范围很广的潜在缺陷和不安全或非优化的代码（不良做法）。 而其他工具（如Checkstyle）可以检查编码约定（规范）和标准，PMD更侧重于缺陷检测（确保遵循良好做法）。 它附带了丰富且高度可配置的规则集，可以轻松地配置给定项目应使用哪些特定规则。

例如：
捕捉异常而不做任何事情
死循环代码
太多复杂的方法
直接使用实现而不是接口
实现或重写了hashcode()没有实现或重写equals（Object object）方法
返回对可变对象的引用可能会对外暴露内部实现

5.3、Findbug

Findbug是Java的另一个静态分析工具，在某些方面类似于Checkstyle和PMD，但是具有不同的重点。

Findbug不关心格式化或编码标准，它的目标是检测潜在的错误和性能问题。它很擅长做这类检查。可以检测到许多常见但难以发现的错误。

Findbug能够以比较高的精度检测出与PMD或Checkstyle不同的问题。 因此，它可以是一个有用的补充。

6、Sonar工作流程

通过客户端插件分析源代码，sonar客户端可以采用IDE插件、Sonar-Scanner插件、Ant插件和Maven插件方式，并通过各种不同的分析机制对项目源代码进行分析和扫描，并把分析扫描后的结果上传到sonar的数据库，通过sonar web界面对分析结果进行管理。

二、Sonar安装配置

1、Sonar安装前准备

环境要求：Centos7, jdk8，mysql 5.6-5.7, sonarqube-6.7.6(LTS)。请先确保linux已经安装了jdk8，并且已经配置好了环境变量。
注意：Sonar是基于Java开发的，因此运行Sonar自然需要JDK。

1.1、MySQL环境准备

CentOS中默认安装有MariaDB，这个是MySQL的分支，但为了需要，还是要在系统中安装MySQL，而且安装完成之后可以直接覆盖掉MariaDB。步骤如下（复制指令时要把#去掉）：

1.1.1、下载YUM源

# wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

如果在服务器上下载太慢，可以先在本地电脑用迅雷等下载完之后再上传到服务器上会快点。

1.1.2、安装mysql源

# yum localinstall mysql57-community-release-el7-8.noarch.rpm

1.1.3、检查mysql源是否安装成功

# yum repolist enabled | grep "mysql.*-community.*"

1.1.4、安装MySQL

# yum install mysql-community-server

1.1.5、启动Mysql服务

# systemctl start mysqld

根据自己需求是否设置开机自启动

# systemctl enable mysqld
# systemctl daemon-reload

1.1.6、修改root本地登录密码

mysql安装完成之后，在/var/log/mysqld.log文件中给root生成了一个默认密码。通过下面的方式找到root默认密码，然后登录mysql进行修改：

# grep 'temporary password' /var/log/mysqld.log
# mysql -uroot –p
# ALTER USER 'root'@'localhost' IDENTIFIED BY '123';

注意：
mysql5.7默认安装了密码安全检查插件（validate_password），默认密码检查策略要求密码必须包含：大小写字母、数字和特殊符号，并且长度不能少于8位。修改策略之后再执行修改密码：

set global validate_password_policy=0;
set global validate_password_policy=LOW;

1.1.7、确认mysql是InnoDB存储引擎

Sonar要求mysql必须是InnoDB存储引擎，所以为了保险一点，我们先确认MySQL是不是InnoDB引擎。
查看mysql目前是什么存储引擎：

	mysql  -u root –p	#先登录mysql
    show engines;		#查看mysql目前提供的存储引擎

如果不是InnoDB，设置为InnoDB，修改配置文件/etc/my.cnf

vim /etc/my.cnf

修改default-storage-engine

	[mysqld]
	default-storage-engine=INNODB

重启mysql数据库，再次登录查看默认存储引擎设置是否生效

# service mysqld restart

1.1.8、设置MySQL参数

1. 设置innodb_buffer_pool_size,参数值设置尽可能大一些，这个参数主要是缓存InnoDB表的索引，数据，插入数据时的缓冲默认值：128M，我们这里设置为256M
2. 设置mysql的查询缓存quert_cache_size的开关为1，然后设置最少15M，重启mysql数据库

# vi /etc/my.cnf
	[mysqld]
	innodb_buffer_pool_size = 256M
	query_cache_type=1
	query_cache_size=32M
# service mysqld restart

查看缓存是否生效

show variables like '%query_cache%';

2、Sonar安装

2.1、创建数据库

在mysql中新建一个sonarQube数据库（UTF-8编码），数据库名字可以自己取，后面在配置文件中配置好对应的名字就好了。

2.2、下载sonarQuba安装包

在一个Linux合适的目录下，执行以下linux命令下载：

# wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-6.7.6.zip

也可以在自己的本地电脑用迅雷下载好后再上传。

2.3、下载好后解压安装并更名

# unzip sonarqube-6.7.6.zip
# mv sonarqube-6.7.6 sonarQube

之前介绍组成的时候说sonarqube是sonar的服务端，相当于一个web服务器，用来发布应用，在线浏览、配置分析等。怎么样？有没有很面熟的感觉？是不是有点像tomcat呢？
下面是sonarqube个文件目录的信息：

• bin：sonarqube运行命令文件夹
• conf：sonarqube配置文件夹
• data：嵌入式数据库的数据（H2数据库引擎），建议只用于测试和演示
• elasticsearch：搜索引擎
• extensions：sonarqube的插件等存放文件夹
• lib：sonarqube存放的运行库文件夹（jar）
• logs：sonarqube日志文件夹
• temp：sonarqube临时文件夹
• web：sonarqube系统UI界面文件夹

2.4、修改配置

进入conf目录，修改sonar.properties文件：

# cd sonarQube/conf/
# vim sonar.properties

配置Mysql数据用户名

sonar.jdbc.username=root
sonar.jdbc.password=5462837zhu

配置mysql数据库

sonar.jdbc.url=jdbc:mysql://localhost:3306/sonarQube?useUnicode=true&characterEncodixxxx

设置sonar服务

sonar.web.host=0.0.0.0
sonar.web.context=/sonarQube
sonar.web.port=9000

2.5、启动sonarQube web service

进入bin目录下的linux-x86-64文件夹：

启动服务：

sh sonar.sh start

第一次启动会自动在数据库生成所需的表，可进入数据库查看下

2.6、用浏览器访问

浏览器中输入：http://192.168.1.149:9000/sonarQube

2.7、登录汉化

帐号密码默认都为：admin，登录后分别点击如下1、2、3三个框，搜索Chinese pack，然后点击安装

安装完成后，要重启sonarQube才能生效：

sh sonar.sh restart

3、需要注意的坑

由于6.6版本加入了elasticsearch，不能以root用户启动，因为安全问题elasticsearch 不让用root用户直接运行，所以要创建新用户，用新用户启动，注意修改你自己的用户名和目录

//创建esuser用户
//目录组和用户都是esuser
//sonarqube文件设置777	//编写配置文件
# useradd esuser
# chown -R esuser.esuser sonar6.7.6
# chmod 777 -R sonarqube-6.7.5 
# vi sonar6.7.6/sonarQube/elasticsearch/config/elasticsearch.yml 

//开启端口和指定服务
network.host: 192.168.1.149（请填写自己服务器的ip）
http.port: 9200

如果启动中出现错误：如：

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

解决65536：切换到root用户，进入limits.d目录下修改配置文件。

vim /etc/security/limits.conf 

添加如下内容:

• soft nofile 65536
• hard nofile 131072
• soft nproc 2048
• hard nproc 4096

解决262144：切换到root用户修改配置sysctl.conf

vim /etc/sysctl.conf 

添加下面配置：

vm.max_map_count=655360

并执行命令：

sysctl –p

三、Sonar Scanner使用

1、从官网下载scanner对应的版本后直接解压 ：https://docs.sonarqube.org/display/SCAN/Analyzing+with+SonarQube+Scanner
2、通过编辑xxxx/conf/sonar-scanner.properties更新全局设置以指向SonarQube服务器 ：

sonar.host.url=http://112.74.106.121:9000/sonarQube

3、将xxxx/bin设置到环境变量PATH中。

4、在命令行输入 sonar-scanner –h ，验证安装结果

5、在需要分析的项目根目录中创建配置文件：sonar-project.properties（项目名字和路径根据实际情况修改）

# 当前项目实例的唯一表示
sonar.projectKey=kafka
# 显示在sonarqube 界面上的项目名称
sonar.projectName=kafka
sonar.projectVersion=1.0
 
# 相对于当前配置文件目录 下的源代码目录 不管什么平台路径分隔符只能有  / 不能使用\
sonar.sources=src/main/java
 
# 源代码的字符集
sonar.sourceEncoding=UTF-8

6、从需要分析的项目根目录运行命令 sonar-scanner 以启动分析，出现执行EXECUTION SUCCESS表示成功

7、登录sonarQube Web查看结果

点击问题，查看并处理具体的问题。

四、简介SonarQube Web使用

1、质量阀

SonarQube Web管理者通过配置和设置以下参数值对项目源代码进行：
复杂度、覆盖率、文档、重复、问题、可维护性、可靠性、安全性、大小等约束和规范。

2、配置

系统：系统信息
应用市场：下载，更新，卸载插件
项目：创建、编辑、修改、删除(批量)SonarQube项目，查看分析记录
权限：新建用户组，用户，角色，设置角色到项目，以及提供一些默认的角色模版
配置：Java：配置检查的java源文件及静态代码检查规范检查
SCM：配置软件控制器。上文已经提到的配置项。比如：svn、git等等
设置数据库清理，界面等等

3、质量配置

查看目前支持的语言插件，查看插件配置的规则，新建规则配置项

4、代码规则

查看各个语言提供的规则，分配规则到配置项等

5、问题

查看每个项目分析出来的问题，查看问题等

6、项目

查看各个项目的问题总数等