代码静态扫描工具sonar介绍

一、SonarQube整体介绍

   SonarQube为静态代码检查工具，采用B/S架构，帮助检查代码缺陷，改善代码质量，提高开发速度，通过插件形式，可以支持Java、C、C++、JavaScripe等等二十几种编程语言的代码质量管理与检测。

   通过客户端插件分析源代码，sonar客户端可以采用IDE插件、Sonar-Scanner插件、Ant插件和Maven插件方式，并通过各种不同的分析机制对项目源代码进行分析和扫描，并把分析扫描后的结果上传到sonar的数据库，通过sonar web界面对分析结果进行管理

可以从七个维度检测代码质量:

(1)复杂度分布(complexity):代码复杂度过高将难以理解
(2) 重复代码(duplications):程序中包含大量复制、粘贴的代码而导致代码臃肿，sonar可以展示源码中重复严重的地方

(3) 单元测试统计(unit tests):统计并展示单元测试覆盖率，开发或测试可以清楚测试代码的覆盖情况
(4) 代码规则检查(coding rules):通过Findbugs,PMD,CheckStyle等检查代码是否符合规范
(5) 注释率(comments):若代码注释过少，特别是人员变动后，其他人接手比较难接手；若过多，又不利于阅读
(6) 潜在的Bug(potential bugs):通过Findbugs,PMD,CheckStyle等检测潜在的bug

(7) 结构与设计(architecture & design):找出循环，展示包与包、类与类之间的依赖、检查程序之间耦合度

二、SonarQube平台由四部分组成:

1、 SonarQubeServer 

1） Web Server， 浏览质量的快照和配置sonarqube实例

2）SearchServer based on Elasticsearch， 执行来自页面的查询请求

3）Compute EngineServer ，处理代码分析报告并保存在sonarqube数据库

2、SonarQube Database :

 1) sonarqube实例的配置（安全、插件设置等）

2) 项目、视图等的质量快照。

3、SonarQube Plugins

语言、SCM、集成、身份验证和治理插件

一个或多个sonarqube Scanners运行分析项目

 

三、集成

下面是SonarQube与其他sonarqube ALM工具如何集成以及SonarQube各种组件在何处被使用。

1）开发者在IDE开发代码并使用sonarlint运行本地分析

2）开发者把代码提交到SCM工具中：git, SVN, TFVC, ...

3）持续集成服务器触发自动编译以及执行SonarQubeScanner

4)SonarQubeServer 处理分析报告

5)SonarQubeServer 处理并存贮分析报告到数据库里并在页面上显示处理结果.

6)开发者审查解决他们的问题，在页面管理问题

7)管理者获得分析报告
Ops 可以使用API从 SonarQube抽取数据
Ops 可以使用 JMX 监控 SonarQubeServer.

四、关于机器部署

1、只能有1个SonarQube Server 和1个 SonarQube Database

2、考虑性能优化，每一个组件(server, database, scanners)应当安装在不同的机器上,并且是专用服务器。

3、SonarQubeScanners 可以水平扩展机器

4、所有机器的时间必须要同步

5、SonarQube Server 和 SonarQube Database 必须在同一网段

6、SonarQubeScanners 与SonarQube Server可以不在同一网段

7、SonarQube Scanners 与 SonarQubeDatabase之间没有通信

五、机器配置要求

1、2G以上内存

2、oracle jre 8或者openjdk8

3、数据库：postgrepSQL 8/9, sql server2014/2016, oracle 11g/12c/XE,mysql5.6/5.7

4、web浏览器：IE11，firefox最新版、 chrome最新版，safari 最新版

5、如果使用linux平台，需要注意以下几点：

vm.max_map_count 大于等于 262144

fs.file-max 大于等于65536

运行 SonarQube 至少要打开 65536 个文件描述符

运行SonarQube 至少打开2048 个线程

可以使用如下命令检查：

sysctlvm.max_map_count

sysctlfs.file-max

ulimit -n

ulimit -u

可以使用root账户动态设置参数如下：

sysctl -wvm.max_map_count=262144

sysctl -wfs.file-max=65536

ulimit -n 65536

ulimit -u 2048

可以修改配置文件永久设置：

/etc/sysctl.d/99-sonarqube.conf (或者/etc/sysctl.conf )

如果SonarQube没有权限打开至少65536个描述符，可以在配置文件里（/etc/limits.d/99-sonarqube.conf (或者/etc/limits.conf )）插入一条如下信息：sonarqube  -   nofile   65536

        sonarqube   -  nproc    2048

6、seccomp filter设置

使用如下命令检查设置：

$ grep SECCOMP /boot/config-$(uname -r)

如果内核已设置，则返回如下信息：

CONFIG_HAVE_ARCH_SECCOMP_FILTER=y

CONFIG_SECCOMP_FILTER=y

CONFIG_SECCOMP=y

如果没有设置，需要修改配置文件sonar.properties，增加如下一行

sonar.search.javaAdditionalOpts=-Dbootstrap.system_call_filter=false

六、安装

1、https://www.sonarqube.org/downloads/下载目前稳定版本SonarQube 6.7.2 (LTS *)

2、使用unzip命令解压：

七、配置mysql数据库

1、mysql5.6/5.7(InnoDB.  innodb_buffer_pool_size, query_cache_size=15m)

2、修改配置文件/conf/sonar.properties 

sonar.jdbc.url=jdbc:mysql://127.0.0.1:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false

sonar.jdbc.username=sonar

sonar.jdbc.password=sonar

3、建库

安装sonarqube

1、登陆MySQL创建sonar数据库和用户

mysql> CREATE DATABASE sonar DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

mysql> CREATE USER 'sonar' IDENTIFIED BY 'sonar'; 

mysql> GRANT ALL ON sonar.* TO 'sonar'@'%' IDENTIFIED BY 'sonar'; 

mysql> GRANT ALL ON sonar.* TO 'sonar'@'localhost' IDENTIFIED BY 'sonar'; 

mysql> FLUSH PRIVILEGES; 

Query OK, 0 rows affected (0.00 sec)   

八、启动sonar

 # Windows,执行:

C:\sonarqube\bin\windows-x86-xx\StartSonar.bat

 # linux，执行:

/etc/sonarqube/bin/[OS]/sonar.shstart

通过浏览器访问：账号/密码（admin/admin）

 

http://localhost:9000/sonar

账号/密码：admin/admin

 

九、安装插件

通过web页面可以安装各种插件

http://localhost:9000/sonar/admin/marketplace

目前有如下插件：

参见网址：https://docs.sonarqube.org/display/PLUG

1、代码分析插件

SonarABAP *	home | docs & download	SonarPLSQL *	home | docs & download
SonarC#	home | docs & download	SonarPython	home | docs & download
SonarCFamily C/C++ *	home | docs & download	SonarRPG *	home | docs & download
SonarCFamily ObjC *	home | docs & download	SonarSwift *	home | docs & download
SonarCOBOL *	home | docs & download	SonarTS	home | docs & download
SonarFlex	home | docs & download	SonarTSQL *	home | docs & download
SonarJava	home | docs & download	SonarVB6 *	home | docs & download
SonarJS	home | docs & download	SonarVB *	home | docs & download
SonarPHP	home | docs & download	SonarWeb	home | docs & download
SonarPLI *	home | docs & download	SonarXML	home | docs & download

 

2、其他语言：CSS   Erlang     Groovy    Lua    Puppet

3、外部分析工具集成

AEM Rules 、Android Lint、Checkstyle 、Findbugs 、jDepend 、PMD 、Sonargraph 7、Sonargraph Integration 、Xanitizer 

 

 

十、源代码静态分析

有以下几种方法：

1、SonarQube Scanner for MSBuild（分析.Net projects）

2、SonarQube Scanner for Maven（从Maven启动分析）

3、SonarQube Scanner for Gradle（从Gradle启动分析）

4、SonarQube Scanner for Ant(从Ant启动分析）

5、SonarQube Scanner For Jenkins（从jenkins启动分析）

6、SonarQube Scanner（从命令行启动分析）

十一、源代码静态分析Sonar-Scanner介绍

1、从网站下载sonar-scanner

https://docs.sonarqube.org/display/SCAN/Analyzing+with+SonarQube+Scanner

2、安装

使用unzip命令展开

3、编辑配置文件/conf/sonar-scanner.properties:

sonar.host.url=http://localhost:9000

编辑配置文件/etc/profile 增加一行

exportSONAR_SCANNER_OPTS="-Xmx512m"

4、使用命令检查是否安装成功

./sonar-scanner-h

十二、编写工程模板，使用Sonar-Scanner开启代码静态扫描

1、代码扫描案例参见：

https://github.com/SonarSource/sonar-scanning-examples

2、具体案例说明

创建一个配置文件sonar-project.properties

内容如下：

sonar.projectKey=example1:project

sonar.projectName=Example1

sonar.projectVersion=1.0

sonar.sources=src

sonar.sourceEncoding=UTF-8

源文件放在src目录下

3、执行 ./sonar-scanner  开始扫描

4、在web页面可以看到扫描统计情况

http://localhost:9000/sonar

账号/密码：admin/admin

 

5、关于java代码扫描可以参见插件sonarjava说明

https://www.sonarsource.com/products/codeanalyzers/sonarjava.html