一念一生～one

Devops之代码质量平台实践

实验环境

sonarqube:8.9.8-community
docker 20.10.11
centos7虚机
win10笔记本

实验软件

链接：https://pan.baidu.com/s/1YROQTC8h89EViWp57wpYmw?pwd=xu4c
提取码：xu4c
2022.6.4-代码质量平台实践-code

本节实践

实践：部署SconarQube服务端和Scanner(测试成功)-2022.5.24
实践：Scanner进行项目代码扫描(测试成功)-2022.5.24
实践：Jenkinsfile PipeLine中的代码扫描(测试成功)-2022.5.25
实践：GitLab PipeLine中的代码扫描(测试成功)-2022.5.26
实践：Jenkins插件进行扫描(测试成功)-2022.5.26
实践：SonarQube REST API(测试成功)-2022.5.27
实践：多分支代码扫描(测试成功)-2022.5.28
实践：扫描结果关联commitid(静态配置)(测试failed)-2022.6.3
实践：扫描结果关联commitid(动态配置)(测试成功)-2022.6.3
实践：控制代码扫描步骤运行(测试成功)-2022.6.4

1、SonarQube 简介

SonarQube®是一种自动代码审查工具，可检测代码中的错误，漏洞和代码味道。它可以与您现有的工作流程集成，以实现跨项目分支和拉取请求的持续代码检查。

开发人员在IDE开发代码，可以安装SonarLint插件(本地代码扫描)进行提交前代码扫描当开发人员提交代码到版本控制系统中，自动触发jenkins进行代码扫描。

2、SonarQube平台安装配置

安装包下载链接：

https://www.sonarqube.org/downloads/

1.组件与服务组成

SonarQube Server启动3个主要进程：
- Web服务器，供开发人员，管理人员浏览高质量的快照并配置SonarQube实例
- 基于Elasticsearch的Search Server从UI进行搜索服务。
- Compute Engine服务器，负责处理代码分析报告并将其保存在SonarQube数据库中。
SonarQube数据库要存储：SonarQube实例的配置（安全，插件设置等）项目，视图质量快照。
服务器上安装了多个SonarQube插件，可能包括语言，SCM，集成，身份验证和管理插件。
在持续集成服务器上运行一个或多个SonarScanner，以分析项目。

注意：这里的Embedded数据库仅仅作为实验目的

生产里一般会用pg数据库：

2.docker方式安装

Java (Oracle JRE 11 or OpenJDK 11) （这里一定要使用jdk11的哈哈，不然会报错……，对SonarQube8.9版本）

下面是基于Docker的方式安装部署SonaQube：

## 创建数据目录
mkdir -p /data/cicd3/sonarqube/{sonarqube_conf,sonarqube_extensions,sonarqube_logs,sonarqube_data}
chmod 777 -R /data/cicd3/sonarqube/

## 运行
docker run  -itd  --name sonarqube \
    -p 9000:9000 \
    -v /data/cicd3/sonarqube/sonarqube_conf:/opt/sonarqube/conf \
    -v /data/cicd3/sonarqube/sonarqube_extensions:/opt/sonarqube/extensions \
    -v /data/cicd3/sonarqube/sonarqube_logs:/opt/sonarqube/logs \
    -v /data/cicd3/sonarqube/sonarqube_data:/opt/sonarqube/data \
    sonarqube:8.9.2-community

## 验证
docker logs -f sonarqube


## lib目录（低于SonarQube8.9.1可以配置持久化，以支持多分支插件。）

mkdir -p /data/cicd/sonarqube/sonarqube_lib
cd  /data/cicd/sonarqube/sonarqube_lib
docker cp sonarqube:/opt/sonarqube/lib/* ./

docker run  -itd  --name sonarqube \
    -p 9000:9000 \
    -v /data/cicd2/sonarqube/sonarqube_conf:/opt/sonarqube/conf \
    -v /data/cicd2/sonarqube/sonarqube_extensions:/opt/sonarqube/extensions \
    -v /data/cicd2/sonarqube/sonarqube_logs:/opt/sonarqube/logs \
    -v /data/cicd2/sonarqube/sonarqube_data:/opt/sonarqube/data \
    -v /data/cicd2/sonarqube/sonarqube_lib:/opt/sonarqube/lib \
    sonarqube:8.9.1-community

3.Terraform方式安装（本次安装方式）

实践：部署SconarQube服务端和Scanner(测试成功)-2022.5.24

1️⃣ 创建数据目录：

[root@devops remote-vscode]#mkdir -p /data/devops4/sonarqube/sonarqube_conf
[root@devops remote-vscode]#mkdir -p /data/devops4/sonarqube/sonarqube_extensions
[root@devops remote-vscode]#mkdir -p /data/devops4/sonarqube/sonarqube_logs
[root@devops remote-vscode]#mkdir -p /data/devops4/sonarqube/sonarqube_data

2️⃣ 使用terraform安装：

[root@devops remote-vscode]#terraform init
[root@devops remote-vscode]#terraform plan
[root@devops remote-vscode]#terraform apply

代码参考：https://github.com/terraform-group/terraform-devops-tools/blob/master/sonarqube.tf

完整terraform代码：

main.tf

# 定义provider（main.tf）
terraform {
  required_providers {
    docker = {
      source = "kreuzwerker/docker"
      version = "~> 2.13.0"
      }
  }
}

provider "docker" {}

snoarqube.tf:

locals {
  volumes = [
    {
      container_path = "/data/devops4/sonarqube/sonarqube_conf"
      host_path      = "/opt/sonarqube/conf"
    },
    {
      container_path = "/data/devops4/sonarqube/sonarqube_extensions"
      host_path      = "/opt/sonarqube/extension"
    },
    {
      container_path = "/data/devops4/sonarqube/sonarqube_logs"
      host_path      = "/opt/sonarqube/logs"
    },
    {
      container_path = "/data/devops4/sonarqube/sonarqube_data"
      host_path      = "/opt/sonarqube/data"
    }
  ]
}

resource "docker_image" "sonar" {
  name         = "sonarqube:8.9.8-community"
  keep_locally = true //销毁时不删除本地镜像
}

resource "docker_container" "sonarqube" {
  image = docker_image.sonar.name
  name  = "sonarqube"
  ports {
    internal = 9000
    external = 9000
  }

  dynamic "volumes" {
    for_each = local.volumes
    content {
      container_path = volumes.value["container_path"]
      host_path      = volumes.value["host_path"]
    }
  }
}

3️⃣ 验证：

查看容器是否启动：

浏览器里访问：http://172.29.9.101:9000/

默认密码是admin/admin，第一次登录需要修改默认密码，本次修改为admin/admin123。

安装完成。

这是SonarQubeLTS 7.9.6 的默认首页：

这是SonarQubeLTS 8.9.8 的默认首页：

4.安装中文插件

在线安装或者手动上传插件。

方法1： 在线安装：操作如下图

重启server：

重启后，登录查看效果：

方法2：手动上传插件

下载好的插件包会放在downloads目录下，重启后就被放到了plugins目录下；

或者直接放在plugins目录下，重启下，也是可以的；

5.手动安装插件

为什么需要手动安装？由于不同区域的不同网络原因，可能在线源会出现下载插件失败的情况，超时。本次以中文插件为例，为大家讲述如何手动离线安装一次插件。

Caused by: org.sonar.api.utils.SonarException: Fail to download: https://github.com/xuhuisheng/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-1.29/sonar-l10n-zh-plugin-1.29.jar (no proxy)
	at org.sonar.core.util.DefaultHttpDownloader.failToDownload(DefaultHttpDownloader.java:155)
	at org.sonar.core.util.DefaultHttpDownloader.download(DefaultHttpDownloader.java:150)
	at org.sonar.server.plugins.PluginDownloader.downloadRelease(PluginDownloader.java:152)
	at org.sonar.server.plugins.PluginDownloader.download(PluginDownloader.java:126)
	... 47 common frames omitted
Caused by: java.net.SocketTimeoutException: Read timed out

阅读插件说明文档：https://github.com/xuhuisheng/sonar-l10n-zh/tree/master 找到sonarqube 版本对应的插件版本。

选择Releases 找到当前SonarQube对应的版本，我的版本是8.9.1，所以下载 :

https://github.com/xuhuisheng/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-8.9/sonar-l10n-zh-plugin-8.9.jar

cd /data/cicd/sonarqube/sonarqube_extensions/downloads
wget https://github.com/xuhuisheng/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-1.29/sonar-l10n-zh-plugin-1.29.jar
chmod +x sonar-l10n-zh-plugin-1.29.jar
docker restart sonarqube

插件也可以直接在插件源：https://update.sonarsource.org/中下载的:

获得插件下载url：

6.配置强制登录

默认所有项目都可以公开的查看，在企业内肯定要配置成私有的。只有登录后才能查看。(sonarqube8.9.1 默认已经开启了，低于该版本的可以手动开启)

7.配置Scanner

scanner的类型有很多，可以通过官网：https://docs.sonarqube.org/8.9/analysis/overview/ 获取支持的列表。

变更项目代码：可以使用构建工具进行扫描。例如maven、ant、gradle可以在配置文件中引入对应的配置。
不变更项目代码配置：可以使用Jenkins或其他平台的扩展插件，以及使用命令行进行扫描。

Gradle - SonarScanner for Gradle

.NET - SonarScanner for .NET

Maven - use the SonarScanner for Maven

Jenkins - SonarScanner for Jenkins （Jenkins 集成插件）

Azure DevOps - SonarQube Extension for Azure DevOps （devops平台扩展插件）

Ant - SonarScanner for Ant

anything else (CLI) - SonarScanner（更加通用的扫描命令行）

使用更加灵活的命令行工具进行扫描，可以在不更改项目配置的前提下进行代码扫描：

复制链接地址：

https://docs.sonarqube.org/8.9/analysis/scan/sonarscanner/

(1)下载包
[root@devops ~]#wget https://binaries.sonarsource.com/Distribution/sonar-scanner-cli/sonar-scanner-cli-4.7.0.2747-linux.zip
[root@devops ~]#ll -h  sonar-scanner-cli-4.7.0.2747-linux.zip 
-rw-r--r-- 1 root root 42M May 24 20:09 sonar-scanner-cli-4.7.0.2747-linux.zip

（2）设置环境变量
[root@devops ~]#mkdir /usr/local/sonar-scanner
[root@devops ~]#mv sonar-scanner-cli-4.7.0.2747-linux.zip /usr/local/sonar-scanner/
[root@devops ~]#cd /usr/local/sonar-scanner/
[root@devops sonar-scanner]#unzip sonar-scanner-cli-4.7.0.2747-linux.zip
[root@devops sonar-scanner]#cd sonar-scanner-4.7.0.2747-linux/
[root@devops sonar-scanner-4.7.0.2747-linux]#echo 'export SONAR_SCANNER_HOME=/usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux' >> /etc/profile
[root@devops sonar-scanner-4.7.0.2747-linux]#echo 'export PATH=$SONAR_SCANNER_HOME/bin:$PATH' >> /etc/profile
[root@devops sonar-scanner-4.7.0.2747-linux]#source /etc/profile 

（3）验证
[root@devops sonar-scanner-4.7.0.2747-linux]#sonar-scanner -v
INFO: Scanner configuration file: /usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/conf/sonar-scanner.properties
INFO: Project root configuration file: NONE
INFO: SonarScanner 4.7.0.2747
INFO: Java 11.0.14.1 Eclipse Adoptium (64-bit)
INFO: Linux 3.10.0-957.el7.x86_64 amd64

注意：

这里请注意JDK版本的问题， 默认安装的sonarscanner是使用自带的jdk。通过上面的显示可以发现是jdk1.11版本，如果想使用系统默认的jdk版本，可以修改scanner可执行程序的配置。如下所示：

[root@devops sonar-scanner-4.7.0.2747-linux]#pwd
/usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux
[root@devops sonar-scanner-4.7.0.2747-linux]#ls
bin  conf  jre  lib
[root@devops sonar-scanner-4.7.0.2747-linux]#vim bin/sonar-scanner
### 编辑约第42行， true改成false
42 use_embedded_jre=false
43 if [ "$use_embedded_jre" = true ]; then
44   export JAVA_HOME="$sonar_scanner_home/jre"
45 fi

### 更改后，再次验证，发现变成了系统jdk版本。 更改生效。
[root@devops sonar-scanner-4.7.0.2747-linux]#sonar-scanner -v
INFO: Scanner configuration file: /usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/conf/sonar-scanner.properties
INFO: Project root configuration file: NONE
INFO: SonarScanner 4.7.0.2747
INFO: Java 1.8.0_322 Temurin (64-bit)
INFO: Linux 3.10.0-957.el7.x86_64 amd64

3、SonarScanner使用方法

代码扫描过程：本地（构建节点）安装配置SonarScanner环境，然后通过设置sonar的一系列参数进行扫描分析。

配置文件方式读取扫描参数
命令行方式读取扫描参数

方法1：配置文件方式读取扫描参数

一个基本的sonar-project.properties配置文件的参数：

# 定义唯一的关键字
sonar.projectKey=devops-hello-service

# 定义项目名称
sonar.projectName=devops-hello-service

# 定义项目的版本信息
sonar.projectVersion=1.0
 
# 指定扫描代码的目录位置（多个逗号分隔）
sonar.sources=.
 
# 执行项目编码
sonar.sourceEncoding=UTF-8

# 指定sonar Server
sonar.host.url=

# 认证信息
sonar.login
sonar.password

这些配置项都是统一的，目前sonar支持将扫描参数以文件的方式存放或者以命令行传参的方式读取。

文件方式：可以将扫描参数放到项目的根目录或者sonar-scanner的配置文件目录等自定义的目录中;
命令行传参则可以直接将变量传递给sonarsacnner cli -Dsonar.projectKey=xxx 。

方法2：命令行方式读取扫描参数 (命令行方式会覆盖掉配置文件方式的)

# 指定配置文件
sonar-scanner -Dproject.settings=myproject.properties

# 命令行传参
sonar-scanner -Dsonar.projectKey=myproject -Dsonar.sources=src1

扩展：Docker运行sonarscanner

docker run \
    --rm \
    -e SONAR_HOST_URL="http://${SONARQUBE_URL}" \
    -e SONAR_LOGIN="myAuthenticationToken" \
    -v "${YOUR_REPO}:/usr/src" \
    sonarsource/sonar-scanner-cli

关于项目参数可以参考：https://docs.sonarqube.org/latest/analysis/analysis-parameters/
各种语言的扫描示例：https://docs.sonarqube.org/latest/analysis/languages/

注意：
SonarQube中各种语言的扫描规则都是以jar包的方式。在SonarQube8.9.1之前版本，默认没有安装语言规则插件，需要手动安装。服务端安装Java Code Quality and Security,SonarJS SonarGO 插件，并重启服务器。（如果这里由于网速原因下载不了插件，可以使用课程提供的压缩包，解压到downloads目录下然后重启sonarqube）
由于本次实验使用的是SonarQube8.9.1版本，所以不用在手动安装语言插件了。

[root@devops ~]#docker exec -it sonarqube bash
bash-5.1# cd /opt/sonarqube/lib/extensions/
bash-5.1# ls
sonar-csharp-plugin-8.22.0.31243.jar     sonar-jacoco-plugin-1.1.1.1157.jar       sonar-python-plugin-3.4.1.8066.jar
sonar-css-plugin-1.4.2.2002.jar          sonar-java-plugin-6.15.1.26025.jar       sonar-ruby-plugin-1.8.3.2219.jar
sonar-flex-plugin-2.6.1.2564.jar         sonar-javascript-plugin-7.4.4.15624.jar  sonar-scala-plugin-1.8.3.2219.jar
sonar-go-plugin-1.8.3.2219.jar           sonar-kotlin-plugin-1.8.3.2219.jar       sonar-vbnet-plugin-8.22.0.31243.jar
sonar-html-plugin-3.4.0.2754.jar         sonar-php-plugin-3.17.0.7439.jar         sonar-xml-plugin-2.2.0.2973.jar
bash-5.1#

如果低于该版本，可以参考如下操作。（可选，跳过)

[root@zeyang-nuc-service ~]# cd /data/cicd/plugin-sonar/
[root@zeyang-nuc-service plugin-sonar]# ls
sonar-go-plugin-1.6.0.719.jar            sonar-l10n-zh-plugin-1.29.jar
sonar-java-plugin-6.3.2.22818.jar        sonar-typescript-plugin-2.1.0.4359.jar
sonar-javascript-plugin-6.2.2.13315.jar
[root@zeyang-nuc-service plugin-sonar]# cp sonar-go-plugin-1.6.0.719.jar  sonar-java-plugin-6.3.2.22818.jar  sonar-javascript-plugin-6.2.2.13315.jar  sonar-typescript-plugin-2.1.0.4359.jar  /data/cicd/sonarqube/sonarqube_extensions/downloads/
[root@zeyang-nuc-service plugin-sonar]# ls /data/cicd/sonarqube/sonarqube_extensions/downloads/
sonar-go-plugin-1.6.0.719.jar      sonar-javascript-plugin-6.2.2.13315.jar
sonar-java-plugin-6.3.2.22818.jar  sonar-typescript-plugin-2.1.0.4359.jar
[root@zeyang-nuc-service plugin-sonar]# chmod +x /data/cicd/sonarqube/sonarqube_extensions/downloads/*
[root@zeyang-nuc-service plugin-sonar]# ls /data/cicd/sonarqube/sonarqube_extensions/downloads/
sonar-go-plugin-1.6.0.719.jar      sonar-javascript-plugin-6.2.2.13315.jar
sonar-java-plugin-6.3.2.22818.jar  sonar-typescript-plugin-2.1.0.4359.jar
[root@zeyang-nuc-service plugin-sonar]# docker restart sonarqube
sonarqube

1.Java项目扫描

实践：Scanner进行项目代码扫描(测试成功)-2022.5.24

![](https://img-blog.csdnimg.cn/img_convert/e8a30ac4011ea81ee8c00d7e71a377c6.png)

sonar.projectKey 指定项目的关键字
sonar.host.url指定服务器地址（可以直接在配置文件中写死）,
projectName指定项目的名称,
projectVersion指定项目的版本(可以用构建时间和构建ID定义),
login指定登录用户名,
password指定登录用户密码,
projectDescription指定项目的描述信息,
links.homepage指定项目的主页（超链接）,
sources指定扫描的目录,
sourceEncoding指定扫描时的编码,
java.binaries指定编译后的类文件目录(必填),
java.test.binaries指定编译后的测试类目录,
java.surefire.report指定测试报告目录。

sonar-scanner -Dsonar.host.url=http://192.168.1.200:9000 \
-Dsonar.projectKey=devops-maven-service \
-Dsonar.projectName=devops-maven-service \
-Dsonar.projectVersion=1.1 \
-Dsonar.login=admin \
-Dsonar.password=admin123 \
-Dsonar.ws.timeout=30 \
-Dsonar.projectDescription="my first project!" \
-Dsonar.links.homepage=http://192.168.1.200/devops/devops-maven-service \
-Dsonar.links.ci=http://192.168.1.200:8080/job/demo-pipeline-service/ \
-Dsonar.sources=src \
-Dsonar.sourceEncoding=UTF-8 \
-Dsonar.java.binaries=target/classes \
-Dsonar.java.test.binaries=target/test-classes \
-Dsonar.java.surefire.report=target/surefire-reports

自己实际测试过程：

克隆devops4-maven-service项目代码到sonarscanner机器：

[root@devops ~]#mkdir sonarProject
[root@devops ~]#cd sonarProject/
[root@devops sonarProject]#git clone http://172.29.9.101/devops4/devops4-maven-service.git
Cloning into 'devops4-maven-service'...
Username for 'http://172.29.9.101': root
Password for 'http://[email protected]': 
remote: Enumerating objects: 52, done.
remote: Counting objects: 100% (18/18), done.
remote: Compressing objects: 100% (18/18), done.
remote: Total 52 (delta 9), reused 0 (delta 0), pack-reused 34
Receiving objects: 100% (52/52), 56.33 KiB | 28.16 MiB/s, done.
Resolving deltas: 100% (11/11), done.
[root@devops sonarProject]#ls
devops4-maven-service
[root@devops sonarProject]#cd devops4-maven-service/
[root@devops devops4-maven-service]#ls
build.sh  mvnw  mvnw.cmd  pom.xml  README.md  src
[root@devops devops4-maven-service]#

在该项目目录下创建sonar-project.properties文件：

[root@devops devops4-maven-service]#pwd
/root/sonarProject/devops4-maven-service
[root@devops devops4-maven-service]#ls
build.sh  mvnw  mvnw.cmd  pom.xml  README.md  src
[root@devops devops4-maven-service]#vim sonar-project.properties
# 定义项目关键字
sonar.projectKey=devop4-maven-service

# 定义项目名称
sonar.projectName=devops4-maven-service

# 定义项目的版本信息
sonar.projectVersion=1.0
 
 # 指定扫描代码的目录位置（多个逗号分隔）
sonar.sources=src
  
  # 执行项目编码
sonar.sourceEncoding=UTF-8

  # 指定sonar Server
sonar.host.url=http://172.29.9.101:9000

  # 认证信息
sonar.login=admin
sonar.password=admin123

进行扫描：

[root@devops devops4-maven-service]#sonar-scanner

此时会发现一个常见的报错：

注意：java类型项目比较特殊，扫描时要先对其进行下编译，因为sonarqube在扫描时需要用到它编译后的类！

此时再编辑下sonar-project.properties内容，并编译下后，再执行下扫描：

[root@devops devops4-maven-service]#vim sonar-project.properties
# 定义项目关键字
sonar.projectKey=devop4-maven-service

# 定义项目名称
sonar.projectName=devops4-maven-service

# 定义项目的版本信息
sonar.projectVersion=1.0
 
 # 指定扫描代码的目录位置（多个逗号分隔）
sonar.sources=src
  
  # 执行项目编码
sonar.sourceEncoding=UTF-8

  # 指定sonar Server
sonar.host.url=http://172.29.9.101:9000

  # 认证信息
sonar.login=admin
sonar.password=admin123

sonar.java.binaries=target/classes 

[root@devops devops4-maven-service]#mvn clean package
[root@devops devops4-maven-service]#ls
build.sh  mvnw  mvnw.cmd  pom.xml  README.md  sonar-project.properties  src  target
[root@devops devops4-maven-service]#ls target/
classes                  demo-0.0.1-SNAPSHOT.jar.original  generated-test-sources  maven-status
demo-0.0.1-SNAPSHOT.jar  generated-sources                 maven-archiver          test-classes
[root@devops devops4-maven-service]#ls target/classes/
application.properties  com  static

再次扫描下，查看结果：

[root@devops devops4-maven-service]#ls .scannerwork/
css-bundle  report-task.txt
[root@devops devops4-maven-service]#cat  .scannerwork/report-task.txt 
projectKey=devop4-maven-service
serverUrl=http://172.29.9.101:9000
serverVersion=8.9.8.54436
dashboardUrl=http://172.29.9.101:9000/dashboard?id=devop4-maven-service
ceTaskId=AYD2jY87VkQu9X-kQ24q
ceTaskUrl=http://172.29.9.101:9000/api/ce/task?id=AYD2jY87VkQu9X-kQ24q

到sonarqube server上验证：
http://172.29.9.101:9000/dashboard?id=devop4-maven-service

这里可以设置为误判：

注意：soarqube会把源代码下载下来的，因此一定要保护好sonarqube的账户信息。

可以看到这里是1.0版本：
此时我们修改下sonar-project.properties的sonar.projectVersion=1.0

[root@devops devops4-maven-service]#vim sonar-project.properties
sonar.projectVersion=2.0

再次扫描下，再来看下效果：
sonar-scanner

此时就可以看到新代码这里显示的bug数了：

注意：这里的sonar-project.properties文件名是不能变的！

2.Web前端项目扫描

sonar-scanner \
  -Dsonar.projectKey=demo-devops-ui \
  -Dsonar.projectName=demo-devops-ui \
  -Dsonar.sources=src \
  -Dsonar.host.url=http://192.168.1.200:9000 \
  -Dsonar.login=0809881d71f2b06b64786ae3f81a9acf22078e8b \
  -Dsonar.projectVersion=2.0 \
  -Dsonar.ws.timeout=30 \
  -Dsonar.projectDescription="my first project!" \
  -Dsonar.links.homepage=http://192.168.1.200/devops/devops-maven-service \
  -Dsonar.links.ci=http://192.168.1.200:8080/job/demo-pipeline-service/ \
  -Dsonar.sourceEncoding=UTF-8

3.Golang项目扫描

sonar-scanner -Dsonar.projectKey=devops-golang-service \
-Dsonar.projectName=devops-golang-service \
-Dsonar.sources=src \
-Dsonar.login=admin \
-Dsonar.password=admin \
-Dsonar.host.url=http://192.168.1.200:9000


## 有测试用例的情况
sonar.exclusions=**/*_test.go
sonar.tests=.
sonar.test.inclusions=**/*_test.go

4、CI流水线集成

1.Jenkins PipeLine中的代码扫描

流水线中添加代码扫描阶段，然后在script标签中定义一段脚本。（其实这段脚本就是我们手动在服务器上面执行的sonar-scanner的命令和参数组成的）【可以先运行该段代码确保扫描成功，然后进一步优化】

实践：Jenkins PipeLine中的代码扫描(测试成功)-2022.5.25

把sonar-project.properties文件提到devops4-maven-service工程里面去：

也就是来到Gitlab的devops4-maven-service项目下，创建一个sonar-project.properties文件，并提交：

# 定义项目关键字
sonar.projectKey=devop4-maven-service

# 定义项目名称
sonar.projectName=devops4-maven-service

# 定义项目的版本信息
sonar.projectVersion=2.0
 
 # 指定扫描代码的目录位置（多个逗号分隔）
sonar.sources=src
  
  # 执行项目编码
sonar.sourceEncoding=UTF-8

  # 指定sonar Server
sonar.host.url=http://172.29.9.101:9000

  # 认证信息
sonar.login=admin
sonar.password=admin123

sonar.java.binaries=target/classes

先在jenkins里跑一下devops4-maven-service项目流水线，看下是否可正常跑下去：

可以看到能够正常运行流水线。

在jenkins共享库里编写jenkinsfile文件，并提交，然后再次触发流水线：

完整Jenkinsfile代码如下：

@Library("mylib@main") _     //加载共享库
import org.devops.*						// 导入库

def checkout = new Checkout()    //New实例化
def build = new Build()
def unittest = new UnitTest()

//env.buildType = "${JOB_NAME}".split("-")[1]

//流水线
pipeline {
    agent { label "build" }

    options {
        skipDefaultCheckout true
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout.GetCode("${env.srcUrl}", "${env.branchName}")
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    println("Build")
                    //build.CodeBuild("${env.buildType}")
                    sh "${env.buildShell}"
                   
                }
            }
        }

        /*stage("UnitTest"){
            steps{
                script{
                    unittest.CodeTest("${env.buildType}")
                }
            }
        }*/

        stage("CodeScan"){
            steps{
                script{
                    cliPath="/usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/bin"
                    sh "${cliPath}/sonar-scanner"
                }
            }
        }
    }
}

这里优化下，把项目里的sonar-project.properties文件里的sonar.login和sonar.password使用jenkins的凭据功能给隐藏起来：

随便找一个流水线项目，利用流水线语法-片段生成器,来生成代码：

withCredentials([usernamePassword(credentialsId: '79d8f75b-3733-49f4-950f-19f8480fda03', passwordVariable: 'SONAR_PASSWD', usernameVariable: 'SONAR_USER')]) {
    // some block
}

将生成的代码写在jenkins共享库的jenkiinsfile里面，然后再次跑一下流水线，观察效果：

@Library("mylib@main") _     //加载共享库
import org.devops.*						// 导入库

def checkout = new Checkout()    //New实例化
def build = new Build()
def unittest = new UnitTest()

//env.buildType = "${JOB_NAME}".split("-")[1]

//流水线
pipeline {
    agent { label "build" }

    options {
        skipDefaultCheckout true
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout.GetCode("${env.srcUrl}", "${env.branchName}")
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    println("Build")
                    //build.CodeBuild("${env.buildType}")
                    sh "${env.buildShell}"
                   
                }
            }
        }

        /*stage("UnitTest"){
            steps{
                script{
                    unittest.CodeTest("${env.buildType}")
                }
            }
        }*/

        stage("CodeScan"){
            steps{
                script{
                    cliPath="/usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/bin"
                    withCredentials([usernamePassword(credentialsId: '79d8f75b-3733-49f4-950f-19f8480fda03', 
                                                                    passwordVariable: 'SONAR_PASSWD', 
                                                                    usernameVariable: 'SONAR_USER')]) {
                        // some block
                        sh """${cliPath}/sonar-scanner  \
                            -Dsonar.login=${SONAR_USER} \
                            -Dsonar.password=${SONAR_PASSWD} \
                            -Dsonar.projectVersion=${env.branchName}
                        """
                    }
                    
                }
            }
        }
    }
}

写好后提交：

记得要把devops4-maven-service项目的sonar-project.propertries文件里的相关信息给注释掉：

以上代码都修改完成后，进行提交，再来到jenkins上进行构建。

可以看到，能够正常构建成功：

接下来再进一步扩展：

进一步优化下jenkins共享库里的代码：

创建srg/org/devops/Sonar.groovy文件：

package org.devops

def CodeScan(branchName){
    cliPath="/usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/bin"
    withCredentials([usernamePassword(credentialsId: '79d8f75b-3733-49f4-950f-19f8480fda03', 
                                                passwordVariable: 'SONAR_PASSWD', 
                                                usernameVariable: 'SONAR_USER')]) {
        // some block
        sh """${cliPath}/sonar-scanner  \
            -Dsonar.login=${SONAR_USER} \
            -Dsonar.password=${SONAR_PASSWD} \
            -Dsonar.projectVersion=${branchName}
        """
    }
}

编写Jenkinsfile里的代码：

@Library("mylib@main") _     //加载共享库
import org.devops.*						// 导入库

def checkout = new Checkout()    //New实例化
def build = new Build()
def unittest = new UnitTest()
def sonar = new Sonar() 

//env.buildType = "${JOB_NAME}".split("-")[1]

//流水线
pipeline {
    agent { label "build" }

    options {
        skipDefaultCheckout true
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout.GetCode("${env.srcUrl}", "${env.branchName}")
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    println("Build")
                    //build.CodeBuild("${env.buildType}")
                    sh "${env.buildShell}"
                   
                }
            }
        }

        /*stage("UnitTest"){
            steps{
                script{
                    unittest.CodeTest("${env.buildType}")
                }
            }
        }*/

        stage("CodeScan"){
            steps{
                script{
                    sonar.CodeScan("${env.branchName}")
                    }
                    
                }
        }
        
    }
}

修改完成后，提交并构建：

可以看到，可以成功构建！

2.GitLab PipeLine中的代码扫描

实践：GitLab PipeLine中的代码扫描(测试成功)-2022.5.26

使用FROUP Variable存储sonar的账号和密码：

来到devops4组下：

来到devops4-gitlablib-service项目里：

编辑jobs/CI.yaml文件：

.pipelineInit:
  tags:
    - "${RUNNER_TAG}"
  stage: .pre
  variables:
    GIT_CHECKOUT: "true"   ##局部开启作业的代码下载
  script:
    - ls -l 

.cibuild:
  tags:
    - "${RUNNER_TAG}"
  stage: build
  script:
    - echo "${BUILD_SHELL}"
    - ${BUILD_SHELL}
  # artifacts:
  #    paths:
  #     - ${ARTIFACT_PATH}

.citest:
  tags:
    - "${RUNNER_TAG}"
  stage: test
  script:
    - echo "${TEST_SHELL}"
    - ${TEST_SHELL}
  # artifacts:
  #   reports:
  #     junit: ${TEST_REPORTS}

.codescan:
  tags: 
    - "${RUNNER_TAG}"
  stage: codescan
  script:
    |-
      /usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/bin/sonar-scanner \
      -Dsonar.login=${SONAR_USER} \
      -Dsonar.password=${SONAR_PASSWD} \
      -Dsonar.projectVersion=${CI_COMMIT_BRANCH}

编辑.gitlabci.yml文件：

include:
  - project: 'devops4/devops4-gitlablib-service'
    ref: main
    file: 
      - '/jobs/CI.yaml'

workflow:
  rules:
    - if: $CI_PIPELINE_SOURCE == "web"
      when: always
    - if: $CI_COMMIT_BEFORE_SHA == "0000000000000000000000000000000000000000"
      when: never
    - when: always

variables:
  GIT_CHECKOUT: "false"   ## 全局关闭作业代码下载
  BUILD_SHELL: "sh -x build.sh"  ## 构建命令
  TEST_SHELL: "/usr/local/apache-maven-3.8.5/bin/mvn test "                        ## 测试命令
  # ARTIFACT_PATH: "target/*jar"      ## 制品路径  
  # TEST_REPORTS: "target/surefire-reports/TEST-*.xml" ##测试报告
  RUNNER_TAG: "builder"

stages:
  - build
  - test
  - codescan

pipelineInit:
  extends: 
    - .pipelineInit

cibuild:
  extends:
    - .cibuild

citest:
  extends:
    - .citest

codescan:
  extends:
  - .codescan

编写完成后，提交，然后就可以看到能够成功构建：

测试完成。

3.插件方式

实践：Jenkins插件进行扫描(测试成功)-2022.5.26

官方参考

参考：https://docs.sonarqube.org/latest/analysis/scan/sonarscanner-for-jenkins/

创建SonaQube的账户token：

将token保存到Jenkins凭据中：

在Jenkins中安装插件sonarqube scanner：

转到"管理Jenkins>系统配置"，向下滚动到SonarQube配置部分，单击Add SonarQube，添加服务器，选择凭据。

在片段生成器里生成代码：

使用withSonarQubeEnv DSL引入在Jenkins中配置的sonar环境:

withSonarQubeEnv(credentialsId: '09a996dd-2b05-46c8-90f9-09905bbc22c9') {
    // some block
}

然后在之前的devops4-maven-service回放里编写下代码：

@Library("mylib@main") _     //加载共享库
import org.devops.*                     // 导入库

def checkout = new Checkout()    //New实例化
def build = new Build()
def unittest = new UnitTest()
def sonar = new Sonar()

//env.buildType = "${JOB_NAME}".split("-")[1]

//流水线
pipeline {
    agent { label "build" }

    options {
        skipDefaultCheckout true
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout.GetCode("${env.srcUrl}", "${env.branchName}")
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    println("Build")
                    //build.CodeBuild("${env.buildType}")
                    sh "${env.buildShell}"
                   
                }
            }
        }

        /*stage("UnitTest"){
            steps{
                script{
                    unittest.CodeTest("${env.buildType}")
                }
            }
        }*/

        stage("CodeScan"){
            steps{
                script{
                   
                    withSonarQubeEnv(credentialsId: '09a996dd-2b05-46c8-90f9-09905bbc22c9') {
                        cliPath="/usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/bin"
                        sh """${cliPath}/sonar-scanner  \
                                -Dsonar.projectVersion=master
                        """
                    }
                }
            }
        
        }
    }
}

运行并观察效果：

相比命令行只是增加了一些扩展链接，对于经常操作Jenkins的用户方便些。

测试完成。

5、SonarQube REST API实践

实践：SonarQube REST API(测试成功)-2022.5.27

SonarQube系统的API文档： http://172.29.9.101:9000/web_api

//查找项目
api/projects/search?projects=${projectName}"

//创建项目
api/projects/create?name=${projectName}&project=${projectName}"
   
//更新语言规则集
api/qualityprofiles/add_project?language=${language}&qualityProfile=${qualityProfile}&project=${projectName}"

//项目授权
api/permissions/apply_template?projectKey=${projectKey}&templateName=${templateName}"

//更新质量阈
api/qualitygates/select?projectKey=${projectKey}&gateId=${gateId}"

SonarQube API的请求方法

curl --location \
--request GET \
'http://192.168.1.200:9000/api/projects/search?projects=day4-maven2-service' \
--header 'Authorization: Basic YWRtaW46YWRtaW4xMjM0'

jenkins代码中不要存在敏感信息，将base64格式的SonarQube 用户token YWRtaW46YWRtaW4xMjM0存储到Jenkins凭据中(Secret Text类型)，后续使用withCredentials将值赋值给变量SONAR_TOKEN 。

考虑到Api的URL都具有相同部分http://192.168.1.200:9000/api所以单独复制给变量sonarApi。每个接口返回的都是JSON类型的数据，这里使用readJSON进行解析和处理。【所以有了下面的代码】

def SonarRequest(apiUrl,method){
    withCredentials([string(credentialsId: "52df4ad9-7167-4bf6-a1fc-2f9f17713472", variable: 'SONAR_TOKEN')]) {
        sonarApi = "http://192.168.1.200:9000/api"
        response = sh  returnStdout: true, 
            script: """
            curl --location \
                 --request ${method} \
                 "${sonarApi}/${apiUrl}" \
                 --header "Authorization: Basic ${SONAR_TOKEN}"
            """
        try {
            response = readJSON text: """ ${response - "\n"} """
        } catch(e){
            response = readJSON text: """{"errors" : true}"""
        }
        return response
        
    }
}

1.查找项目

接口地址和参数: http://172.29.9.101:9000/api/projects/search?projects=day4-maven-service

请求类型： GET

postman调试：

转换cURL命令：

curl --location --request GET 'http://172.29.9.101:9000/api/projects/search?projects=devops4-maven-service' \
--header 'Authorization: Basic YWRtaW46YWRtaW4xMjM='

Jenkins代码中不要存在敏感信息，将base64格式的SonarQube 用户token YWRtaW46YWRtaW4xMjM0存储到Jenkins凭据中(Secret Text类型)，后续使用withCredentials将值赋值给变量SONAR_TOKEN 。

在jenkins里添加凭据：

利用片段式语法生成代码：

编写jenkins pipeline代码，然后找一个pipeline项目的回放里进行测试：

pipeline {
	agent {
		label "build"
	}

	stages {
		stage("run"){
			steps{
				script{
					result = ProjectSearch("devops4-maven-service")
					println(result)
				}
			}
		}
	}
}

// 查找项目
def ProjectSearch(projectName){
    apiUrl = "projects/search?projects=${projectName}"
    response = SonarRequest(apiUrl,"GET")

    if (response.paging.total == 0){
        println("Project not found!.....")
        return false
    } 
    return true
}


def SonarRequest(apiUrl,method){
    withCredentials([string(credentialsId: "66b7dd41-5434-43a3-8d02-505e2f2dc38f", variable: 'SONAR_TOKEN')]) {
        sonarApi = "http://172.29.9.101:9000/api"
        response = sh  returnStdout: true, 
            script: """
            curl --location \
                 --request ${method} \
                 "${sonarApi}/${apiUrl}" \
                 --header "Authorization: Basic ${SONAR_TOKEN}"
            """
        try {
            response = readJSON text: """ ${response - "\n"} """
        } catch(e){
            response = readJSON text: """{"errors" : true}"""
        }
        return response
        
    }
}

运行测试：

此时，我先把刚才sonar里面的项目给删除掉，再来跑一次流水线，看下效果：

可以看到，会提示项目不存在。

2.创建项目

接口地址和参数: http://172.29.9.101:9000/api/projects/create?name=devops4-maven-service&project=devops4-maven-service

请求类型：POST

postman调试：

cURL:

curl --location --request POST 'http://172.29.9.101:9000/api/projects/create?name=devops4-maven-service&project=devops4-maven-service' \
--header 'Authorization: Basic YWRtaW46YWRtaW4xMjM='

编写Jenkins Pipeline，并运行测试：

// 创建项目
def CreateProject(projectName){
    apiUrl = "projects/create?name=${projectName}&project=${projectName}"
    response = SonarRequest(apiUrl,"POST")
    try{
        if (response.project.key == projectName ) {
            println("Project Create success!...")
            return true
        }
    }catch(e){
        println(response.errors)
        return false
    }
}

完整代码如下：

pipeline {
	agent {
		label "build"
	}

	stages {
		stage("run"){
			steps{
				script{
					projectName = "devops4-maven-service"
					result = ProjectSearch("devops4-maven-service")
					println(result)

					if (result == false){
						CreateProject(projectName)
					}
				}
			}
		}
	}
}

// 查找项目
def ProjectSearch(projectName){
    apiUrl = "projects/search?projects=${projectName}"
    response = SonarRequest(apiUrl,"GET")

    if (response.paging.total == 0){
        println("Project not found!.....")
        return false
    } 
    return true
}


def SonarRequest(apiUrl,method){
    withCredentials([string(credentialsId: "66b7dd41-5434-43a3-8d02-505e2f2dc38f", variable: 'SONAR_TOKEN')]) {
        sonarApi = "http://172.29.9.101:9000/api"
        response = sh  returnStdout: true, 
            script: """
            curl --location \
                 --request ${method} \
                 "${sonarApi}/${apiUrl}" \
                 --header "Authorization: Basic ${SONAR_TOKEN}"
            """
        try {
            response = readJSON text: """ ${response - "\n"} """
        } catch(e){
            response = readJSON text: """{"errors" : true}"""
        }
        return response
        
    }
}

// 创建项目
def CreateProject(projectName){
    apiUrl = "projects/create?name=${projectName}&project=${projectName}"
    response = SonarRequest(apiUrl,"POST")
    try{
        if (response.project.key == projectName ) {
            println("Project Create success!...")
            return true
        }
    }catch(e){
        println(response.errors)
        return false
    }
}

可以看到，sonar上项目被创建成功！

3.更新项目质量配置

接口地址和参数: http://172.29.9.101:9000/api/qualityprofiles/add_project?language=java&project=devops4-maven-service&qualityProfile=devop4

请求类型：POST

postman调试：

cUrl:

curl --location --request POST 'http://172.29.9.101:9000/api/qualityprofiles/add_project?language=java&project=devops4-maven-service&qualityProfile=devops4' \
--header 'Authorization: Basic YWRtaW46YWRtaW4xMjM='

Jenkins Pipeline:

// 更新项目质量配置
def UpdateQualityProfiles(lang, projectName, profileName){
    apiUrl = "qualityprofiles/add_project?language=${lang}&project=${projectName}&qualityProfile=${profileName}"
    response = SonarRequest(apiUrl,"POST")
    
    if (response.errors != true){
        println("ERROR: UpdateQualityProfiles ${response.errors}...")
        return false
    } else {
        println("SUCCESS: UpdateQualityProfiles ${lang} > ${projectName} > ${profileName}" )
        return true
    }
}

完整代码如下：

pipeline {
	agent {
		label "build"
	}

	stages {
		stage("run"){
			steps{
				script{
					projectName = "devops4-maven-service"
					result = ProjectSearch("devops4-maven-service")
					println(result)

					if (result == false){
						CreateProject(projectName)
					}

					UpdateQualityProfiles("java", projectName, "devops4")
				}
			}
		}
	}
}

// 查找项目
def ProjectSearch(projectName){
    apiUrl = "projects/search?projects=${projectName}"
    response = SonarRequest(apiUrl,"GET")

    if (response.paging.total == 0){
        println("Project not found!.....")
        return false
    } 
    return true
}


def SonarRequest(apiUrl,method){
    withCredentials([string(credentialsId: "66b7dd41-5434-43a3-8d02-505e2f2dc38f", variable: 'SONAR_TOKEN')]) {
        sonarApi = "http://172.29.9.101:9000/api"
        response = sh  returnStdout: true, 
            script: """
            curl --location \
                 --request ${method} \
                 "${sonarApi}/${apiUrl}" \
                 --header "Authorization: Basic ${SONAR_TOKEN}"
            """
        try {
            response = readJSON text: """ ${response - "\n"} """
        } catch(e){
            response = readJSON text: """{"errors" : true}"""
        }
        return response
        
    }
}

// 创建项目
def CreateProject(projectName){
    apiUrl = "projects/create?name=${projectName}&project=${projectName}"
    response = SonarRequest(apiUrl,"POST")
    try{
        if (response.project.key == projectName ) {
            println("Project Create success!...")
            return true
        }
    }catch(e){
        println(response.errors)
        return false
    }
}

// 更新项目质量配置
def UpdateQualityProfiles(lang, projectName, profileName){
    apiUrl = "qualityprofiles/add_project?language=${lang}&project=${projectName}&qualityProfile=${profileName}"
    response = SonarRequest(apiUrl,"POST")
    
    if (response.errors != true){
        println("ERROR: UpdateQualityProfiles ${response.errors}...")
        return false
    } else {
        println("SUCCESS: UpdateQualityProfiles ${lang} > ${projectName} > ${profileName}" )
        return true
    }
}

运行后效果：

4.控制逻辑(实践)

项目没有配置质量，默认使用sonarway（内置质量）。
默认直接使用sonarscanner，扫描的项目，使用的内置的默认质量。

如果具有单独的质量配置，例如每个组织一个质量配置。此时就需要先手动在web页面创建一个空的项目，然后在项目的配置中设置目标质量配置。(下面是手动的操作步骤)

自动化实现方式：

查询项目是否存在
- 存在：直接更新质量配置
- 不存在：创建空的项目然后更新质量配置

stage("sonartest"){
            steps{
                script{

                    // 判断项目是否存在
                    sonarProjectName = "${JOB_NAME.split('/')[-1]}"
                    result = ProjectSearch(sonarProjectName)
                    println(result)

                    if (result != true){
                        println("Create Sonar Project!...")
                        CreateProject(sonarProjectName)
                    }

                    // 指定项目的配置
                    UpdateQualityProfiles("java", sonarProjectName, "${sonarProjectName.split('-')[0]}")
                }
            }
        }

完整的jenkinsfile代码:

pipeline {

    agent {
        label "build"
    }

    stages{
        stage("sonartest"){
            steps{
                script{

                    // 判断项目是否存在
                    sonarProjectName = "${JOB_NAME.split('/')[-1]}"
                    result = ProjectSearch(sonarProjectName)
                    println(result)

                    if (result != true){
                        println("Create Sonar Project!...")
                        CreateProject(sonarProjectName)
                    }

                    // 指定项目的配置
                    UpdateQualityProfiles("java", sonarProjectName, "${sonarProjectName.split('-')[0]}")
                }
            }
        }
    }
}

def SonarRequest(apiUrl,method){
    withCredentials([string(credentialsId: "52df4ad9-7167-4bf6-a1fc-2f9f17713472", variable: 'SONAR_TOKEN')]) {
        sonarApi = "http://192.168.1.200:9000/api"
        response = sh  returnStdout: true, 
            script: """
            curl --location \
                 --request ${method} \
                 "${sonarApi}/${apiUrl}" \
                 --header "Authorization: Basic ${SONAR_TOKEN}"
            """
        try {
            response = readJSON text: """ ${response - "\n"} """
        } catch(e){
            response = readJSON text: """{"errors" : true}"""
        }
        return response
        
    }
}

// 更新质量阈
def UpdateQualityProfiles(lang, projectName, profileName){
    apiUrl = "qualityprofiles/add_project?language=${lang}&project=${projectName}&qualityProfile=${profileName}"
    response = SonarRequest(apiUrl,"POST")
    
    if (response.errors != true){
        println("ERROR: UpdateQualityProfiles ${response.errors}...")
        return false
    } else {
        println("SUCCESS: UpdateQualityProfiles ${lang} > ${projectName} > ${profileName}" )
        return true
    }
}

// 创建项目
def CreateProject(projectName){
    apiUrl = "projects/create?name=${projectName}&project=${projectName}"
    response = SonarRequest(apiUrl,"POST")
    try{
        if (response.project.key == projectName ) {
            println("Project Create success!...")
            return true
        }
    }catch(e){
        println(response.errors)
        return false
    }
}

// 查找项目
def ProjectSearch(projectName){
    apiUrl = "projects/search?projects=${projectName}"
    response = SonarRequest(apiUrl,"GET")

    if (response.paging.total == 0){
        println("Project not found!.....")
        return false
    } 
    return true
}

自己实际测试过程如下：

来到jenkins共享库devops4-jenkinslib-service，我们创在Sonar.grovy文件里进行编辑：

package org.devops

def CodeScan(branchName){
    cliPath="/usr/local/sonar-scanner/sonar-scanner-4.7.0.2747-linux/bin"
    withCredentials([usernamePassword(credentialsId: '79d8f75b-3733-49f4-950f-19f8480fda03', 
                                                passwordVariable: 'SONAR_PASSWD', 
                                                usernameVariable: 'SONAR_USER')]) {
        // some block
        sh """${cliPath}/sonar-scanner  \
            -Dsonar.login=${SONAR_USER} \
            -Dsonar.password=${SONAR_PASSWD} \
            -Dsonar.projectVersion=${branchName}
        """
    }
}

def Init(projectName, lang, profileName){
    result = ProjectSearch(projectName)
    println(result)

    if (result == false){
        CreateProject(projectName)
    }

    UpdateQualityProfiles(lang, projectName, profileName)
}



// 查找项目
def ProjectSearch(projectName){
    apiUrl = "projects/search?projects=${projectName}"
    response = SonarRequest(apiUrl,"GET")

    if (response.paging.total == 0){
        println("Project not found!.....")
        return false
    } 
    return true
}


def SonarRequest(apiUrl,method){
    withCredentials([string(credentialsId: "66b7dd41-5434-43a3-8d02-505e2f2dc38f", variable: 'SONAR_TOKEN')]) {
        sonarApi = "http://172.29.9.101:9000/api"
        response = sh  returnStdout: true, 
            script: """
            curl --location \
                 --request ${method} \
                 "${sonarApi}/${apiUrl}" \
                 --header "Authorization: Basic ${SONAR_TOKEN}"
            """
        try {
            response = readJSON text: """ ${response - "\n"} """
        } catch(e){
            response = readJSON text: """{"errors" : true}"""
        }
        return response
        
    }
}

// 创建项目
def CreateProject(projectName){
    apiUrl = "projects/create?name=${projectName}&project=${projectName}"
    response = SonarRequest(apiUrl,"POST")
    try{
        if (response.project.key == projectName ) {
            println("Project Create success!...")
            return true
        }
    }catch(e){
        println(response.errors)
        return false
    }
}

// 更新项目质量配置
def UpdateQualityProfiles(lang, projectName, profileName){
    apiUrl = "qualityprofiles/add_project?language=${lang}&project=${projectName}&qualityProfile=${profileName}"
    response = SonarRequest(apiUrl,"POST")
    
    if (response.errors != true){
        println("ERROR: UpdateQualityProfiles ${response.errors}...")
        return false
    } else {
        println("SUCCESS: UpdateQualityProfiles ${lang} > ${projectName} > ${profileName}" )
        return true
    }
}

jenkinsfile代码：

@Library("mylib@main") _     //加载共享库
import org.devops.*						// 导入库

def checkout = new Checkout()    //New实例化
def build = new Build()
def unittest = new UnitTest()
def sonar = new Sonar()

//env.buildType = "${JOB_NAME}".split("-")[1]

//流水线
pipeline {
    agent { label "build" }

    options {
        skipDefaultCheckout true
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout.GetCode("${env.srcUrl}", "${env.branchName}")
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    println("Build")
                    //build.CodeBuild("${env.buildType}")
                    sh "${env.buildShell}"
                   
                }
            }
        }

        /*stage("UnitTest"){
            steps{
                script{
                    unittest.CodeTest("${env.buildType}")
                }
            }
        }*/

        stage("CodeScan"){
            steps{
                script{
                    profileName = "${JOB_NAME}".split("-")[0]
                    sonar.Init("${JOB_NAME}", "java", profileName)
                    sonar.CodeScan("${env.branchName}")
                    }
                    
                }
        }
        
    }
}

注意：也要保证devops4-maven-service项目里sonar-project.properties文件的配置正确：

提交流水线，观察效果：

符合预期。

6、其他日常使用问题

1.规则的禁用与启用

目的：掌握默认规则中的一部分规则如何激活和禁用。

进入质量配置页面，可以看到所有的语言规则配置。在这里可以看到规则的使用情况。

这里假设我要调整Go语言的规则配置，点击规则数量数字。

创建新的规则集：

点击更多激活规则，进入规则设置页面。

激活或者下线规则。（活动/挂起）

使用规则：先在页面配置项目，然后使用SonarScanner扫描。

2.质量阈的配置

目的：适用于以质量门禁作为交付关卡。

3.代码覆盖率统计

找一个具有大量单元测试的项目，然后集成jacoco插件，生成覆盖率报告，最后由sonar收集。

Maven集成Jacoco（本次在gitlab的devops4-maven-service项目里的pom.xml里刚改）

添加jacoco-maven-plugin 和junit插件。

<dependencies>
    <dependency>
        <groupId>org.jacoco</groupId>
        <artifactId>jacoco-maven-plugin</artifactId>
        <version>0.8.2</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>
</dependencies>

添加插件：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
	<artifactId>maven-compiler-plugin</artifactId>
	<version>3.6.1</version>
	<configuration>
    	<skipMain>true</skipMain>
		<skip>true</skip>
		<source>1.8</source>
		<target>1.8</target>
	</configuration>
</plugin>


<plugin>
  <groupId>org.jacoco</groupId>
  <artifactId>jacoco-maven-plugin</artifactId>
  <version>0.7.5.201505241946</version>
  <executions>
    <execution>
      <id>prepare-agent</id>
      <goals>
        <goal>prepare-agent</goal>
      </goals>
    </execution>
    <execution>
      <id>report</id>
      <phase>prepare-package</phase>
      <goals>
        <goal>report</goal>
      </goals>
    </execution>
    <execution>
      <id>post-unit-test</id>
      <phase>test</phase>
      <goals>
        <goal>report</goal>
      </goals>
      <configuration>
        <dataFile>target/jacoco.exec</dataFile>
        <outputDirectory>target/jacoco-reports</outputDirectory>
      </configuration>
    </execution>
  </executions>
  <configuration>
    <systemPropertyVariables>
      <jacoco-agent.destfile>target/jacoco.exec</jacoco-agent.destfile>
    </systemPropertyVariables>
  </configuration>
</plugin>

SonarQube安装Jacoco插件（8.9.1 版本可以跳过，已经集成）

https://github.com/SonarSource/sonar-jacoco/releases/download/1.1.0.898/sonar-jacoco-plugin-1.1.0.898.jar

# 指定代码覆盖率工具为jacoco
sonar.core.codeCoveragePlugin=jacoco
# 指定exec二进制文件存放路径
sonar.jacoco.reportPaths=target/jacoco.exec

cd devops-jacoco-service/
sonar-scanner -Dsonar.host.url=http://192.168.1.200:9000 \
-Dsonar.projectKey=devops-jacoco-service \
-Dsonar.projectName=devops-jacoco-service \
-Dsonar.projectVersion=1.0 \
-Dsonar.login=admin \
-Dsonar.password=admin \
-Dsonar.ws.timeout=30 \
-Dsonar.projectDescription="my first project!" \
-Dsonar.links.homepage=http://www.baidu.com \
-Dsonar.sources=src \
-Dsonar.sourceEncoding=UTF-8 \
-Dsonar.java.binaries=target/classes \
-Dsonar.java.test.binaries=target/test-classes \
-Dsonar.java.surefire.report=target/surefire-reports \
-Dsonar.core.codeCoveragePlugin=jacoco \
-Dsonar.jacoco.reportPaths=target/jacoco.exec

以上编辑完成后，提交，然后再jenkins上构建验证：

4.多分支代码扫描

https://github.com/mc1arke/sonarqube-community-branch-plugin/releases

1. Sonar 7.9.6版本

将插件放到extensions/plugins 和 lib/common目录中，然后重启sonar。

## 临时方案
docker exec -it sonarqube bash
cd /opt/sonarqube/lib/common
cp ../../extensions/plugins/sonarqube-community-branch-plugin-1.3.2 ./
exit

docker restart sonarqube 


## 持久化lib目录后
[root@zeyang-nuc-service sonarqube]# ls
sonarqube_conf  sonarqube_data  sonarqube_extensions  sonarqube_lib  sonarqube_logs
[root@zeyang-nuc-service sonarqube]# cp /root/sonarqube-community-branch-plugin-1.3.2.jar  sonarqube_extensions/plugins/
[root@zeyang-nuc-service sonarqube]# chmod +x sonarqube_extensions/plugins/sonarqube-community-branch-plugin-1.3.2.jar
[root@zeyang-nuc-service sonarqube]#
[root@zeyang-nuc-service sonarqube]#
[root@zeyang-nuc-service sonarqube]# cp /root/sonarqube-community-branch-plugin-1.3.2.jar  sonarqube_lib/common/
[root@zeyang-nuc-service sonarqube]# chmod +x sonarqube_lib/common/sonarqube-community-branch-plugin-1.3.2.jar
[root@zeyang-nuc-service sonarqube]#


docker restart sonarqube

##扫描参数增加 –Dsonar.branch.name=

sonar-scanner -Dsonar.host.url=http://192.168.1.200:9000 \
-Dsonar.projectKey=devops-maven2-service \
-Dsonar.projectName=devops-maven2-service \
-Dsonar.projectVersion=1.0 \
-Dsonar.login=admin \
-Dsonar.password=admin \
-Dsonar.ws.timeout=30 \
-Dsonar.projectDescription="my first project!" \
-Dsonar.links.homepage=http://192.168.1.200/devops/devops-maven-service \
-Dsonar.links.ci=http://192.168.1.200:8080/job/demo-pipeline-service/ \
-Dsonar.sources=src \
-Dsonar.sourceEncoding=UTF-8 \
-Dsonar.java.binaries=target/classes \
-Dsonar.java.test.binaries=target/test-classes \
-Dsonar.java.surefire.report=target/surefire-reports \
-Dsonar.branch.name=release-1.1.1

FAQ: 需要先把主分支扫描一遍，不然会报错。

ERROR: Error during SonarScanner execution
ERROR: No branches currently exist in this project. Please scan the main branch without passing any branch parameters.
ERROR:
ERROR: Re-run SonarScanner using the -X switch to enable full debug logging.

2. Sonar 8.9.1 版本

新版本插件的配置有变化，效果和使用方式不变。

将插件下载到extensions/plugins/目录。
更新sonar服务端的配置文件。
重启docker restart sonarqube 。

# cd /data/cicd2/sonarqube/
# ls
sonarqube_conf  sonarqube_data  sonarqube_extensions  sonarqube_logs

# cat sonarqube_conf/sonar.properties
sonar.web.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-1.8.1.jar=web
sonar.ce.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-1.8.1.jar=ce

# ls sonarqube_extensions/plugins/
sonar-gitlab-plugin-4.1.0-SNAPSHOT.jar  sonar-l10n-zh-plugin-8.9.jar  sonarqube-community-branch-plugin-1.8.0.jar

源文档描述：

1. Copy the plugin JAR file to the extensions/plugins/ directory of your SonarQube instance

2. Add -javaagent:./extensions/plugins/sonarqube-community-branch-plugin-${version}.jar=web to the sonar.web.javaAdditionalOptions property in your Sonarqube installation's config/sonar.properties file, e.g. sonar.web.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-1.8.0.jar=web

3. Add -javaagent:./extensions/plugins/sonarqube-community-branch-plugin-${version}.jar=ce to the sonar.ce.javaAdditionalOptions property in your Sonarqube installation's config/sonar.properties file, e.g. sonar.ce.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-1.8.0.jar=ce

4. Start Sonarqube, and accept the warning about using third-party plugins

实践：多分支代码扫描(测试成功)-2022.5.28

自己实际测试过程：

我们可以看到这里默认是没有其他分支的：

官网下载插件：

https://github.com/mc1arke/sonarqube-community-branch-plugin/releases

本次找到1.8.1插件：

https://github.com/mc1arke/sonarqube-community-branch-plugin/releases/download/1.8.1/sonarqube-community-branch-plugin-1.8.1.jar

配置：

#（1）进下载的插件上传到sonarqube容器里：
[root@devops ~]#ll -h  sonarqube-community-branch-plugin-1.8.1.jar 
-rw-r--r-- 1 root root 12M May 28 11:11 sonarqube-community-branch-plugin-1.8.1.jar
[root@devops ~]#docker cp sonarqube-community-branch-plugin-1.8.1.jar sonarqube:/opt/sonarqube/extensions/plugins

[root@devops ~]#docker exec -it sonarqube bash
bash-5.1# ls extensions/plugins/
README.txt                                   sonarqube-community-branch-plugin-1.8.1.jar
sonar-l10n-zh-plugin-8.9.jar
bash-5.1# 

#（2）配置/opt/sonarqube/conf/sonar.properties 文件
bash-5.1# pwd
/opt/sonarqube
bash-5.1# ls
COPYING                  data                     extensions               temp
bin                      dependency-license.json  lib                      web
conf                     elasticsearch            logs
bash-5.1# cd conf/
bash-5.1# ls
sonar.properties  wrapper.conf
bash-5.1# vim sonar.properties #将如下内容配置在最前面就好 
sonar.web.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-1.8.1.jar=web
sonar.ce.javaAdditionalOpts=-javaagent:./extensions/plugins/sonarqube-community-branch-plugin-1.8.1.jar=ce

#（3）配置完后，退出重启容器：
[root@devops ~]#docker restart sonarqube

重启sonarqube完成后，就可以看到这里的项目出现了分支字样：

在devops-maven-service项目以master分支创建一个dev分支：

修改jenkins共享库里Sonar.groovy的代码：

然后，然后在jenkins上跑一次流水线，本次是以dev分支跑：

符合预期，测试结束。

5.扫描结果关联commitid

提前装好插件：https://github.com/gabrie-allaigre/sonar-gitlab-plugin/tree/4.1.0-SNAPSHOT插件的说明文档查看该插件的Readme文档。 (仅质量阈失败后才可以展示扫描报告)

# cp sonar-gitlab-plugin-4.1.0-SNAPSHOT.jar  /data/cicd/sonarqube/sonarqube_extensions/plugins/

# chmod +x /data/cicd/sonarqube/sonarqube_extensions/plugins/sonar-gitlab-plugin-4.1.0-SNAPSHOT.jar

# docker restart sonarqube

-Dsonar.gitlab.failure_notification_mode 值为commit-status表示更改提交状态，值为nothing不做任何动作。

sonar-scanner -Dsonar.host.url=http://192.168.1.200:9000 \
-Dsonar.projectKey=devops-jacoco-service \
-Dsonar.projectName=devops-jacoco-service \
-Dsonar.projectVersion=1.0 \
-Dsonar.login=0809881d71f2b06b64786ae3f81a9acf22078e8b \
-Dsonar.ws.timeout=30 \
-Dsonar.projectDescription="my first project!" \
-Dsonar.links.homepage=http://www.baidu.com \
-Dsonar.sources=src \
-Dsonar.sourceEncoding=UTF-8 \
-Dsonar.java.binaries=target/classes \
-Dsonar.java.test.binaries=target/test-classes \
-Dsonar.java.surefire.report=target/surefire-reports \
-Dsonar.core.codeCoveragePlugin=jacoco \
-Dsonar.jacoco.reportPaths=coverage/jacoco.exec \
-Dsonar.gitlab.commit_sha=f898a9fdbd319e68d519aa2ff42ad80da5186103 \
-Dsonar.gitlab.ref_name=main \
-Dsonar.gitlab.project_id=37 \
-Dsonar.dynamicAnalysis=reuseReports \
-Dsonar.gitlab.failure_notification_mode=commit-status \
-Dsonar.gitlab.url=http://192.168.1.200 \
-Dsonar.gitlab.user_token=CwmDA_4TKevDPRh4_SEf \
-Dsonar.gitlab.api_version=v4

1.静态配置

实践：扫描结果关联commitid(静态配置)(测试failed)-2022.6.3

自己实际测试过程：

安装插件：

提前装好插件：https://github.com/gabrie-allaigre/sonar-gitlab-plugin/tree/4.1.0-SNAPSHOT

#（1）上传插件
[root@devops ~]#ll -h sonar-gitlab-plugin-4.1.0-SNAPSHOT.jar
-rw-r--r-- 1 root root 9.9M May 28 15:43 sonar-gitlab-plugin-4.1.0-SNAPSHOT.jar
[root@devops ~]#docker cp sonar-gitlab-plugin-4.1.0-SNAPSHOT.jar sonarqube:/opt/sonarqube/extensions/plugins

#(2)重启sonarqube容器
[root@devops ~]#docker restart sonarqube
sonarqube

在gitlab上生成token：

来到devops4-maven-service项目下：

找一次commit信息：并拷贝commitid

5abc33244088898bdfb494ed0a3fc134ab0f5c80

可以看到这里的评论是空的：

核对该项目的相关信息：

编辑，提交后构建运行，观察效果：

但是自己是没有效果的：……

好奇怪：

老师这里是有效果的：

好奇怪……

这里先放在这里，先进行动态配置，观察效果。

2.动态配置

实践：扫描结果关联commitid(动态配置)(测试成功)-2022.6.3

那么，接下来配置下动态的，看下效果：

-Dsonar.gitlab.commit_sha=f898a9fdbd319e68d519aa2ff42ad80da5186103 \
-Dsonar.gitlab.ref_name=main \
-Dsonar.gitlab.project_id=37 \
-Dsonar.dynamicAnalysis=reuseReports \
-Dsonar.gitlab.failure_notification_mode=commit-status \
-Dsonar.gitlab.url=http://192.168.1.200 \
-Dsonar.gitlab.user_token=CwmDA_4TKevDPRh4_SEf \
-Dsonar.gitlab.api_version=v4

获取commitID：

//获取CommitID
def GetCommitID(){
    ID = sh returnStdout: true, script:"git rev-parse HEAD"
    return ID -"\n"
}

[root@devops devops4-maven-service]#git rev-parse HEAD
b1087191a26bf36b7f77f31093a9e226a8846674

获取projectID：

因为我们是有规范的，jenkins的作业name和gitlab的项目是保持一致的：

curl --location --request GET 'http://172.29.9.101/api/v4/projects?search=devops4-maven-service' \
--header 'PRIVATE-TOKEN: MhEV52bNpbUnnSfNg1nc' \
--header 'Authorization: Basic YWRtaW46YWRtaW4xMjM='

如果获取一个不存在的项目的话，这里返回值为空。

这里直接在jenkins的pipeline的回放里临时测试一下效果：

完整代码：

pipeline {
    agent {
        label "build"
    }

    stages {
        stage("Run") {
                steps{
                    script{
                        commitID = GetCommitID()
                        groupName = "${JOB_NAME}".split('-')[0]
                        projectID = GetProjectID("${JOB_NAME}", groupName)

                        println("commitID: ${commitID}")
                        println("projectID: ${projectID}")
                    }
                }
        }
    }
}

//获取CommitID
def GetCommitID(){
    ID = sh returnStdout: true, script:"git rev-parse HEAD"
    return ID -"\n"
}

//获取ProjectID
// fork
// namespace 
// usera/devops-service-app
// userb/devops-service-app 
def GetProjectID(projectName, groupName){
    response = sh  returnStdout: true, 
        script: """ 
            curl --location --request GET \
            http://172.29.9.101/api/v4/projects?search=${projectName} \
            --header 'PRIVATE-TOKEN: MhEV52bNpbUnnSfNg1nc' \
            --header 'Authorization: Basic YWRtaW46YWRtaW4xMjM='
        """
    response = readJSON text: response
    if (response != []){
        for (p in response) {
            if (p["namespace"]["name"] == groupName){
                return response[0]["id"]
            }
        }
    }
}

运行后效果如下：

符合预期，但是注意下，这个commitID好像不是最新一次的commitID……

方法都写好了，我们就把它加到共享库里去：

共享库例的代码如下：

Jenkinsfile

@Library("mylib@main") _     //加载共享库
import org.devops.*						// 导入库

def checkout = new Checkout()    //New实例化
def build = new Build()
def unittest = new UnitTest()
def sonar = new Sonar()
def gitcli = new GitLab()

//env.buildType = "${JOB_NAME}".split("-")[1]

//流水线
pipeline {
    agent { label "build" }

    options {
        skipDefaultCheckout true
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout.GetCode("${env.srcUrl}", "${env.branchName}")
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    println("Build")
                    //build.CodeBuild("${env.buildType}")
                    sh "${env.buildShell}"
                   
                }
            }
        }

        /*stage("UnitTest"){
            steps{
                script{
                    unittest.CodeTest("${env.buildType}")
                }
            }
        }*/

        stage("CodeScan"){
            steps{
                script{
                    profileName = "${JOB_NAME}".split("-")[0]
                    sonar.Init("${JOB_NAME}", "java", profileName)


                    //commit-status
                    commitID = gitcli.GetCommitID()
                    groupName =profileName
                    projectID = gitcli.GetProjectID("${JOB_NAME}", groupName)
                    sonar.CodeScan("${env.branchName}", commitID, projectID)
                    }
                    
                }
        }
        
    }
}

GitLab.groovy

package org.devops

//获取CommitID
def GetCommitID(){
    ID = sh returnStdout: true, script:"git rev-parse HEAD"
    return ID -"\n"
}

//获取ProjectID
// fork
// namespace 
// usera/devops-service-app
// userb/devops-service-app 
def GetProjectID(projectName, groupName){
    response = sh  returnStdout: true, 
        script: """ 
            curl --location --request GET \
            http://172.29.9.101/api/v4/projects?search=${projectName} \
            --header 'PRIVATE-TOKEN: MhEV52bNpbUnnSfNg1nc' \
            --header 'Authorization: Basic YWRtaW46YWRtaW4xMjM='
        """
    response = readJSON text: response
    if (response != []){
        for (p in response) {
            if (p["namespace"]["name"] == groupName){
                return response[0]["id"]
            }
        }
    }
}

此时，在jebkins的devops4-maven-service项目运行流水线，观察效果：

可以看到，构建成功：

在gitlab的devops4-maven-service项目的commit查看效果：

符合预期，测试结束。

6.控制代码扫描步骤运行

stage("SonarScan"){
	when {
		environment name: 'skipSonar', value: 'false'
	}
}

自己测试过程：

实践：控制代码扫描步骤运行(测试成功)-2022.6.4

修改jenkins共享库里的代码：

修改Jenkinsfile里的如下代码：

然后在jenkins的devops4-maven-servicepipeline里添加选项参数：

最后，构建，并观察效果：

可以看到，本次就跳过代码扫描了。

测试结束。

7、GitLabCI-实践

老师之前写的一个python代码，可以拿来即用：

编写一个python脚本：

import os 
import requests
import json
import sys


class SonarQube(object):
    def __init__(self, project_name, lang, profile_name, cmds):
        self.server_api = "http://192.168.1.200:9000/api/"
        self.auth_token = "YWRtaW46YWRtaW4xMjM="
        self.project_name = project_name
        self.lang = lang
        self.profile_name = profile_name
        self.cmds = cmds

    def http_req(self, method, apiUrl):
        url = self.server_api + apiUrl
        payload={}
        headers = {
          'Authorization': 'Basic ' + self.auth_token
        }
        response = requests.request(method, url, headers=headers, data=payload)
        print(response.text)

        if response.text != "":
            data = json.loads(response.text)
            return data
        return {}


    def SearchProject(self):
        """查找项目"""
        url = "projects/search?projects=" + self.project_name
        response = self.http_req("GET", url)
        if response["paging"]["total"] == 0:
            return False
        return True

    def CreateProject(self):
        """创建项目"""
        apiUrl = "projects/create?name={0}&project={1}".format(self.project_name, self.project_name)
        response = self.http_req("POST", apiUrl)
        try:
            if response["project"]["key"] == self.project_name:
                return True 
        except Exception as e :
            print(e)
            print(response["errors"])
            return False

    def UpdateQualityProfiles(self):
        apiUrl = "qualityprofiles/add_project?language={0}&project={1}&qualityProfile={2}".format(
            self.lang, self.project_name, self.profile_name)

        response = self.http_req("POST", apiUrl)

        try :
            print("ERROR: UpdateQualityProfiles{0}...".format(response["errors"]))
            return False
        except Exception as e :
            print(e)
            print("SUCCESS: UpdateQualityProfiles {0} > {1} > ${2}".format(
                self.lang, self.project_name, self.profile_name))
            return True
            

    def SonarScan(self):
        result = os.system(self.cmds)
        if result == 0:
            return True
        return False


    def run(self):
        if not self.SearchProject():
            self.CreateProject()
        self.UpdateQualityProfiles()
        return self.SonarScan()

if __name__ == '__main__':
    lang = sys.argv[1]
    profile_name = sys.argv[2]
    CI_PROJECT_NAME, CI_COMMIT_SHA, SONAR_AUTH_TOKEN,CI_PROJECT_TITLE,CI_PROJECT_URL,CI_PIPELINE_URL,CI_COMMIT_REF_NAME,CI_PROJECT_ID,CI_SERVER_URL ,GITLAB_ADMIN_TOKEN = sys.argv[3:]
    print(CI_PROJECT_NAME)
    sonarcmds = """
sonar-scanner \
-Dsonar.host.url=http://192.168.1.200:9000 \
-Dsonar.projectKey={0} \
-Dsonar.projectName={0} \
-Dsonar.projectVersion={1} \
-Dsonar.login={2} \
-Dsonar.ws.timeout=30 \
-Dsonar.projectDescription={3}  \
-Dsonar.links.homepage={4} \
-Dsonar.links.ci={5} \
-Dsonar.sources=src \
-Dsonar.sourceEncoding=UTF-8 \
-Dsonar.java.binaries=target/classes \
-Dsonar.java.test.binaries=target/test-classes \
-Dsonar.java.surefire.report=target/surefire-reports \
-Dsonar.core.codeCoveragePlugin=jacoco \
-Dsonar.jacoco.reportPaths=target/jacoco.exec \
-Dsonar.gitlab.commit_sha={1} \
-Dsonar.gitlab.ref_name={6} \
-Dsonar.gitlab.project_id={7} \
-Dsonar.dynamicAnalysis=reuseReports \
-Dsonar.gitlab.failure_notification_mode=nothing \
-Dsonar.gitlab.url={8} \
-Dsonar.gitlab.user_token={9} \
-Dsonar.gitlab.api_version=v4
""".format( 
CI_PROJECT_NAME, 
CI_COMMIT_SHA, 
SONAR_AUTH_TOKEN,
CI_PROJECT_TITLE,
CI_PROJECT_URL,
CI_PIPELINE_URL,
CI_COMMIT_REF_NAME,
CI_PROJECT_ID,
CI_SERVER_URL,
GITLAB_ADMIN_TOKEN)
     
    result = SonarQube(CI_PROJECT_NAME, lang, profile_name, sonarcmds ).run()
    print(result)

脚本调用：

python3 sonarqube.py  \
"java" "devops03" "devops-test" "99d098ef066b79d577a98220a17959465f4dd750"  "9e7e39a14a96bc886fdde43388b91e810491b7dc" "devops" "http://192.168.1.200/devops/devops-maven-service"  "http://192.168.1.200:8080/job/demo-pipeline-service/" "master" "5" "http://192.168.1.200" "apF1R9s9JJBYJzLF5mYd"

gitlabCI.yml

include:
  - project: 'devops03/devops03-gitlabci-lib'
    ref: main
    file: 
      - '/jobs/CI.yaml'

workflow:
  rules:
    - if: $CI_PIPELINE_SOURCE == "web"
      when: always
    - if: $CI_COMMIT_BEFORE_SHA == "0000000000000000000000000000000000000000"
      when: never
    - when: always

variables:
  GIT_CHECKOUT: "false"   ## 全局关闭作业代码下载
  BUILD_SHELL: "mvn clean package -DskipTests -s settings.xml"  ## 构建命令
  TEST_SHELL: "mvn test -s settings.xml"                        ## 测试命令
  ARTIFACT_PATH: "target/*.jar"                                 ## 制品路径
  TEST_REPORTS: "target/surefire-reports/TEST-*.xml"            ## 测试报告

stages:
  - build
  - test
  - sonarscan

pipelineInit:
  extends: 
    - .pipelineInit

cibuild:
  extends:
    - .cibuild

citest:
  extends:
    - .citest
sonarscan:
  tags:
    - build 
  stage: sonarscan
  script:
    |- 
      curl "http://192.168.1.200/devops03/devops03-gitlabci-lib/-/raw/main/utils/SonarQube.py" \
      -o sonarqube.py -s
      python sonarqube.py  "java" ${CI_PROJECT_ROOT_NAMESPACE} ${CI_PROJECT_NAME} ${CI_COMMIT_SHA} \
      ${SONAR_AUTH_TOKEN} ${CI_PROJECT_TITLE} ${CI_PROJECT_URL} ${CI_PIPELINE_URL}  ${CI_COMMIT_REF_NAME} \
      ${CI_PROJECT_ID} ${CI_SERVER_URL}  ${GITLAB_ADMIN_TOKEN}

自己本次使用gitlabci测试

先删除devops4-maven-service代码库的sonar-project.properties文件的一些代码：

修改gitlab模板库里的代码：

devops4-gitlablib-service

就是把jenkins里的代码拿过来就好：

修改jobs/CI.yml：

这里找一下gitlab的变量：

https://docs.gitlab.com/ee/ci/variables/predefined_variables.html

在devops4组里配置token：

MhEV52bNpbUnnSfNg1nc

最终配置如下：

      -Dsonar.branch.name=${CI_COMMIT_BRANCH} \
      -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} \
      -Dsonar.gitlab.ref_name=${CI_COMMIT_BRANCH} \
      -Dsonar.gitlab.project_id=${CI_PROJECT_ID} \
      -Dsonar.dynamicAnalysis=reuseReports \
      -Dsonar.gitlab.failure_notification_mode=commit-status \
      -Dsonar.gitlab.url=http://172.29.9.101 \
      -Dsonar.gitlab.user_token=${GITLAB_TOKEN} \
      -Dsonar.gitlab.api_version=v4

在gitlab的devops4-maven-service项目里提交一次流水线，观察效果：

符合预期，测试结束。

8、SonarQube 插件

官网： http://sonarqube.org
中文插件： https://github.com/xuhuisheng/sonar-l10n-zh/tree/master
scanner下载：https://docs.sonarqube.org/8.9/analysis/overview/
插件源：https://update.sonarsource.org/
API文档： http://192.168.1.200:9000/web_api
多分支插件： https://github.com/mc1arke/sonarqube-community-branch-plugin/releases
关联提交：https://github.com/gabrie-allaigre/sonar-gitlab-plugin/tree/4.1.0-SNAPSHOT

关于我

我的博客主旨：

排版美观，语言精炼；
文档即手册，步骤明细，拒绝埋坑，提供源码；
本人实战文档都是亲测成功的，各位小伙伴在实际操作过程中如有什么疑问，可随时联系本人帮您解决问题，让我们一起进步！

微信二维码
x2675263825 （舍得）， qq：2675263825。

微信公众号
《云原生架构师实战》

csdn
https://blog.csdn.net/weixin_39246554?spm=1010.2135.3001.5421

博客
www.onlyyou520.com

知乎

https://www.zhihu.com/people/foryouone

最后

好了，关于本次就到这里了，感谢大家阅读，最后贴上我女神的photo，祝大家生活快乐，每天都过的有意义哦，我们下期见！

你可能感兴趣的:(devops)

钉钉自定义机器人 AlphaHinex
原文地址：https://alphahinex.github.io/2022/03/06/dingtalk-custom-robot/description:"像发手机短信一样方便"date:2022.03.0610:34categories:-DevOpstags:[Dingtalk,Robot]keywords:dingtalk,robot,钉钉,机器人,聊天机器人聊天机器人从hubot起接触
Prometheus与Grafana在DevOps中的应用与最佳实践范范0825 prometheus grafana devops
Prometheus与Grafana在DevOps中的应用与最佳实践随着DevOps文化和实践的普及，监控和可视化工具已成为DevOps工具链中不可或缺的部分。Prometheus和Grafana是其中最受欢迎的开源监控解决方案之一，它们的结合能够为系统和应用程序提供全面的监控、告警和可视化展示。本篇文章将详细探讨Prometheus和Grafana在DevOps中的应用场景、最佳实践，以及如何构
DevOps -分布式追踪与监控 Flying_Fish_Xuan devops ci/cd 自动化
DevOps中的分布式追踪与监控在当今的DevOps环境中，随着微服务架构和云原生应用的广泛采用，系统复杂性显著增加，传统的监控方式已经无法满足现代分布式系统的需求。为了提高系统可观测性，分布式追踪和监控成为现代DevOps实践中至关重要的工具。通过分布式追踪，开发者可以深入了解跨多个服务和组件的请求流，并通过监控实时捕捉系统的运行状态和性能数据，从而迅速定位和解决问题。本文将深入探讨分布式追踪与
【干货】你可能不知道的 20个 Linux 网络工具迷途不归路
转载自公众号：DevOps技术栈原文链接：http://linoxide.com/monitoring-2/network-monitoring-tools-linux/如果要在你的系统上监控网络，那么使用命令行工具是非常实用的，并且对于Linux用户来说，有着许许多多现成的工具可以使用，如：nethogs,ntopng,nload,iftop,iptraf,bmon,slurm,tcptrack
828华为云征文 | 使用Flexus云服务器X实例部署Kubernetes图形化管理平台降世神童华为云服务器 kubernetes
828华为云征文|使用Flexus云服务器X实例部署Kubernetes图形化管理平台1.基础部署环境说明2.部署Kubernetes环境3.部署KubernetesDashboard4.创建登录账号token5.访问KubernetesDashboard1.基础部署环境说明 Kubernetes作为当今最流行的容器编排平台，随着云计算、微服务架构和DevOps文化的普及，Kubernetes在
NineData云原生智能数据管理平台新功能发布｜2024年8月版 NineData 数据备份与恢复数据库DevOps 数据复制数据库 NineData DevOps 数据迁移数据复制
本月发布10项更新，其中重点发布5项、其他发布5项。重点发布数据库DevOps-敏感数据保护功能大幅升级敏感数据保护全新升级，新增支持敏感数据等级，方便进行分类分级管控，加入数据类型概念，用于智能识别数据源中的敏感字段并支持自动添加。同时加入敏感数据大盘，让系统管理员可轻松了解当前组织下敏感数据的整体状态。另外还新增了多种脱敏算法和识别规则，现已可覆盖大部分用户场景。数据库DevOps-数据库De
一分钟了解云原生应用实践与未来趋势 shawn2000
一分钟了解云原生应用实践与未来趋势1.什么是云原生云原生既包含技术（微服务，敏捷基础设施），也包含管理（DevOps，持续交付等），是一系列Cloud技术、企业管理方法的集合。云原生应用架构包含三个特征：容器化、微服务和DevOps。容器已有10来年的历史，2013年开源的Docker容器引擎，被开发者所广泛熟悉.容器可以理解为隔离环境的“运行时”，这也很好诠释了Docker集装箱的理念---Bu
centos7安装pyenv与pip来管理不同python环境心软且酷丶 python linux python virtualenv
概述：pyenv是一个Python版本管理工具，它能够进行全局的Python版本切换，也可以为单个项目提供对应的Python版本。使用pyenv后，可以在服务器上安装多个不同的Python版本，也可以安装不同的Python实现，不同Python版本之间的切换也非常简单。pyenv安装:1、安装git工具[root@devops~]#yuminstallgit2、安装pyenv首先把项目从githu
【DevOps工具链整合】Jenkins、GitLab、Docker、Kubernetes 爱技术的小伙子 devops jenkins gitlab
DevOps工具链整合：Jenkins、GitLab、Docker、Kubernetes目录引言DevOps简介工具介绍JenkinsGitLabDockerKubernetes工具链整合的意义DevOps工具链整合实践环境准备GitLab的CI/CD集成Jenkins的使用Docker容器化Kubernetes部署整合中的挑战及解决方案案例分析结论引言在现代软件开发中，DevOps已经成为提升开
详解Elastic Search及架构清风一徐 elasticsearch 大数据搜索引擎
前言如果我有三段文本，id分别为0、1、2,具体如下，我要找到哪段文本里有关键词es，这时最容易想到的办法就是依次遍历文本，匹配es，最后将符合的文本id输出。0ilikees1ilovees2iusedevops上述方法在数据量小的时候非常合适，但是我有几十万上百万以及更多的数据的时候，这样依次遍历，速度非常慢，不适合生产使用，通过关键词搜索这个生活中非常常见，抖音搜索想看的视频或博主，淘宝搜索
DevOps实战：使用GitLab+Jenkins+Kubernetes(k8s)建立CI_CD解决方案北京少女的梦 devops gitlab jenkins
一.系统环境本文主要基于Kubernetes1.21.9和Linux操作系统CentOS7.4。服务器版本docker软件版本Kubernetes(k8s)集群版本CPU架构CentOSLinuxrelease7.4.1708(Core)Dockerversion20.10.12v1.21.9x86_64CI/CD解决方案架构图：CI/CD解决方案架构图描述：程序员写好代码之后，向gitlab代码
【SpringCloud微服务实战10】DevOps自动化部署微服务项目(Jenkins+Docker+K8s) 李维山 Java spring cloud 微服务 jenkins docker k8s
一、什么是DevOpsDevOps是一种重视软件开发人员（Developer）和运维人员（Operations）之间沟通与协作的文化、运动或实践，目标在于快速交付高质量的软件产品和服务。DevOps强调自动化流程、持续集成与交付（CI/CD）、以及通过工具链、敏捷方法论和跨职能团队协作来增强软件的可靠性和安全性。在DevOps中，开发、测试、部署和监控等多个环节紧密连接，形成一个高效的工作流。以下
使用 ELK Stack 进行云原生日志记录和监控：AWS 中的开发运营方法数云界 elk 云原生 aws
使用ELKStack进行云原生日志记录和监控欢迎来到雲闪世界。在当今的云原生世界中，日志记录和监控是强大的DevOps策略的重要组成部分。监控应用程序性能、跟踪错误和分析日志对于确保无缝操作和主动识别潜在问题至关重要。在本文中，我们将指导您使用AWS上的ELKStack（Elasticsearch、Logstash和Kibana）设置云原生日志记录和监控，从而实现以DevOps为中心的方法来管理基
【DevOps工具篇】使用Ansible部署Keycloak oauth2proxy 和单点登录（SSO）设置小涵 DevOps企业级项目实战 devops ansible 运维 ldap keycloak proxy oauth
【DevOps工具篇】使用Ansible部署Keycloakoauth2proxy和单点登录（SSO）设置目录【DevOps工具篇】使用Ansible部署Keycloakoauth2proxy和单点登录（SSO）设置Ansible基础知识部署Keycloak创建OIDC-客户端创建oauth2proxy部署顶级AnsiblePlaybookHost.iniplaybook.yaml推荐超级课程：D
【DevOps工具篇】Keycloak中设置LDAP认证小涵 DevOps企业级项目实战 devops 运维 ldap keycloak
【DevOps工具篇】Keycloak中设置LDAP认证目录【DevOps工具篇】Keycloak中设置LDAP认证本次使用的环境服务器配置LDAP目录结构使用存储在LDAP中的用户进行登录Keycloak配置步骤功能测试从LDAP向Keycloak批量添加用户Keycloak配置步骤功能测试推荐超级课程：Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战启用K
【DevOps工具篇】Keycloak中设置与OpenLDAP认证集成小涵 DevOps企业级项目实战 devops 运维 openldap ldap phpldapadmin keycloak AD
【DevOps工具篇】Keycloak中设置与OpenLDAP认证集成目录【DevOps工具篇】Keycloak中设置与OpenLDAP认证集成步骤1.启动一个用于安装OpenLDAP的EC2实例步骤2.安装OpenLDAP启动docker容器查看所有用户信息extendedLDIFLDAPv3basewithscopesubtreefilter:(objectclass=*)requesting
【DevOps】SD-WAN 详解：定义、架构、优势与应用 Coder加油! 运维 DevOps devops 架构运维 sdwan
目录一、传统WAN的局限性二、SD-WAN的解决方案三、SD-WAN的架构四、SD-WAN的关键特点五、SD-WAN的优势六、SD-WAN的应用场景七、总结SD-WAN(Software-DefinedWideAreaNetwork)是一种利用软件定义网络(SDN)技术来简化分支机构与数据中心或云端之间连接的网络架构。它通过集中控制和自动化，优化网络流量路径，提高网络性能和灵活性，并降低运营成本。
如何在极狐GitLab中添加 SSH Key？极小狐 DevOps DevSecOps GitLab 极狐GitLab 安全合规
本文分享如何生成SSHKey并添加到极狐GitLab中，然后用SSHKey进行代码拉取。极狐GitLab是GitLab在中国的发行版，可以私有化部署，对中文的支持非常友好，是专为中国程序员和企业推出的企业级一体化DevOps平台，一键就能安装成功。安装详情可以查看官网指南。SSHKey对于通过ssh来进行极狐GitLab代码拉取是重要的，完成整个流程一般分为三步：SSHKey的生成添加SSHKey
hive学习笔记之五：分桶程序员欣宸
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop基础UDF用户自定义聚合函数(UDAF)UDTF本篇概览本文是《hive学习笔记》的第五篇
k8s pod container内存指标说明 yifeiliu338 k8s kubernetes 容器云原生
一、问题描述我司平台研发的devops平台底层采用k8s实现，k8s自带cadvisor进行集群指标收集，根据官网，我们选用了container_memory_working_set_bytes（容器的工作集使用量）作为内存使用量的观察项，但随着后续使用过程中发现该指标上升到一定大小后就会维持不变，并不像应用实际内存使用量，没出现波动；来自kubernetes对该问题的讨论（讨论了5年多了）：ht
Azure DevOps Server 2020.1 新增功能 (TFS) Azure DevOps 项目管理微软 gwt symfony paas
1.概述自2005年开始，微软在VSS的基础上发布了TFS(2019年开始更名为AzureDevOpsServer)的第一个版本TFS2005,后续陆续发布了2008/2010/2012/2013/2015/2017/2018/2019/2020，每个版本都会给用户带来令人兴奋的功能。同样，微软即将发布的AzureDevOpsServer2020Update1也为我们带来了一波与软件研发项目管理最
极狐GitLab 17.3 重点功能解读极小狐 gitlab 极狐GitLab DevOps ci/cd kubernetes
极狐GitLab是GitLab在中国的发行版，可以私有化部署，对中文的支持非常友好，是专为中国程序员和企业推出的企业级一体化DevOps平台，一键就能安装成功。安装详情可以查看官网指南。极狐GitLab17.3正式发布了多项与敏捷项目管理、源代码托管、CI/CD及安全合规相关的更新，以下是部分重点功能解读。完整版本功能解读参考https://gitlab.cn/resources/articles
DevOps Azure Pipeline 发布失败 MSB4226 Zhen (Evan) Wang devops azure 运维
DevOpsAzure利用pipeline发布项目,报错MSB4226.ErrorMSB4226:Theimportedproject"C:\ProgramFiles(x86)\MicrosoftVisualStudio\2019\BuildTools\MSBuild\Current\Bin\WebApplications\Microsoft.WebApplication.targets"wasn
[【DevOps】调用 Jenkins 的 API 接口时出现 HTTP 403 错误阿寻寻 devops jenkins http
调用Jenkins的API接口时出现HTTP403错误1.**检查身份验证信息**a.**API令牌**b.**BasicAuth**2.**检查用户权限**a.**确保用户有足够的权限**3.**检查CSRF防护设置**a.**禁用CSRF**b.**提供CSRFToken**4.**网络配置和代理问题**a.**检查代理设置**5.**其他常见问题**总结当调用Jenkins的API接口时出现
什么是DevOps？什么是DORA？十年铸器 IT项目与团队运维 DORA
1.前言对于搞云原生应用的同学，对于DevOps和DORA应该都不陌生。但对于传统应用程序开发的同学，经常被DevOps,Microservice,CICD,DORA这些新颖的名词搞得晕头转向。那么到底什么是DevOps?什么是DORA呢？2.解析2.1DevOpsDevOps并不是凭空创造出来的一个概念，它也是有着历史的发展过程的。在知乎上找到了一篇不错的文章，对DevOps的解析很清楚，感兴趣
什么是DevOps? IMPso devops 数据库运维
DevOps定义：DevOps（Development和Operations的组合词）是一种重视“软件开发人员（Dev）”和“IT运维技术人员（Ops）”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程，来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。devops概念的提出：软件开发初期，项目开发好，找台服务器安装好环境，把jar包scp到远程服务器，放上去开启服务
什么是数据库 DevOps？ Bytebase 数据库运维 DBA 开发者数据库管理 DevOps
原文地址https://www.bytebase.com/blog/what-is-database-devops/在深入研究数据库DevOps之前，先回顾一下什么是DevOps。它没有统一的定义，但我们知道它起源于软件开发方法与部署和运维的结合。大约2007年和2008年，软件开发和IT界人士提出了这样的担忧：两个行业的分离，即编写和创建软件与部署和支持软件的人员完全分离，正在给行业带来致命的功
【DevOps实践】6. TAPD集成实现Jenkins流水线持续集成笔名辉哥
1.摘要TAPD是腾讯的敏捷开发管理工具，现在集成到企业微信，已对外免费开放。TAPD流水线是支持集成企业正在使用的持续集成平台，提供可视化流水线，支持构建任务展示与管理。这里以Jenkins集成为例，介绍流水线相关功能：完成关联配置后，Jenkins中的构建和部署结果将会自动同步至TAPD流水线中，可以在TAPD中直接查看流水线任务列表，执行状态，构建范围等信息，并可以直接触发流水线执行。2.T
devops学习思路 O-0-O devops学习运维
一、关于devops流程win上建个maven项目，使用win上的nexus私服。使用git版本管理。wmware搭建gitlab、jenkins、ldap、artifactory。做一套简单的流程。后面可以加代码扫描、单元测试等等功能。二、maven、nexus私服学习目标架构课里的课程API操作：上传jar包备份策略三、git、gitlab学习目标架构课里的课程gitlab部署安装gitlab
DevOps安全性的重要性体现在哪？ weixin_54503231 devops 运维
DevOps的安全性，也称为DevSecOps，是DevOps领域中的一个重要方面，它强调将安全实践集成到DevOps流程中，以提高代码发布的质量和速度，并降低安全漏洞的风险。DevOps安全性的重要性：提高代码质量和速度：通过将安全实践集成到开发和运营流程的各个方面，可以确保在快速迭代和发布的同时，保持代码的高质量。降低安全漏洞风险：通过持续的安全监测和评估，可以及时发现并修复潜在的安全漏洞，从
关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题何必如此 jsp 超链接文件下载窗口
生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识：首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
linux上独立安装部署spark daizj linux 安装 spark 1.4 部署
下面讲一下linux上安装spark，以 Standalone Mode 安装 1）首先安装JDK 下载JDK：jdk-7u79-linux-x64.tar.gz ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz 然后配置 ~/.bashrc&nb
Java 字节码之解析一周凡杨 java 字节码 javap
一： Java 字节代码的组织形式类文件 { OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
java各种小工具代码 g21121 java
1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
加快FineReport报表设计的几个心得体会老A不折腾 finereport
一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
mysql linux启动与停止墙头上一根草
如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
Spring中事务管理浅谈 aijuans spring 事务管理
Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理拿一个XML举例 [html] view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
php中隐形字符65279（utf-8的BOM头）问题 alxw4616
php中隐形字符65279（utf-8的BOM头）问题今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror. 调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.
调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶对象的传递与调用技巧
类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇) 类和对象的基础概念: JAVA中万事万物都是类类有字段(属性),方法,嵌套类和嵌套接
JDK1.5 AtomicLong实例 bijian1013 java thread java多线程 AtomicLong
JDK1.5 AtomicLong实例类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。
自定义的RPC的Java实现 bijian1013 java rpc
网上看到纯java实现的RPC，很不错。 RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
在Spark Shell上，通过创建HiveContext可以直接进行Hive操作 1. 操作Hive中已存在的表 [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
F5　往header加入客户端的ip ronin47
when HTTP_RESPONSE {if {[HTTP::is_redirect]}{ HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
mongoDB 索引开窍的石头 mongoDB索引
在这一节中我们讲讲在mongo中如何创建索引得到当前查询的索引信息 db.user.find(_id:12).explain(); cursor: basicCoursor 指的是没有索引 &
[硬件和系统]迎峰度夏 comsci 系统
从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内所以，从现在开始准备渡过炎热的夏天。。。。每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系) 坐的，躺的地方要有凉垫，床上要有凉席电脑的机箱
基于ThinkPHP开发的公司官网 cuiyadll 行业系统
后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统轻量级企业网站管理系统运行环境:PHP5.3+, MySQL5.0 系统预览系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应响应式的网站设计能够对用户产生友好度，并且对于
Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms 事务承认 MQ acknowledge
JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
Centos添加硬盘完全教程 dcj3sjt126com linux centos hardware
Linux的硬盘识别: sda 表示第1块SCSI硬盘 hda 表示第1块IDE硬盘 scd0 表示第1个USB光驱一般使用“fdisk -l”命
yii2 restful web服务路由 dcj3sjt126com PHP yii2
路由随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。在实践中，你通常要用美观的URL并采取有优势的HTTP动词。例如，请求POST /users意味着访问user/create动作。这可以很容易地通过配置urlManager应用程序组件来完成如下所示
MongoDB查询(4)——游标和分页[八] eksliang mongodb MongoDB游标 MongoDB深分页
转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
Activity的四种启动模式和onNewIntent() gundumw100 android
Android中Activity启动模式详解　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
攻城狮送女友的CSS3生日蛋糕 ini html Web html5 css css3
在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm 代码如下： <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcat Web servlet 网络应用网络协议
Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。先看javax.servlet.servlet接口源码： package
JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 java VO Hibernate po
PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。　实际上，这个VO被用作Data Transfer
mongodb group by date 聚合查询日期统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境 mongodb 纵观千象
/* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
java之18天常用的类(一) Luob. Math Date System Runtime Rundom
System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
maven wuai maven
1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在