HummerRisk V1.0 开发手册(微服务版)

HummerRisk 是开源的云原生安全平台,以非侵入的方式解决云原生环境的安全和治理问题。核心能力包括混合云的安全治理和容器云安全检测。

本文将介绍HummerRisk 1.0以后的开发准备工作。

v1.0.0 以后的版本,代码在 dev 分支。欢迎大家在 dev 开发分支提交 pr 。

项目结构

1. 系统模块

HummerRisk V1.0 开发手册(微服务版)_第1张图片

 

2. 系统需求

  • JDK >= 17 (推荐17版本)
  • Mysql >= 8.0 (推荐8.0.32版本)
  • Maven >= 3.6 (推荐3.6.3版本)
  • Node >= 16.1 (推荐16.1.0版本)
  • Redis >= 6.2 (推荐6.2.10版本)
  • nacos >= 2.2 (推荐2.2.0版本)
  • sentinel >= 1.6.0

3. 技术选型

1)系统环境

  • Java EE 17
  • Servlet 3.0
  • Apache Maven 3

2)主框架

  • Spring Boot 3.0.0
  • Spring Cloud 2022.0.1
  • Spring Framework 6.0.0
  • Spring Security 6.0.0

3)持久层

  • Apache MyBatis 3.5.x
  • Hibernate Validation 6.0.x
  • Alibaba Druid 1.2.x

4)视图层

  • Vue 2.6.x
  • Axios 0.21.0
  • Element 2.15.x

4. 系统端口

  • hmr-ui [80]
  • hmr-flyway [9000]
  • hmr-gateway [8080]
  • hmr-auth [9200]
  • hmr-system [9300, 9301, 8001]
  • hmr-cloud [9400, 9401, 8002]
  • hmr-k8s [9500, 9501, 8003]
  • hmr-monitor [9100]
  • hmr-mysql [3306]
  • hmr-nacos [8848, 9848]
  • hmr-redis [6379]
  • hmr-job [8084]

配置开发环境

1. 环境准备

后端

HummerRisk 后端使用了 Java 语言的 Spring Cloud 框架,并使用 Maven 作为项目管理工具。开发者需要先在开发环境中安装 JDK 17 及 Maven。

前端

HummerRisk 前端使用了 Vue.js 作为前端框架,ElementUI 作为 UI 框架,并使用 npm 或 yarn 作为包管理工具。开发者请先下载 Node.js 或 Yarn 作为运行环境,IDEA 用户建议安装 Vue.js 插件,便于开发。

安装 npm 或 yarn

进入网站 https://nodejs.org/en/download

或 https://yarn.bootcss.com/docs/install, 选择相应的安装包进行安装即可。

相关组件

  • nacos: https://nacos.io/zh-cn/docs/quick-start.html
  • redis: https://redis.io/
  • xxl-job: HummerRisk/xxl-job

2. 初始化配置

数据库初始化

HummerRisk 使用 MySQL 数据库,推荐使用 MySQL 8.0 版本。同时 hummerrisk 对数据库部分配置项有要求,请参考下附的数据库配置,修改开发环境中的数据库配置文件

[mysqld]
default-storage-engine=INNODB
lower_case_table_names=1
table_open_cache=128
max_connections=2000
max_connect_errors=6000
innodb_file_per_table=1
innodb_buffer_pool_size=1G
max_allowed_packet=1G
slave_max_allowed_packet=1G
transaction_isolation=READ-COMMITTED
innodb_flush_method=O_DIRECT
innodb_lock_wait_timeout=1800
innodb_flush_log_at_trx_commit=0
sync_binlog=0
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
skip-name-resolve

注意:Windows 系统数据库初始化配置应删除 innodb_flush_method 参数,请参考文章。

https://bugs.mysql.com/bug.php?id=40757

请参考文档中的建库语句创建 HummerRisk 使用的数据库,HummerRisk 服务启动时会自动在配置的库中创建所需的表结构及初始化数据。

CREATE DATABASE `hummer_config` /*!40100 DEFAULT CHARACTER SET utf8mb4 */
CREATE DATABASE `hummer_risk` /*!40100 DEFAULT CHARACTER SET utf8mb4 */

3. 配置参数

HummerRisk 本地开发需要各种配置,请参考下面配置参数。

提示: 请自行将 HMR_MYSQL_HOST 等配置参数设置为自己的 MySQL 地址,以下每一项参数都可以在项目的 bootstrap.yml 配置文件或者 nacos 配置数据里找到。

HummerRisk V1.0 开发手册(微服务版)_第2张图片HummerRisk V1.0 开发手册(微服务版)_第3张图片

hummer-flyway 如图所示,将各种配置信息拷贝到启动 IDEA 的环境变量中。(原理:因为首次启动项目,hummer-flyway 需要初始化 nacos 的数据,初始化之后 hummer-flyway 项目只要没有更新 flyway sql,就不再需要启动了)

# hummer-flyway 本地开发的各种配置
HMR_NACOS_SERVER_ADDR=127.0.0.1;HMR_REDIS_HOST=127.0.0.1;HMR_REDIS_PORT=6379;HMR_REDIS_PASSWORD=;HMR_MYSQL_HOST=127.0.0.1;HMR_MYSQL_PORT=33060;HMR_MYSQL_DB_NACOS=hummer_config;HMR_MYSQL_DB=hummer_risk;HMR_MYSQL_USER=root;HMR_MYSQL_PASSWORD=root;HMR_XXL_JOB_ADDR=127.0.0.1

HummerRisk V1.0 开发手册(微服务版)_第4张图片HummerRisk V1.0 开发手册(微服务版)_第5张图片

hummer-auth、hummer-gateway、hummer-cloud、hummer-k8s、hummer-system、hummer-monitor 等项目如图所示,将各种配置信息拷贝到启动 IDEA 的环境变量中。

# hummer-auth、hummer-gateway、hummer-cloud、hummer-k8s、hummer-system、hummer-monitor 本地开发的各种配置
HMR_NACOS_SERVER_ADDR=127.0.0.1;HMR_REDIS_HOST=127.0.0.1;HMR_REDIS_PORT=6379;HMR_REDIS_PASSWORD=;HMR_MYSQL_HOST=127.0.0.1;HMR_MYSQL_PORT=33060;HMR_MYSQL_DB=hummer_risk;HMR_MYSQL_USER=root;HMR_MYSQL_PASSWORD=root;HMR_XXL_JOB_ADDR=127.0.0.1;HMR_XXL_SYSTEM_ADDR=127.0.0.1;HMR_XXL_CLOUD_ADDR=127.0.0.1;HMR_XXL_K8S_ADDR=127.0.0.1

代码运行

IDEA 方式运行

启动顺序

  1. 启动 mysql、nacos、redis
  2. 启动 hummer-flyway (第一次初始化数据启动一次,后面 flyway 无变化时,跳过此步骤)
  3. 启动 hummer-auth、hummer-gateway
  4. 启动 xxl-job
  5. 启动 hummer-cloud、hummer-k8s、hummer-system、hummer-ui、hummer-monitor(监控,本地开发可以不启动)

先启动本地组件

本地启动 mysql 8.0 (本地如果已经有 mysql 5.7,可以用 docker 启动 mysql 8.0)

docker pull mysql/mysql-server:latest
docker run -itd --name mysql -p 33060:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql/mysql-server

本地启动 nacos (sh startup.sh -m standalone)

git clone https://github.com/alibaba/nacos.git
cd nacos/
mvn -Prelease-nacos -Dmaven.test.skip=true clean install -U  
ls -al distribution/target/


// change the $version to your actual path
cd distribution/target/nacos-server-$version/nacos/bin
unzip nacos-server-$version.zip 或者 tar -xvf nacos-server-$version.tar.gz
// 修改数据库配置,连接本地 mysql
vim nacos/conf/application.properties


# 将如下配置进行修改


### Count of DB:
db.num=1


### Connect URL of DB:
spring.datasource.platform=mysql
db.url.0=jdbc:mysql://localhost:33060/hummer_config?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
db.user=root
db.password=root


flyway.enabled=true

本地启动 redis

redis-server --port 6379

1) 创建项目

  • 新建一个 git 项目 输入主工程 git 地址: [email protected]:HummerRisk/HummerRisk.git。
  • 配置 maven 并引入 pom.xml。
  • 本地采用 jdk 17,打包镜像需要 tool.jar,但是本地开发不需要,所以注释这一段。

HummerRisk V1.0 开发手册(微服务版)_第6张图片

 

  • 在 HummerRisk 目录下,执行 mvn clean install。将 common 等基础包打到项目里。

HummerRisk V1.0 开发手册(微服务版)_第7张图片

 

2) 启动 hummer-flyway 项目

1. 在启动配置中添加 Spring Boot 启动项,直接启动 Spring Boot 项目即可。

2. 后端服务成功运行如下所示。HummerRisk V1.0 开发手册(微服务版)_第8张图片

 

3) 启动 hummer-auth 项目

  1. 在启动配置中添加 Spring Boot 启动项,直接启动 Spring Boot 项目即可。
  2. 后端服务成功运行如下所示。

HummerRisk V1.0 开发手册(微服务版)_第9张图片

 

4) 启动 xxl-job

  1. 本地启动 xxl-job(定时任务,执行检测用,在启动 hummerrisk 其他微服务之前启动)
  2. 新建一个 git 项目 输入主工程 git 地址: [email protected]:HummerRisk/xxl-job.git。
git clone [email protected]:HummerRisk/xxl-job.git


# 配置参数放到环境变量
HMR_NACOS_SERVER_ADDR=127.0.0.1;HMR_REDIS_HOST=127.0.0.1;HMR_REDIS_PORT=6379;HMR_REDIS_PASSWORD=;HMR_MYSQL_HOST=127.0.0.1;HMR_MYSQL_PORT=33060;HMR_MYSQL_DB=hummer_risk;HMR_MYSQL_USER=root;HMR_MYSQL_PASSWORD=root;HMR_XXL_JOB_ADDR=127.0.0.1;HMR_XXL_SYSYTEM_ADDR=127.0.0.1;HMR_XXL_CLOUD_ADDR=127.0.0.1;HMR_XXL_K8S_ADDR=127.0.0.1


# IDEA 启动 xxl-job 项目 XxlJobAdminApplication

HummerRisk V1.0 开发手册(微服务版)_第10张图片

 

5) 启动其他项目

  1. 在启动配置中添加 Spring Boot 启动项,直接启动 Spring Boot 项目即可。
  2. 启动 hummer-gateway、hummer-cloud、hummer-k8s、hummer-system、hummer-monitor(监控,本地开发可以不启动)
  3. 服务成功运行如下所示。

HummerRisk V1.0 开发手册(微服务版)_第11张图片

 

6) 启动前端

进入 hummer-ui 目录,执行以下命令安装相关前端组件。

npm install

进入到 hummer-ui 目录,执行以下命令启动前端服务。

npm run serve

或者使用 yarn 启动

# 项目设置
yarn install
# 编译并最小化生产
yarn build
# 编译和热重装以进行开发
yarn serve

前端服务成功运行如下所示。

HummerRisk V1.0 开发手册(微服务版)_第12张图片

 

本地安装引擎组件

  • Cloud Custodian 作为云平台检测引擎,详细的相关操作,请参考 在线文档
  • Prowler 作为 AWS 检测引擎,详细的相关操作,请参考 在线文档
  • Trivy 作为云原生检测引擎 ,详细的相关操作,请参考 在线文档

1) 准备运行环境

初始化目录:

  • mkdir -p /opt/hummerrisk/conf
  • mkdir -p /opt/hummerrisk/image
  • mkdir -p /opt/hummerrisk/file
  • mkdir -p /opt/hummerrisk/trivy
  • mkdir -p /opt/hummerrisk/logs

2) 安装 Custodian

$ python3 -m venv custodian
$ source custodian/bin/activate
(custodian) $ pip install c7n
# c7n 为必装, tools 下面使用哪个安装哪个
(custodian) $ pip install -e tools/c7n_aliyun
(custodian) $ pip install -e tools/c7n_huawei
(custodian) $ pip install -e tools/c7n_tencent
(custodian) $ pip install -e tools/c7n_baidu
(custodian) $ pip install -e tools/c7n_azure
(custodian) $ pip install -e tools/c7n_gcp
(custodian) $ pip install -e tools/c7n_jdcloud
(custodian) $ pip install -e tools/c7n_kube
(custodian) $ pip install -e tools/c7n_openstack
(custodian) $ pip install -e tools/c7n_qingcloud
(custodian) $ pip install -e tools/c7n_ucloud
(custodian) $ pip install -e tools/c7n_volc
(custodian) $ pip install -e tools/c7n_vsphere
(custodian) $ pip install -e tools/c7n_qiniu
(custodian) $ pip install -e tools/c7n_ksyun
……

3) 安装 Prowler

#apt 源方式安装 Prowler
sudo apt update
sudo apt install python3 python3-pip jq git zip
pip install detect-secrets==1.0.3
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install
git clone https://github.com/prowler-cloud/prowler

4) 安装 Trivy

$ sudo vim /etc/yum.repos.d/trivy.repo
[trivy]
name=Trivy repository
baseurl=https://aquasecurity.github.io/trivy-repo/rpm/releases/$releasever/$basearch/
gpgcheck=0
enabled=1
$ sudo yum -y update
$ sudo yum -y install trivy

镜像打包(推荐)

源码中包含 Dockerfile 文件,建议将项目打包成镜像运行,进入 docker 目录,用户可以替换自己的 Dockerfile 研发版本。

HummerRisk V1.0 开发手册(微服务版)_第13张图片

 

其他注意事项

内置示例数据以 flyway 的形式在 HummerRisk 启动时自动插入到了 MySQL 数据库中,在源码运行的情况下可自动初始化获取内置检测规则等数据;

关于 HummerRisk

HummerRisk 是开源的云原生安全平台,以非侵入的方式解决云原生的安全和治理问题。核心能力包括混合云的安全治理和K8S容器云安全检测。

GitHub 地址:https://github.com/HummerRisk/HummerRisk

Gitee 地址:https://gitee.com/hummercloud/HummerRisk

HummerRisk V1.0 开发手册(微服务版)_第14张图片

 

你可能感兴趣的:(HummerRisk,使用教程,云原生,安全,云计算)