可持续集成(devops)工具盘古入门指南
一、盘古介绍
盘古是javashop团队内部总结多年的部署经验推出的一款开源的devops工具， 致力于在提供简单、使用、高效的可持续集成服务。在目前流行的devops工具中缺少对机器、仓库、步骤、环境变量的明确定义、操作，盘古提供了上述的资源的管理，内置常见java,、PHP、nodejs、mysql、nginx等常见环境的执行器（直接编排为步骤），并提供了导出导入功能、一键复制流水线，极大方便了部署过程。通过环境变量和配置文件可以实现复杂的大型项目统一配置。未来计划支持k8s的流水线编排，感谢您的star，您的支持是我们不断完善的最大动力！ 欢迎加入盘古交流群：最下方扫码进群。
二、特色功能与亮点
对比流行的devops工具（如jenkins、瓦力等），盘古汲取了他们的众多优点，并结合我们在实际使用中碰到的问题，尝试给大家提供一款更加简便易用的devops工具。
1、简易安装
基于Java+h2，一个jar包即可运行
开箱即用是盘古追求的第一目标，再使用jenkins、瓦力等等工具的过程，希望可以提供最简便的安装过程。
2、编排更容易
（1、盘古明确定义出步骤、依赖、检查等概念，希望提供极低的编排门槛
（2、内置git clone、安装jdk、安装maven、mysql、nginx、nodejs等等常见执行器，简化编排过程
（3、步骤可以暂停跳过、拖拽排序编排步骤，方便部署异常情况调试
（4、内置检查器，可检测编排步骤是否确认成功
（5、导出导入编排文件，一键复制编排
3、环境变量、配置文件支持
在大型的项目devops过程中，需要统一定义数据账号密码、秘钥、域名等等的配置文件，盘古抽象出环境变量、配置文件的概念来解决这类问题。统一定义如mysql密码、spring boot配置文件等
4、机器管理
提供机器管理、标签设置，按机器按标签，批量部署
5、仓库管理
提供仓库管理、方便部署编排
6、项目管理
按项目汇总配置文件、环境变量，简化编排过程
7、插件
插件式扩展、希望借助开源社区的力量， 提供无限可能
三、快速上手
1、安装盘古
请根据您的情况选择
基于docker安装
前置条件：安装docker，可参考这里：
https://pangu.javamall.com.cn/docs/#/docker
运行盘古
通过如下命令来运行盘古：
docker volume create pangudata
docker run --rm -d -p 8080:8080 --name pangu -v pangudata:/opt/pangu/database registry.cn-beijing.aliyuncs.com/javashop-enation/pangu:1.0.0
访问 http://ip:8080是否启动成功
基于jar包安装
前置条件安装Java 请参考https://www.runoob.com/java/java-environment-setup.html
通过如下命令来运行盘古：
wget -P /home/ https://mirrors.javamall.com.cn/pangu/1.0.0/pangu.tar.gz
tar -xzvf /home/pangu.tar.gz
cd /home/pangu
java -jar ./pangu-1.0.0.jar
上述命令会独占当前窗口，您可以使用nohup来运行盘古：
cd /home/pangu
nohup java -jar ./pangu-1.0.0.jar > /home/pangu/pangu.log 2>&1 &
注意:必须在当前目录执行启动命令否则无法登陆
基于源码安装
基于源码安装盘古命令如下:
git clone https://gitee.com/javashop/pangu.git
cd pangu
mvn clean install -DskipTests
2、完成您的第一个部署
完成安装后，访问：ip:8080，默认账号/密码是admin/admin
机器配置
您需要准备一台linux机器来体验盘古并在盘古中将机器配置好（我们将此机器命名为“测试机”)
部署的编排
我以安装docker，并部署一个mysql实例为例，体验部署的编排及执行。
首先需要您新增一个部署：
1、部署名字随意（比如mysql部署）
2、部署服务器：选择刚刚我们建立的“测试机”
3、环境变量：暂时可以先不选择
我们来编排这个部署，在盘古中内置了很多执行器，这些执行器是我们组织编排的核心
新增步骤
在这个步骤管理中，我们新增两个步骤：
第一个步骤：安装docker
如上图所示，执行器选择安装docker，步骤的名字命名为"安装docker"
第二个步骤：安装mysql
执行部署
点击“执行部署”跳转到执行界面，来体验基于盘古的第一次部署。
四、概念&功能
1、机器、标签
要执行部署操作的目标机器，部署时可以选择部署一台或多台机器，也可以将机器按标签来分类，然后按标签来部署。
2、部署与步骤
部署的编排核心是步骤，一次部署包含多个步骤，比如：
步骤1：克隆源码
步骤2：编译源码
步骤3：运行Jar
步骤是顺序执行的，只有上一个步骤执行成功后下一个才会被执行，否则整个部署将被终止。
盘古将步骤分为执行器和检查器两个部分（检查器是可选的），执行器执行具体的部署动作（比如安装mysql)，检查器负责检查这个部署动作是否执行成功。
3、执行器和检查器
盘古内置了一些常用的执行器和检查器，如：“SSH命令执行”、“git clone”、“安装maven”、“端口检查器”等，详解下面的列表。
| 执行器名称 |
| ssh命令执行 |
| git clone |
| 安装maven |
| 安装mysql |
| 安装redis |
| 安装node |
您可以通过安装插件来使用别人开发的执行器或检查器。您也可以通过开发插件来扩展执行器或检查器。
4、仓库
这里的仓库是指的git源码仓库，在"git clone"执行器中可以选择要clone的仓库
5、环境变量和配置文件
在部署的编排过程中，我们有这样的场景：
1、安装mysql时指定mysql的密码
2、将密码配置在程序相应的配置文件中
盘古是通过”环境变量“和”配置文件“实现上述过程的自动化的。通过定义一组环境变量，比如：那么在配置文件中就可以通过${mysql.username}这种语法来引用这个变量（遵循freemaker语法）
您需要编辑部署，使某个环境变量项目和部署关联才能使环境变量生效
配置文件需要使用”写入配置文件“这个执行器来将配置文件写入到具体的服务器某个位置
五、插件开发
盘古中的执行器和检查器是以插件的形式提供的，您可以开发自己的插件来拓展执行器和检查器。
插件开发插件包括一下几种：
| 插件类型 |
kind标识 |
说明 |
| 执行器 |
executor |
在部署时被执行 |
| 检查器 |
checker |
完成某个步骤时，对结果检测 |
1、插件开发
盘古的插件是用yml格式定义的：
#插件版本
version: 1.0
metadata:
#类型，必须
#可选值：
#1.executor:执行器
#2.checker:检查器
#3.deployment:部署
kind: executor
#定义插件名称,必须
name: "git clone"
#定义id，必须，不能有空格
id: git_clone
#定义插件描述，可以为空
desc: git clone 插件
#定义作者名字，必须
author: javashop
#定义作者的链接，可以为空
author_url: "https://www.javamall.com.cn"
#定义要传输到服务器中的文件
#source是本地文件路径，以classpath为根目录的相对路径
#target是远程目标路径，可以使用${worksapce}变量
copy:
- source: executor/git_clone/git_clone.sh
target: ${workspace}/git_clone.sh
#定义要执行的命令
command:
#定义命令的类型，目前支持ssh 命令，必须
type : ssh
exec :
- "sh ${workspace}/git_clone.sh"
#插件的配置项，可以是多个配置项，可以为空
#每个配置项，会在配置界面展示
#客户输入的值在解析命令的时候会通过$ {变量名}解析出来
#type支持：
#1、input :单行文本
#2、textarea:多行文本
config :
item:
title: 源码目标路径
name: dir
type: input
htmlcss: "width:100px"
2、插件的存放
插件可以存放在两个位置：
1、源码的resources目录
2、打包后的jar同级plugins目录
子目录
| 目录 |
说明 |
| executor | 存放执行器yml文件 |
| checker | 存放检查器yml文件 |
插件可以是单独直接在相应的文件夹中，也可以自己独立一个文件夹存放，比如：
如上图所示，"plugin-one"直接存放在executor目录中，"plugin-two"单独在一个文件夹中，一般地是这个插件还存在除了yml文件以外的文件所以单独存在一个文件夹比较方便。
3、插件的书写与测试
首先您需要熟悉git fork
可以参考下面的文档：https://gitee.com/help/articles/4128#article-header0
Fork盘古插件仓库
请fork下面的仓库：https://gitee.com/javashop/pangu-plugin
建立插件文件
在您fork的仓库中：在resources目录中建立你的插件文件，如：/resources/executor/test.yml
编写插件
根据需求按规则编写yml文件，您可以参考这个示例插件
测试插件
使用如下代码测试插件:
@RunWith(SpringRunner.class)
@SpringBootTest()
@ComponentScan("com.enation.pangu")
public class PluginTest {
/**
* 插件业务类
*/
@Autowired
ExecutorManager executorManager;
/**
* ssh客户端
*/
SshClient sshClient;
/**
* 环境变量
*/
Map env = new HashMap();
//环境变量
String workspace = "/opt/workspace/";
/**
* 测试前构建ssh client及 workspace
* @throws IOException
*/
@Before
public void init() throws IOException {
env.put("workspace",workspace);
//在这里定义测试机的信息
sshClient = SshClientFactory.createSsh("root", "123456", "192.168.2.55", 22);
//先创建workspace
sshClient.exec("mkdir -p "+ workspace,text->{
out.println(text);
});
}
/**
* 测试结束后断开ssh连接
* @throws IOException
*/
@After
public void clean() throws IOException {
sshClient.disconnect();
}
/**
* 执行器测试
* @throws ScriptException
*/
@Test
public void gitClone() throws IOException {
//环境变量
env.put("username", "2323");
env.put("password", "2323");
env.put("git_url", "https://gitee.com/javashop/pangu.git");
//执行插件，第一个参数时插件id，第二个参数是插件类型，第三个参数是环境变量，第四个参数是ssh客户端
boolean result = executorManager.runExecutor("git_clone",PluginType.executor, env, sshClient);
out.println(result);
}
/**
* 检查器测试
* @throws IOException
*/
@Test
public void checkerTest() throws IOException {
//执行插件，第一个参数时插件id，第二个参数是插件类型，第三个参数是环境变量，第四个参数是ssh客户端
boolean result = executorManager.runExecutor("install_one", PluginType.checker, env, sshClient);
out.println(result);
}
}
注意：开发好的插件，需要在插件页面点击同步才会出现在相应的列表中
六、贡献你的插件
欢迎您将插件贡献给盘古，共享方式为需要您从自己的fork的仓库建立一个PR到如下仓库 https://gitee.com/javashop/pangu-plugin
操作方式参考如下文档：https://gitee.com/help/articles/4128#article-header0
创建pull request时需要您备注好插件的作用以及您的联系方式，或扫描计入盘古微信交流群，发送一个消息给我们，以便我们及时审核您的PR，如果我们审核通过后，就可以被其他人安装使用啦。
请先扫码并关注公共账号，可以自动加入盘古交流群：
