持续集成（CI）对于软件工程来说非常重要，它的意义在于产品快速迭代的同时，还能够让代码保持高质量，所以编写高质量的单元测试代码也显得十分重要。Travis可以免费做开源软件的持续集成，但是对于闭源软件来说，它的费用非常高昂。另外一款持续集成软件叫Jenkins，它是Java实现的一款开源持续集成工具，对于Java程序的持续集成支持特别好，网上也有很多这方面的文章。本文主要讲述怎么运用它来做Python 项目的持续集成。
这里假设大家都比较熟悉Git开发流程了。这里所讲的工作流是Git+Jenkins。首先，我们在持续集成服务器上安装JDK1.8、Git和Python3（非Python项目无需安装），并且把Python3设置为默认Python解释器。由于篇幅限制，这里就不展开讲了。然后我们通过pip3 install virtualenv安装虚拟环境，安装虚拟环境的目的是，在进行持续集成测试的时候，各个项目构建使用不同的虚拟环境，因为项目不同可能相同依赖的版本会有冲突。
然后，在Jenkins官网上下载Jenkins并将其安装到持续集成服务器上。可以直接下载.war文件，通过java -jar jenkins.war启动。我用的是CentOS，直接使用它自带的包管理器yum安装。首先，需要添加jenkins源，可以在官网相关页面查看
sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key
然后便可以使用yum install jenkins安装了。安装完成后，我们通过
sudo service jenkins start
启动jenkins，如果启动失败，按照错误提示进行修改，比如我这里是
[root@weibo1 ~]# service jenkins start
Starting Jenkins bash: /usr/bin/java: No such file or directory
[FAILED]
那么可以先使用which java查看java所在路径，我这里是/usr/jdk1.8.0_131/bin/java，再通过
ln -s /usr/jdk1.8.0_131/bin/java /usr/bin/java
建立软连接，再通过service jenkins start就不会报错了。这个时候输入http://your_jenkins_ip:8080/便可以进入jenkins初始化页面，如下图
图中提示了密码所在文件，通过
cat /var/lib/jenkins/secrets/initialAdminPassword
可查询到密码，将其填入密码框即可。
之后，Jenkins会提示我们安装插件，我们选择自定义安装。除了它默认勾选安装的插件之外，我们还需要安装Cobertura Plugin、JUnit Plugin，前者是和代码覆盖率相关的插件，后者是单元测试相关插件，其他暂时不用安装，然后我们点击install进行安装。在安装进度条走完之后，Jenkins会让我们填入登录用户的用户名和密码，提示如下图
填入之后，我们便可以使用刚才创建的用户登入系统了。除了在这个时候可以创建用户，还可以使用超级管理员账号（账号为admin，密码可以通过cat /var/lib/jenkins/secrets/initialAdminPassword查看）来创建普通用户，操作路径是Jenkins主页=>系统管理=>管理用户=>新建用户。还可以通过让用户自行注册的方式来添加用户，不过这个功能默认是关闭的，需要通过Jenkins主页=>系统管理=>Configure Global Security=>勾选允许用户注册来开启该功能，这个时候所有用户都具有读写权限，如果Jenkins暴露在公网，会很不安全。我们需要为不同用户设置不同权限，目前Jenkins支持5种访问控制策略，我们通过Jenkins主页=>系统管理=>Configure Global Security=>授权策略选择其中的一种，它们的区别，由于篇幅有限，就不赘述了，推荐选择安全矩阵策略，在添加用户/组添加需要进行访问控制的用户和用户组。如下是我的设置：
如果我们想进行Python程序的持续集成，还可能需要安装Python Plugin（很奇怪的是，我在CentOS服务器上不安装它也可以进行持续集成，而在我的MacBook上不安装却无法进行Python项目持续集成，所以为了保险起见，还是安装吧），它的安装路径是Jenkins 主页=>系统管理=>插件管理=>可选插件=>Python Plugin。除此之外，这个时候还可以安装Violations plugin，它的作用是分析代码行数。该插件依赖sloccount，因此我们这时候可以通过yum install sloccount安装。安装完成后，勾选空闲时重启Jenkins。重启之后，我们便可以进行项目构建和持续集成测试了。
首先讲公开项目的持续集成。公开项目的持续集成，操作比较简单。我们首先通过下面的目录结构创建一个Python程序
py_jenkins/
readme.md
.gitignore
tests/
__init__.py
auth_tests.py
py_jenkins/
__init__.py
auth.py
该程序放在github上，引用的这篇博客的代码，我改成了Python3的语法。
进入正题，我们点击新建开始创建项目，这里我命名为py_jenkins,选择“构建一个自由风格的软件项目”，如下图
然后点击"OK"，进入另一个页面，如下图
接下来是源码管理，我们只需要输入需要构建的项目的git地址，这里是
https://github.com/ResolveWang/py_jenkins.git
注意，如果持续集成服务器上没安装Git客户端，那么这一步会报错。接下来是构建触发器，如下图
这里H/3 * * * *表示每三分钟，Jenkins就会去检查一下Git服务器代码是否有变化，有的话就会触发构建操作。
接下来是构建环境，如下图：
再是构建的时候的具体操作，这里选择Execute shell，如果你还有别的需求，可选择适当进行增加选项，如下图
我们再填入构建的脚本，内容如下
/usr/local/bin/virtualenv env
. env/bin/activate
pip install --quiet nosexcover
pip install --quiet mock
nosetests --with-xcoverage --with-xunit --cover-package=py_jenkins --cover-erase
/usr/local/bin/pylint -f parseable py_jenkins / | tee pylint.out
/usr/bin/sloccount --duplicates --details py_jenkins > sloccount.sc
注意Execute Shell的命令的执行路径需要写绝对路径或在Jenkins中为该命令设置环境变量。pylint不能用虚拟环境的pylint，否则可能报错。对于路径问题，可以通过which virtualenv来找到virtualenv在持续集成服务器具体的路径，然后在Jenkins设置环境变量，设置路径是Jenkins主页=>系统管理=>系统设置=>全局属性，然后点击增加，如下图
最后增加构建后操作。--with-xunit选项会生成nosetests.xml文件，--with-xcoverage选项会生成coverage.xml文件。这里我们选择Publish JUnit test result report和Publish Cobertura Coverage Report，前者会生成本次构建的结果，后者会显示代码测试覆盖率。
pylint生成的语法检查报告pylint.out需要配合Violations plugin插件使用，然后在构建后操作中勾选Report Violations，找到pylint的配置并填写"**/pylint.out"，如下图：
最后点击“保存”。
之后，我们回到首页，在新建的构建名中，点击“立即构建”，如下图
然后，左下方会出现如下所示进度条
如果构建步骤比较类似，可以在新建构建项目的时候，可以以已有构建流程为模版新建构建，如下图所示
构建结果如下
我们可以点击“太阳”或者“乌云”图标，进入查看构建的详细信息。其中我们重点关注的是Console Output、Coverage Report、Violations和Test Result这几项
再说说私有项目的持续集成。还是以github为例进行讲解。账号和密码的方式，我始终未试验成功，这里我采用的是ssh的方式。先做准备工作：在Jenkins服务器上使用
ssh-keygen -t rsa -C "[email protected]"
来生成公私钥，在输入该命令的时候，需要输入公私钥的位置，如下
Enter file in which to save the key (/root/.ssh/id_rsa): /root/.ssh/id_rsa
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
这里在输入密码的时候，我直接回车，即空密码。然后，我们使用cat ~/.ssh/id_rsa.pub查看生成的公钥，如下
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5s2HOPlRuEmR8GsAJECFkipgeuuww7qtK6UaURPzCUsXwp9BZ73spNG7fxgu5fj4mkPRsnfWBvKS+0UrEjznNLFQ39/v0TlPohPRcj6a8F4aWx5m7i4PACVmOPLWLjmE8neUDioetw1zWFkPexLprQiQnIKeN3EIa0CVx2+74fJVXYhc+Txk6phsu4Q3kZwUpvnkzQPCysx2c8iKESgkzvr12qWDM10ytZ9X6UaIakzJF00tUSvETEHWbEs8OTv8jbHDtiU64gyZkEyW/vjID/+997JbQa3EvoEJgtziRCjloGy40VQbJ77uI0m/3URv2ar7EiKSV8mJIKrIjSIItw== [email protected]
我们需要把上述内容复制到Github上，操作是"点击个人头像=>Settings=>SSH and GPG keys=>New ssh key"，再把上述内容粘贴进去。
之后，可以通过在持续集成服务器上使用
ssh -T [email protected]
确认公私钥匹配是否成功，比如我的
Hi ResolveWang! You've successfully authenticated, but GitHub does not provide shell access.
表示可以通过ssh连到github。
这一步完成之后，我们再通过Jenkins主页=>Credentials=>System=>Global credentials=>add credentials来进行添加刚生成的私钥(通过cat ~/.ssh/id_rsa查看)和Github登录用户名，示意图如下
然后，在构建项目的时候，注意不能填写项目的https地址了，需要填它的ssh地址，并且选择前面我们保存的证书，如下所示
再说说项目变更如何触发Jenkins的构建。这个可以采用webhook的方式，比如各个git服务器的插件，我用的gogs，那么需要安装gogs plugin，然后在gogs的对应项目的webhook中添加一个钩子
http://222.105.43.151:8080/gogs-webhook/?job=gogsjenkins
在构建的时候Poll SCM留空，如图
这样会在每次push的时候触发构建。
最后说说怎么在Github、Gogs或者Gitlab等页面端如何查看每次的自动化测试结果。
我们可以安装一个名为Embeddable Build Status的插件，安装之后重启Jenkins，再进行项目构建，构建结果可以查看Embeddable Build Status,如下图
这里我们把省略具体构建序号，即
http://222.105.43.151:8080/job/pj/badge/icon
那么默认就是最新一次构建的状态，我们可以在项目的readme中展示出来。当然，除了这种方式之外，还可以在构建后设置，如果构建失败，那么就发邮件通知相关人员。
文章最后部分补充一下Jenkins的重要配置。
- 通过
yum安装Jenkins，那么Jenkins的安装目录为cd /var/lib/jenkins/ - Jenkins配置文件位置为
/etc/sysconfig/jenkins，比如我们可以在这个文件修改Jenkins web server的默认监听端口和地址。除此之外，还有两个参数很重要：JENKINS_HOME、JENKINS_USER。JENKINS_HOME是Jenkins的主目录，Jenkins工作的目录都放在这里,Jenkins储存文件的地址,Jenkins的插件，生成的文件都在这个目录下，JENKINS_USER是Jenkins的用户，拥有$JENKINS_HOME和/var/log/jenkins的权限。
还有一点，如果我们修改了JENKINS_HOME所在目录，那么一定要设置JENKINS_HOME的权限为jenkins用户可以读写，或把所有者换成jenkins用户，否则持续集成的时候可能会报权限错误。
如果对本文还有疑惑，可以留言，也可以阅读本文的参考文章
- http://blog.csdn.net/liyasong666888/article/details/50285491
- http://blog.csdn.net/nunchakushuang/article/details/77118621
- https://segmentfault.com/a/1190000004639325
- http://blog.csdn.net/a464057216/article/details/51865148