Puppet实现自动化运维
一、案例分析
1、案例概述：
随着服务器数量的增多，系统管理员任务量也逐渐增加，这时就需要简洁的、强大的框架来完成系统管理任务为实现这一目的，我们将引入一批工具，这批工具是“可编程”的，系统管理员只需要为这批工具写上几行“代码”，它便会自动完成所有的工作，这批工具就是运维自动化puppet
在一些大型互联网企业中，运维自动化管理着几百甚至上千台服务器，它可以针对多台服务器进行统一操作，例如部署统一软件、进行统一上线维护等，而且能够快速完成上线部署，减少人力及人力误操作风险
2、Ppuppet工作原理
puppet的工作原理如下：
puppet的目的是让系统管理员只集中于要管理的目标，而忽略实现的细节。puppet既可以在单机上使用，也可以以C/S结构使用，在大规模部署puppet的情况下，通常我们会使用C/S结构，在这种结构下，服务端运行puppetmaster程序客户端运行puppetclient服务程序
具体的工作流程图如下所示
图1
puppet有两种工作模式，分别是
（1）客户端主动拉取服务器上的资源，少量服务器的场景。
（2）服务器主动推送，客户端需要配置，并且启动puppetclient，大量服务器的场景。
1）客户端主动拉取
（1）客户端puppet调用facter（facter是通过ssl加密收集及检测分析客户端配置信息的一个工具），facter探出主机的一些变量，如主机名、内存信息、IP地址等。puppet把这些信息通过ssl连接发送给服务器端。
（2）服务器端的puppetmaster通过facter工具分析检测客户端的主机名，然后找到项目主配置文件manifest里面相对应的node配置，并对该内部内容进行解析。facter发送过来的信息可以作为变量处理，node牵涉到的代码才能够正确解析，其他没牵涉的代码不解析。解析分为几个阶段，首先进行语法检查，如果语法没有没错，就继续解析，解析的结果生成一个伪代码，然后将伪代码发送给客户端。
（3）客户端接收到伪代码并且执行，客户端把执行的结果发送给服务器端。
（4）服务器把客户端的执行结果写入日志。
puppet工作过程有以下两地啊你需要注意
（1）为了保证安全，client与Masgter之间是基于ssl和证书的，只有经Master证书认证的Client可以与Master通信
（2）puppet会让系统保持在人们所期望的某种状态并一直维持下去，如果文件被删除或者ssh服务被关闭了，puppet下次执行时（默认30分钟），会重新创建给文件或者启动ssh服务。
3、案例环境
本案例使用四台服务器模拟搭建puppet环境，具体拓扑如下所示
| 主机 |
操作系统 |
IP地址 |
主要软件 |
| Puppetmaster 主机名： Master.test.cn |
Centos6.5 x86_64 |
192.168.1.1/24 |
Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz |
| Puppetclient1 主机名： Client1.test.cn |
Centos6.5 x86_64 |
192.168.1.2/64 |
Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz |
| Puppetclient1 主机名： Client2.test.cn |
Centos6.5 x86_64 |
192.168.1.3/24 |
Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz |
| NTP server ntpserver.test.cn |
Centos6.5 x86_64 |
192.168.1.4 |
二、案例实施
1、NTP server
今天的案例实施，前面已经提到过使用证书与puppetmaster验证身份，所以我们一定要确保puppetclient与puppetmaster时间保持一致，我们单独准备一台时间服务器来提供时间同步。
[root@ntpserver ~]# rpm -q ntp
ntp-4.2.6p5-1.el6.centos.x86_64
[root@ ntpserver ~]# vim /etc/ntp.conf
添加如下两行（在任何位置）
省略部分信息……
server 127.127.1.0 //添加
fudge 127.127.1.0 stratum 8 //添加
[root@ ntpserver ~]# service ntpd start
正在启动ntpd： [确定]
[root@ ntpserver ~]# chkconfig ntpd on
[root@ ntpserver ~]# iptables -I INPUT -p udp --dport 123 -j ACCEP
[root@ ntpserver ~]# service iptables save
配置好了之后，其他主机就可以与此时间服务器进行时间同步
2、搭建puppetmaster
1）规划服务器主机名
在小规模puppet环境下，我们可以通过修改/etc/hosts文件，但是当达到上千台服务器时，我们必须搭建属于自己的DNS服务器来实现通过主机名进行通信，此案例我们使用/etc/hosts文件来实现。
[root@centos1 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master.test.cn //修改
[root@centos1 ~]# vim /etc/hosts
192.168.1.1 master.test.cn //以下四行均需要添加
192.168.1.2 client1.test.cn
192.168.1.3 client2.test.cn
192.168.1.4 ntpserver.test.cn
[root@centos1 ~]# hostname master.test.cn
[root@centos1 ~]# bash
[root@master ~]#
通过以上修改，hosts文件可以解析主机名，并且修改了puppetmaster主机的主机名，最后两条命令是临时生效的并且切换到了另外一个bash环境，这么做是省却了重启计算机的时间，就算计算机重新启动，主机名也不会发生任何改变，但是这两处修改主机名一定要相同才可以。
2)与时间服务器同步时间
[root@master ~]# rpm -q ntp
ntp-4.2.6p5-1.el6.centos.x86_64
[root@master ~]# ntpdate 192.168.1.4
19 Nov 21:38:13 ntpdate[2027]: step time server 192.168.1.4 offset 1.767261 sec
3）安装ruby
puppet是基于ruby语言进行开发的，所以需要安装ruby搭建出ruby的基本环境，相关软件包已经下载到了root目录下
puppet-2.7.21.tar.gz
ruby-1.8.7.352-13.el6.x86_64.rpm
ruby-irb-1.8.7.352-13.el6.x86_64.rpm
ruby-libs-1.8.7.352-13.el6.x86_64.rpm
ruby-rdoc-1.8.7.352-13.el6.x86_64.rpm
compat-readline5-5.2-17.1.el6.x86_64.rpm
安装的时候一定要按照我的安装顺序安装，否则一定会出现错误。
[root@master ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm ruby-*.rpm
安装完成之后，我们查看一下ruby的版本信息
[root@master ~]# ruby -v
ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]
4)puppet、facert安装
[root@master ~]# tar zxf facter-1.7.1.tar.gz
[root@master ~]# cd facter-1.7.1
[root@master facter-1.7.1]# ruby install.rb //安装
[root@master facter-1.7.1]# cd
[root@master ~]# tar zxf puppet-2.7.21.tar.gz
[root@master ~]# cd puppet-2.7.21
[root@master puppet-2.7.21]# useradd -s /sbin/nologin puppet
[root@master puppet-2.7.21]# ruby install.rb //安装
（1）复制配置文件
[root@master puppet-2.7.21]# cp conf/redhat/puppet.conf /
/etc/pupppet/
[root@master puppet-2.7.21]# cp conf/redhat/fileserver.conf /
/etc/pupppet/
[root@master puppet-2.7.21]# cp conf/redhat/server.init/
/etc/init.d/puppetmaster
（2）修改文件属性并添加为系统服务
[root@master puppet-2.7.21]# chmod +x /etc/init.d/puppetmaster
[root@master puppet-2.7.21]# chmod +x /etc/init.d/puppetmaster
[root@master puppet-2.7.21]# chkconfig --add puppetmaster
[root@master puppet-2.7.21]# chkconfig puppetmaster on
（3）创建puppet主目录
[root@master puppet-2.7.21]# mkdir /etc/puppet/manifests
[root@master puppet-2.7.21]# mkdir /etc/puppet/modules
4）puppet服务证书请求与签名
master端的配置
（1）修改配置文件
[root@master puppet-2.7.21]# vim /etc/puppet/puppet.conf
[main] //设置服务端配置
# The Puppet log directory.
# The default value is '$vardir/log'.
logdir = /var/log/puppet
# Where Puppet PID files are kept.
# The default value is '$vardir/run'.
rundir = /var/run/puppet
# Where SSL certificates are kept.
# The default value is '$confdir/ssl'.
ssldir = $vardir/ssl
modulespath = /etc/puppet/modules:/usr/share/puppet/modules //添加
[agent] //设置客户端配置
# The file in which puppetd stores a list of the classes
# associated with the retrieved configuratiion. Can be loaded in
# the separate ``puppet`` executable using the ``--loadclasses``
# option.
# The default value is '$confdir/classes.txt'.
classfile = $vardir/classes.txt
# Where puppetd caches the local configuration. An
# extension indicating the cache format is added automatically.
# The default value is '$confdir/localconfig'.
localconfig = $vardir/localconfig
（2）启动puppet主程序
[root@master puppet-2.7.21]# service puppetmaster start
Starting puppetmaster: [ OK ]
[root@master puppet-2.7.21]# netstat -anpt | grep ruby
tcp 0 0 0.0.0.0:8140 0.0.0.0:* LISTEN 2306/ruby
puppetmaster所监听的端口为8140，处理防火墙
[root@master puppet-2.7.21]# iptables -I INPUT -p tcp --dport 8140 -j ACCEPT
[root@master puppet-2.7.21]# service iptables save
3、搭建puppetclient
首先配置puppetclient1，步骤如下
1）规划服务器主机名
[root@centos2 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=client1.test.cn //添加
由于客户端与服务器的hosts文件形同，这里直接拷贝使用
[root@centos2 ~]# scp [email protected]:/etc/hosts /root/
[root@centos2 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.1 master.test.cn
192.168.1.2 client1.test.cn
192.168.1.3 client2.test.cn
192.168.1.4 ntpserver.test.cn
[root@centos2 ~]# hostname client1.test.cn
[root@centos2 ~]# bash
2）与时间服务器同步时间
[root@client1 ~]# ntpdate 192.168.1.4
19 Nov 22:07:14 ntpdate[1811]: adjust time server 192.168.1.4 offset 0.394674 sec
3）安装ruby
[root@client1 ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm ruby-*.rpm
[root@client1 ~]# ruby -v
ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]
4）puppet、facert安装
[root@client1 ~]# tar zxf facter-1.7.1.tar.gz
[root@client1 ~]# cd facter-1.7.1
[root@client1 facter-1.7.1]# ruby install.rb
[root@client1 facter-1.7.1]# cd
[root@client1 ~]# tar zxf puppet-2.7.21.tar.gz
[root@client1 ~]# cd puppet-2.7.21
[root@client1 puppet-2.7.21]# useradd -s /sbin/nologin puppet
[root@client1 puppet-2.7.21]# ruby install.rb
5）复制配置文件
[root@client1 puppet-2.7.21]#cp conf/redhat/puppet.conf
/etc/puppet
[root@client1 puppet-2.7.21]#cp conf/redhat/client.init
/etc/init.d/puppetclient
6）修改文件属性并添加为系统服务
[root@client1 puppet-2.7.21]# chmod +x /etc/init.d/puppetclient
[root@client1 puppet-2.7.21]# chkconfig --add puppetclient
[root@client1 puppet-2.7.21]# chkconfig puppetclient on
7）puppet服务器证书请求与签名
puppetclient1和puppetclient2一样，操作如下
[root@client1 puppet-2.7.21]# vim /etc/puppet/puppet.conf
在main标题下添加一行，
部分省略……
server = master.test.cn //添加
这条配置项指向puppetmaster主机的主机名，必须是能够解析对方的主机名才可以
puppetclient2的配置过程与puppetclient1的过程类似，注意将主机名修改为client2.test.cn
client端
分别在puppetclient1和puppetclient2上进行注册
[root@client1 puppet-2.7.21]# cd
[root@client1 ~]# puppet agent --server=master.test.cn --no-daemonize --verbose
info: Creating a new SSL key for client1.test.cn
info: Caching certificate for ca
info: Creating a new SSL certificate request for client1.test.cn
info: Certificate Request fingerprint (md5): 3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A
出现以上信息是在等待puppetmaster注册，这是可以使用ctrl+c结束，
服务器端
（1）查看申请注册的客户端
[root@master puppet-2.7.21]# puppet cert --list
"client1.test.cn" (3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A)
"client2.test.cn" (E6:FB:66:72:C3:61:BA:A8:10:81:6D:D0:B2:A6:AC:79)
（2）将未注册的客户端注册
[root@master puppet-2.7.21]# puppet cert sign --all//注册所有客户端
notice: Signed certificate request for client1.test.cn
notice: Removing file Puppet::SSL::CertificateRequest client1.test.cn at '/var/lib/puppet/ssl/ca/requests/client1.test.cn.pem'
notice: Signed certificate request for client2.test.cn
notice: Removing file Puppet::SSL::CertificateRequest client2.test.cn at '/var/lib/puppet/ssl/ca/requests/client2.test.cn.pem'
（3）查看已经注册的客户端
[root@master puppet-2.7.21]# puppet cert --list --all
+ "client1.test.cn" (4D:D3:2E:37:92:93:F7:8D:DD:76:F0:3B:99:DF:0B:CA)
+ "client2.test.cn" (35:71:30:EF:64:32:DC:6B:96:A9:1C:58:E6:5D:E2:6C)
+ "master.test.cn" (B0:42:BB:22:82:FC:78:DE:79:33:05:9D:B2:E5:4F:D9) (alt names: "DNS:master.test.cn", "DNS:puppet", "DNS:puppet.test.cn")
默认已经将自己也注册成了客户端。
4、配置实例
1）配置一个测试节点
节点信息：/etc/puppet/manifests/nodes
模块信息： /etc/pupppet/modules
为了保护linux的ssh端***破，批量修改客户端的sshd端口，将22号端口改为9922，并实现重启sshd服务的工作。
想完成以上几点，需要明确几点
①需确定openssh软件包安装
②需确定存在ssh的配置文件
③确定sshd的服务是系统服务
创建ssh模块，模块的目录为ssh，模块下有三个文件分别是：manifests、templates、files。
manifest里面必须包含一个init.pp文件，这是该模块的的初始（入口）文件，导入一个模块的时候需要从init.pp开始执行，可以把所有的代码都写入到这个文件中，也可以分成多个.pp文件，init在去包含其他文件，定义class类名时必须是ssh，这样才能实现调动
files目录是该模块的发布目录，puppet提供了一个文件分割机制，类似rsync的模块。
templates目录包含erb模块文件、这个和file资源的templates属性有关（很少使用）
master端
（1）创建必要的目录
[root@master~]#mkdir-p /etc/puppet/modules/ssh/{files,templates,
manifests}
[root@master ~]# mkdir -p /etc/puppet/manifests/nodes
[root@master ~]# mkdir -p /etc/puppet/modules/ssh/files/ssh
[root@master ~]# chown -R puppet /etc/puppet/modules/
此时/etc/puppet/modules/ssh的目录结构如下所示
[root@master ~]# ll /etc/puppet/modules/ssh/
total 12
drwxr-xr-x. 3 puppet root 4096 Nov 19 22:40 files
drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 manifests
drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 templates
（2）创建模块配置问加你install.pp
这个文件必须是以.pp结尾，.前面的文件名随便写，注意需要形象一些
[root@master ~]# vim /etc/puppet/modules/ssh/manifests/install.pp
输入一下信息（首先确定客户端安装ssh服务），如果没有安装则进行安装，但是客户端必须存在软件包，并且配置了yum源或者是yum客户端。
class ssh::install{ //ssh为模块名，必须是ssh install为文件名 ssh必须以init.pp的模块名相同
package{ "openssh":
ensure => present,
}
}
ps：注意是以,结尾
ps：由于配置的是ssh服务所以模块名为ssh，如果配置http则模块名为http
（3）创建该模块配置文件config.pp
[root@master ~]# vim /etc/puppet/modules/ssh/manifests/config.pp
输入一下信息配置需要同步的文件
class ssh::config{
file{ "/etc/ssh/sshd_config": //配置客户端需要同步的文件
ensure => present, //确定客户端此文件存在
owner => "root", //文件所属用户
group => "root", //文件所属组
mode => "0600", //文件权限
source=> "puppet://$puppetserver/modules/ssh/ssh/sshd_config",
//从服务器同步文件的路径
require => Class["ssh::install"], //调用ssh：：install确定
openssh已经安装
notify => Class["ssh::service"], //如果config.pp发生变化通知service.pp
}
}
这个文件的内容主要是定义，发布的配置文件权限以及调用ssh：：install检查client是否安装了ssh服务，以及调用ssh：：service重新启动sshd服务。
（4）创建模块配置文件serice.pp
输入一下信息
class ssh::service{
service{ "sshd":
ensure =>running, //确定sshd运行
hasstatus=>true,
//puppet该服务支持status命令，即类似service
sshd status命令
hasrestart=>true,
//puppet该服务支持status命令，即类似service
sshd status命令
enable=>true, //服务是否开机启动
require=>Class["ssh::config"] //确认config.pp调用
}
}
（5）创建模块配置文件init.pp
[root@master ~]# vim /etc/puppet/modules/ssh/manifests/init.pp
将以上定义的配置文件加载进去，输入以下信息
class ssh{
include ssh::install,ssh::config,ssh::service
}
此时/etc/puppet/modules/ssh/manifests目录下已有四个文件
[root@master ~]# ll /etc/puppet/modules/ssh/manifests/
total 16
-rw-r--r--. 1 root root 271 Nov 19 22:56 config.pp
-rw-r--r--. 1 root root 61 Nov 19 23:07 init.pp
-rw-r--r--. 1 root root 70 Nov 19 22:45 install.pp
-rw-r--r--. 1 root root 147 Nov 19 22:58 service.pp
（6）建立服务器端ssh统一维护文件
由于服务器和客户端的sshd_config文件一样，所以我们在服务器安装openssh软件，使其能够提供config_sshd样例文件，然后将其复制到文件发布目录下/etc/puppet/modules/ssh/files/ssh/
[root@master ~]# yum -y install openssh
[root@master ~]# cp /etc/ssh/sshd_config \
> /etc/puppet/modules/ssh/files/ssh/
[root@master ~]# chown puppet -R \
> /etc/puppet/modules/ssh/files/ssh/sshd_config //修改权限，否则会失败
（7）创建测试节点配置文件，并将ssh模块加载进去。
[root@master ~]# vim /etc/puppet/manifests/nodes/ssh.pp
输入一下信息
node 'client1.test.cn'{
include ssh
}
node 'client2.test.cn'{
include ssh
}
（8）将测试节点载入puppet，即修改site.pp
[root@master ~]# vim /etc/puppet/manifests/site.pp
输入一下信息
import "nodes/ssh.pp"
（9）修改服务器端维护的sshd_config配置文件
[root@master ~]# vim /etc/puppet/modules/ssh/files/ssh/sshd_config
Port 9922
#AddressFamily any
#ListenAddress 0.0.0.0
#ListenAddress ::
（10）重新启动puppetmaster服务
[root@master ~]# service puppetmaster restart
2）客户端拉取
一般在小规模自动化群集中，如代码上线需要重新启动服务时，为了防止网站暂时性无法访问的问题，每台客户端需要运行一次puppet agent -t命令，所以选择模式时需要根据规模的大小来决定，一般运维工程师puppet服务器到各客户端建立ssh信任，然后自动以脚本，ssh让客户端批量执行puppet命令。
client端
192.168.1.2端执行命令如下所示
[root@client1 ~]# puppet agent -t
执行完成之后会出现很多信息
省略部分内容……
-#Port 22
+Port 9922 //已经将端口改为了9922
#AddressFamily any
#ListenAddress 0.0.0.0
#ListenAddress ::
[root@client1 ~]# netstat -anpt | grep sshd
tcp 0 0 0.0.0.0:9922 0.0.0.0:* LISTEN 3656/sshd
tcp 0 52 192.168.1.2:22 192.168.1.10:52886 ESTABLISHED 1712/sshd
tcp 0 0 :::9922 :::* LISTEN 3656/sshd
服务已经启动，并且已经监听了9922端口
3）服务器推送
当大规模部署时采用服务器推送方式。
client端
192.168.1.3端修改
（1）修改配置文件
[root@client2 ~]# vim /etc/puppet/puppet.conf
在最后一行添加如下配置项
listen = true
[root@client2 ~]# vim /etc/puppet/auth.conf
在最后一行添加如下配置项
allow * //允许任何服务器推送
（2）启动puppet客户端程序
[root@client2 ~]# service puppetclient start
[root@client2 ~]# netstat -anpt | grep ruby
tcp 0 0 0.0.0.0:8139 0.0.0.0:* LISTEN 2082/ruby
（3）配置防火墙
[root@client2 ~]# iptables -I INPUT -p tcp --dport 8139 -j ACCEPT
（4）查看/etc/ssh/sshd_config文件的内容如下所示
[root@client2 ~]# cat /etc/ssh/sshd_config
# Port 22
#AddressFamily any
#ListenAddress 0.0.0.0
#ListenAddress ::
有可能，客户端在没有执行拉取的时候，就已经将端口修改了，所以如果端口是非22的时候需要修改回来。
（5）查看监听端口
[root@client2 ~]# netstat -anpt | grep sshd
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 2550/sshd
tcp 0 52 192.168.1.3:22 192.168.1.10:52889 ESTABLISHED 1710/sshd
tcp 0 0 :::22 :::* LISTEN 2550/sshd
（6）开始推送
服务器端
192.168.1.1的操作如下所示
[root@master manifests]# puppet kick client2.test.cn
Triggering client2.test.cn
Getting status
status is success
client2.test.cn finished with exit code 0
Finished
从以上输出的信息所示已经成功了。
client1 操作，验证sshd的服务监听端口
[root@client2 ~]# netstat -anpt | grep sshd
netstat -anpt | grep sshd
tcp 0 0 0.0.0.0:9922 0.0.0.0:* LISTEN 2995/sshd
tcp 0 68 192.168.1.3:22 192.168.1.10:52889 ESTABLISHED 1710/sshd
tcp 0 0 :::9922 :::* LISTEN 2995/sshd