Puppet实现自动化运维
随着服务器数量的增多,系统管理员任务量也逐渐增加,这时就需要简洁的、强大的框架来完成系统管理任务为实现这一目的,我们将引入一批工具,这批工具是“可编程”的,系统管理员只需要为这批工具写上几行“代码”,它便会自动完成所有的工作,这批工具就是运维自动化puppet
在一些大型互联网企业中,运维自动化管理着几百甚至上千台服务器,它可以针对多台服务器进行统一操作,例如部署统一软件、进行统一上线维护等,而且能够快速完成上线部署,减少人力及人力误操作风险
puppet的工作原理如下:
puppet的目的是让系统管理员只集中于要管理的目标,而忽略实现的细节。puppet既可以在单机上使用,也可以以C/S结构使用,在大规模部署puppet的情况下,通常我们会使用C/S结构,在这种结构下,服务端运行puppetmaster程序客户端运行puppetclient服务程序
具体的工作流程图如下所示
图1
puppet有两种工作模式,分别是
(1)客户端主动拉取服务器上的资源,少量服务器的场景。
(2)服务器主动推送,客户端需要配置,并且启动puppetclient,大量服务器的场景。
puppet工作过程有以下两地啊你需要注意
(1)为了保证安全,client与Masgter之间是基于ssl和证书的,只有经Master证书认证的Client可以与Master通信
(2)puppet会让系统保持在人们所期望的某种状态并一直维持下去,如果文件被删除或者ssh服务被关闭了,puppet下次执行时(默认30分钟),会重新创建给文件或者启动ssh服务。
本案例使用四台服务器模拟搭建puppet环境,具体拓扑如下所示
主机 |
操作系统 |
IP地址 |
主要软件 |
Puppetmaster 主机名: Master.test.cn |
Centos6.5 x86_64 |
192.168.1.1/24 |
Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz |
Puppetclient1 主机名: Client1.test.cn |
Centos6.5 x86_64 |
192.168.1.2/64 |
Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz |
Puppetclient1 主机名: Client2.test.cn |
Centos6.5 x86_64 |
192.168.1.3/24 |
Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz |
NTP server ntpserver.test.cn |
Centos6.5 x86_64 |
192.168.1.4 |
今天的案例实施,前面已经提到过使用证书与puppetmaster验证身份,所以我们一定要确保puppetclient与puppetmaster时间保持一致,我们单独准备一台时间服务器来提供时间同步。
[root@ntpserver ~]# rpm -q ntp
ntp-4.2.6p5-1.el6.centos.x86_64
[root@ ntpserver ~]# vim /etc/ntp.conf
添加如下两行(在任何位置)
省略部分信息……
server 127.127.1.0 //添加
fudge 127.127.1.0 stratum 8 //添加
[root@ ntpserver ~]# service ntpd start
正在启动ntpd: [确定]
[root@ ntpserver ~]# chkconfig ntpd on
[root@ ntpserver ~]# iptables -I INPUT -p udp --dport 123 -j ACCEP
[root@ ntpserver ~]# service iptables save
配置好了之后,其他主机就可以与此时间服务器进行时间同步
在小规模puppet环境下,我们可以通过修改/etc/hosts文件,但是当达到上千台服务器时,我们必须搭建属于自己的DNS服务器来实现通过主机名进行通信,此案例我们使用/etc/hosts文件来实现。
[root@centos1 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master.test.cn //修改
[root@centos1 ~]# vim /etc/hosts
192.168.1.1 master.test.cn //以下四行均需要添加
192.168.1.2 client1.test.cn
192.168.1.3 client2.test.cn
192.168.1.4 ntpserver.test.cn
[root@centos1 ~]# hostname master.test.cn
[root@centos1 ~]# bash
[root@master ~]#
通过以上修改,hosts文件可以解析主机名,并且修改了puppetmaster主机的主机名,最后两条命令是临时生效的并且切换到了另外一个bash环境,这么做是省却了重启计算机的时间,就算计算机重新启动,主机名也不会发生任何改变,但是这两处修改主机名一定要相同才可以。
[root@master ~]# rpm -q ntp
ntp-4.2.6p5-1.el6.centos.x86_64
[root@master ~]# ntpdate 192.168.1.4
19 Nov 21:38:13 ntpdate[2027]: step time server 192.168.1.4 offset 1.767261 sec
puppet是基于ruby语言进行开发的,所以需要安装ruby搭建出ruby的基本环境,相关软件包已经下载到了root目录下
puppet-2.7.21.tar.gz
ruby-1.8.7.352-13.el6.x86_64.rpm
ruby-irb-1.8.7.352-13.el6.x86_64.rpm
ruby-libs-1.8.7.352-13.el6.x86_64.rpm
ruby-rdoc-1.8.7.352-13.el6.x86_64.rpm
compat-readline5-5.2-17.1.el6.x86_64.rpm
安装的时候一定要按照我的安装顺序安装,否则一定会出现错误。
[root@master ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm ruby-*.rpm
安装完成之后,我们查看一下ruby的版本信息
[root@master ~]# ruby -v
ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]
4)puppet、facert安装
[root@master ~]# tar zxf facter-1.7.1.tar.gz
[root@master ~]# cd facter-1.7.1
[root@master facter-1.7.1]# ruby install.rb //安装
[root@master facter-1.7.1]# cd
[root@master ~]# tar zxf puppet-2.7.21.tar.gz
[root@master ~]# cd puppet-2.7.21
[root@master puppet-2.7.21]# useradd -s /sbin/nologin puppet
[root@master puppet-2.7.21]# ruby install.rb //安装
[root@master puppet-2.7.21]# cp conf/redhat/puppet.conf /
/etc/pupppet/
[root@master puppet-2.7.21]# cp conf/redhat/fileserver.conf /
/etc/pupppet/
[root@master puppet-2.7.21]# cp conf/redhat/server.init/
/etc/init.d/puppetmaster
[root@master puppet-2.7.21]# chmod +x /etc/init.d/puppetmaster
[root@master puppet-2.7.21]# chmod +x /etc/init.d/puppetmaster
[root@master puppet-2.7.21]# chkconfig --add puppetmaster
[root@master puppet-2.7.21]# chkconfig puppetmaster on
[root@master puppet-2.7.21]# mkdir /etc/puppet/manifests
[root@master puppet-2.7.21]# mkdir /etc/puppet/modules
master端的配置
[root@master puppet-2.7.21]# vim /etc/puppet/puppet.conf
[main] //设置服务端配置
# The Puppet log directory.
# The default value is '$vardir/log'.
logdir = /var/log/puppet
# Where Puppet PID files are kept.
# The default value is '$vardir/run'.
rundir = /var/run/puppet
# Where SSL certificates are kept.
# The default value is '$confdir/ssl'.
ssldir = $vardir/ssl
modulespath = /etc/puppet/modules:/usr/share/puppet/modules //添加
[agent] //设置客户端配置
# The file in which puppetd stores a list of the classes
# associated with the retrieved configuratiion. Can be loaded in
# the separate ``puppet`` executable using the ``--loadclasses``
# option.
# The default value is '$confdir/classes.txt'.
classfile = $vardir/classes.txt
# Where puppetd caches the local configuration. An
# extension indicating the cache format is added automatically.
# The default value is '$confdir/localconfig'.
localconfig = $vardir/localconfig
[root@master puppet-2.7.21]# service puppetmaster start
Starting puppetmaster: [ OK ]
[root@master puppet-2.7.21]# netstat -anpt | grep ruby
tcp 0 0 0.0.0.0:8140 0.0.0.0:* LISTEN 2306/ruby
puppetmaster所监听的端口为8140,处理防火墙
[root@master puppet-2.7.21]# iptables -I INPUT -p tcp --dport 8140 -j ACCEPT
[root@master puppet-2.7.21]# service iptables save
首先配置puppetclient1,步骤如下
[root@centos2 ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=client1.test.cn //添加
由于客户端与服务器的hosts文件形同,这里直接拷贝使用
[root@centos2 ~]# scp [email protected]:/etc/hosts /root/
[root@centos2 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.1 master.test.cn
192.168.1.2 client1.test.cn
192.168.1.3 client2.test.cn
192.168.1.4 ntpserver.test.cn
[root@centos2 ~]# hostname client1.test.cn
[root@centos2 ~]# bash
[root@client1 ~]# ntpdate 192.168.1.4
19 Nov 22:07:14 ntpdate[1811]: adjust time server 192.168.1.4 offset 0.394674 sec
[root@client1 ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm ruby-*.rpm
[root@client1 ~]# ruby -v
ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]
[root@client1 ~]# tar zxf facter-1.7.1.tar.gz
[root@client1 ~]# cd facter-1.7.1
[root@client1 facter-1.7.1]# ruby install.rb
[root@client1 facter-1.7.1]# cd
[root@client1 ~]# tar zxf puppet-2.7.21.tar.gz
[root@client1 ~]# cd puppet-2.7.21
[root@client1 puppet-2.7.21]# useradd -s /sbin/nologin puppet
[root@client1 puppet-2.7.21]# ruby install.rb
[root@client1 puppet-2.7.21]#cp conf/redhat/puppet.conf
/etc/puppet
[root@client1 puppet-2.7.21]#cp conf/redhat/client.init
/etc/init.d/puppetclient
[root@client1 puppet-2.7.21]# chmod +x /etc/init.d/puppetclient
[root@client1 puppet-2.7.21]# chkconfig --add puppetclient
[root@client1 puppet-2.7.21]# chkconfig puppetclient on
puppetclient1和puppetclient2一样,操作如下
[root@client1 puppet-2.7.21]# vim /etc/puppet/puppet.conf
在main标题下添加一行,
部分省略……
server = master.test.cn //添加
这条配置项指向puppetmaster主机的主机名,必须是能够解析对方的主机名才可以
puppetclient2的配置过程与puppetclient1的过程类似,注意将主机名修改为client2.test.cn
client端
分别在puppetclient1和puppetclient2上进行注册
[root@client1 puppet-2.7.21]# cd
[root@client1 ~]# puppet agent --server=master.test.cn --no-daemonize --verbose
info: Creating a new SSL key for client1.test.cn
info: Caching certificate for ca
info: Creating a new SSL certificate request for client1.test.cn
info: Certificate Request fingerprint (md5): 3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A
出现以上信息是在等待puppetmaster注册,这是可以使用ctrl+c结束,
服务器端
[root@master puppet-2.7.21]# puppet cert --list
"client1.test.cn" (3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A)
"client2.test.cn" (E6:FB:66:72:C3:61:BA:A8:10:81:6D:D0:B2:A6:AC:79)
[root@master puppet-2.7.21]# puppet cert sign --all//注册所有客户端
notice: Signed certificate request for client1.test.cn
notice: Removing file Puppet::SSL::CertificateRequest client1.test.cn at '/var/lib/puppet/ssl/ca/requests/client1.test.cn.pem'
notice: Signed certificate request for client2.test.cn
notice: Removing file Puppet::SSL::CertificateRequest client2.test.cn at '/var/lib/puppet/ssl/ca/requests/client2.test.cn.pem'
[root@master puppet-2.7.21]# puppet cert --list --all
+ "client1.test.cn" (4D:D3:2E:37:92:93:F7:8D:DD:76:F0:3B:99:DF:0B:CA)
+ "client2.test.cn" (35:71:30:EF:64:32:DC:6B:96:A9:1C:58:E6:5D:E2:6C)
+ "master.test.cn" (B0:42:BB:22:82:FC:78:DE:79:33:05:9D:B2:E5:4F:D9) (alt names: "DNS:master.test.cn", "DNS:puppet", "DNS:puppet.test.cn")
默认已经将自己也注册成了客户端。
节点信息:/etc/puppet/manifests/nodes
模块信息: /etc/pupppet/modules
为了保护linux的ssh端***破,批量修改客户端的sshd端口,将22号端口改为9922,并实现重启sshd服务的工作。
想完成以上几点,需要明确几点
①需确定openssh软件包安装
②需确定存在ssh的配置文件
③确定sshd的服务是系统服务
创建ssh模块,模块的目录为ssh,模块下有三个文件分别是:manifests、templates、files。
manifest里面必须包含一个init.pp文件,这是该模块的的初始(入口)文件,导入一个模块的时候需要从init.pp开始执行,可以把所有的代码都写入到这个文件中,也可以分成多个.pp文件,init在去包含其他文件,定义class类名时必须是ssh,这样才能实现调动
files目录是该模块的发布目录,puppet提供了一个文件分割机制,类似rsync的模块。
templates目录包含erb模块文件、这个和file资源的templates属性有关(很少使用)
master端
[root@master~]#mkdir-p /etc/puppet/modules/ssh/{files,templates,
manifests}
[root@master ~]# mkdir -p /etc/puppet/manifests/nodes
[root@master ~]# mkdir -p /etc/puppet/modules/ssh/files/ssh
[root@master ~]# chown -R puppet /etc/puppet/modules/
此时/etc/puppet/modules/ssh的目录结构如下所示
[root@master ~]# ll /etc/puppet/modules/ssh/
total 12
drwxr-xr-x. 3 puppet root 4096 Nov 19 22:40 files
drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 manifests
drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 templates
这个文件必须是以.pp结尾,.前面的文件名随便写,注意需要形象一些
[root@master ~]# vim /etc/puppet/modules/ssh/manifests/install.pp
输入一下信息(首先确定客户端安装ssh服务),如果没有安装则进行安装,但是客户端必须存在软件包,并且配置了yum源或者是yum客户端。
class ssh::install{ //ssh为模块名,必须是ssh install为文件名 ssh必须以init.pp的模块名相同
package{ "openssh":
ensure => present,
}
}
ps:注意是以,结尾
ps:由于配置的是ssh服务所以模块名为ssh,如果配置http则模块名为http
[root@master ~]# vim /etc/puppet/modules/ssh/manifests/config.pp
输入一下信息配置需要同步的文件
class ssh::config{
file{ "/etc/ssh/sshd_config": //配置客户端需要同步的文件
ensure => present, //确定客户端此文件存在
owner => "root", //文件所属用户
group => "root", //文件所属组
mode => "0600", //文件权限
source=> "puppet://$puppetserver/modules/ssh/ssh/sshd_config",
//从服务器同步文件的路径
require => Class["ssh::install"], //调用ssh::install确定
openssh已经安装
notify => Class["ssh::service"], //如果config.pp发生变化通知service.pp
}
}
这个文件的内容主要是定义,发布的配置文件权限以及调用ssh::install检查client是否安装了ssh服务,以及调用ssh::service重新启动sshd服务。
输入一下信息
class ssh::service{
service{ "sshd":
ensure =>running, //确定sshd运行
hasstatus=>true,
//puppet该服务支持status命令,即类似service
sshd status命令
hasrestart=>true,
//puppet该服务支持status命令,即类似service
sshd status命令
enable=>true, //服务是否开机启动
require=>Class["ssh::config"] //确认config.pp调用
}
}
[root@master ~]# vim /etc/puppet/modules/ssh/manifests/init.pp
将以上定义的配置文件加载进去,输入以下信息
class ssh{
include ssh::install,ssh::config,ssh::service
}
此时/etc/puppet/modules/ssh/manifests目录下已有四个文件
[root@master ~]# ll /etc/puppet/modules/ssh/manifests/
total 16
-rw-r--r--. 1 root root 271 Nov 19 22:56 config.pp
-rw-r--r--. 1 root root 61 Nov 19 23:07 init.pp
-rw-r--r--. 1 root root 70 Nov 19 22:45 install.pp
-rw-r--r--. 1 root root 147 Nov 19 22:58 service.pp
由于服务器和客户端的sshd_config文件一样,所以我们在服务器安装openssh软件,使其能够提供config_sshd样例文件,然后将其复制到文件发布目录下/etc/puppet/modules/ssh/files/ssh/
[root@master ~]# yum -y install openssh
[root@master ~]# cp /etc/ssh/sshd_config \
> /etc/puppet/modules/ssh/files/ssh/
[root@master ~]# chown puppet -R \
> /etc/puppet/modules/ssh/files/ssh/sshd_config //修改权限,否则会失败
[root@master ~]# vim /etc/puppet/manifests/nodes/ssh.pp
输入一下信息
node 'client1.test.cn'{
include ssh
}
node 'client2.test.cn'{
include ssh
}
[root@master ~]# vim /etc/puppet/manifests/site.pp
输入一下信息
import "nodes/ssh.pp"
[root@master ~]# vim /etc/puppet/modules/ssh/files/ssh/sshd_config
Port 9922
#AddressFamily any
#ListenAddress 0.0.0.0
#ListenAddress ::
[root@master ~]# service puppetmaster restart
一般在小规模自动化群集中,如代码上线需要重新启动服务时,为了防止网站暂时性无法访问的问题,每台客户端需要运行一次puppet agent -t命令,所以选择模式时需要根据规模的大小来决定,一般运维工程师puppet服务器到各客户端建立ssh信任,然后自动以脚本,ssh让客户端批量执行puppet命令。
client端
192.168.1.2端执行命令如下所示
[root@client1 ~]# puppet agent -t
执行完成之后会出现很多信息
省略部分内容……
-#Port 22
+Port 9922 //已经将端口改为了9922
#AddressFamily any
#ListenAddress 0.0.0.0
#ListenAddress ::
[root@client1 ~]# netstat -anpt | grep sshd
tcp 0 0 0.0.0.0:9922 0.0.0.0:* LISTEN 3656/sshd
tcp 0 52 192.168.1.2:22 192.168.1.10:52886 ESTABLISHED 1712/sshd
tcp 0 0 :::9922 :::* LISTEN 3656/sshd
服务已经启动,并且已经监听了9922端口
当大规模部署时采用服务器推送方式。
client端
192.168.1.3端修改
[root@client2 ~]# vim /etc/puppet/puppet.conf
在最后一行添加如下配置项
listen = true
[root@client2 ~]# vim /etc/puppet/auth.conf
在最后一行添加如下配置项
allow * //允许任何服务器推送
[root@client2 ~]# service puppetclient start
[root@client2 ~]# netstat -anpt | grep ruby
tcp 0 0 0.0.0.0:8139 0.0.0.0:* LISTEN 2082/ruby
[root@client2 ~]# iptables -I INPUT -p tcp --dport 8139 -j ACCEPT
[root@client2 ~]# cat /etc/ssh/sshd_config
# Port 22
#AddressFamily any
#ListenAddress 0.0.0.0
#ListenAddress ::
有可能,客户端在没有执行拉取的时候,就已经将端口修改了,所以如果端口是非22的时候需要修改回来。
[root@client2 ~]# netstat -anpt | grep sshd
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 2550/sshd
tcp 0 52 192.168.1.3:22 192.168.1.10:52889 ESTABLISHED 1710/sshd
tcp 0 0 :::22 :::* LISTEN 2550/sshd
服务器端
192.168.1.1的操作如下所示
[root@master manifests]# puppet kick client2.test.cn
Triggering client2.test.cn
Getting status
status is success
client2.test.cn finished with exit code 0
Finished
从以上输出的信息所示已经成功了。
client1 操作,验证sshd的服务监听端口
[root@client2 ~]# netstat -anpt | grep sshd
netstat -anpt | grep sshd
tcp 0 0 0.0.0.0:9922 0.0.0.0:* LISTEN 2995/sshd
tcp 0 68 192.168.1.3:22 192.168.1.10:52889 ESTABLISHED 1710/sshd
tcp 0 0 :::9922 :::* LISTEN 2995/sshd