ansible详解和批量部署tomcat

ansible详解和批量部署tomcat

ansible介绍

ansible是自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。
ansible是基于模块工作的,本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。
主要包括:
(1)、连接插件connection plugins:负责和被监控端实现通信;
(2)、host inventory:指定操作的主机,是一个配置文件里面定义监控的主机;
(3)、各种模块核心模块、command模块、自定义模块;
(4)、借助于插件完成记录日志邮件等功能;
(5)、playbook:剧本执行多个任务时,非必需可以让节点一次性运行多个任务。

基本架构

ansible详解和批量部署tomcat_第1张图片

ansible特点和优点

特点

(1)、no agents:不需要在被管控主机上安装任何客户端;
(2)、no server:无服务器端,使用时直接运行命令即可;
(3)、modules in any languages:基于模块工作,可使用任意语言开发模块;
(4)、yaml,not code:使用yaml语言定制剧本playbook;
(5)、ssh by default:基于SSH工作;
(6)、strong multi-tier solution:可实现多级指挥。

优点

(1)、轻量级,无需在客户端安装agent,更新时,只需在操作机上进行一次更新即可;
(2)、批量任务执行可以写成脚本,而且不用分发到远程就可以执行;
(3)、使用python编写,维护更简单,ruby语法过于复杂;
(4)、支持sudo。

对客户端的要求

如果托管节点上开启了SElinux,你需要安装libselinux-python,这样才可使用Ansible中与通常我们使用 ssh 与托管节点通信,默认使用 sftp.如果 sftp 不可用,可在 ansible.cfg 配置文件中配置成 scp 的方式. 在托管节点上也需要安装 Python 2.4 或以上的版本.如果版本低于 Python 2.5 ,还需要额外安装一个模块:

客户端需要安装 python-simplejson

如果托管节点上开启了SElinux,你需要安装libselinux-python(当然也可以关闭SElinux),这样才可使用Ansible中与Note
copy/file/template相关的函数.你可以通过Ansible的yum模块在需要的托管节点上安装libselinux-python.

ansible的安装

linux上安装pip

安装pip:
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py

通过pip来安装ansible依赖包:

pip install
pip install paramiko
pip install PyYAML Jinja2 httplib2 six

pip install simplejson
pip install --upgrade distribute
pip install --upgrade setuptools

安装ansible

unzip ansible2.4.zip
python setup install

安装完成之后 : (命令行会安装到/usr/bin目录)
/usr/bin
ls -l |grep ansible

注:
安装说明:
ansible 2.6是需要python3的模块,同时使用pip相关的安装也是需要使用python3的
在linux7.5上进行相应的测试时, 我们可以使用ansible2.4的稳定版本
这样如果使用make/ make install的方式安装,编译才能通过

配置文件及相关目录

安装完成之后的配置目录:
配置文件目录:/etc/ansible/
执行文件目录:/usr/bin/
Lib库依赖目录:/usr/lib/pythonX.X/site-packages/ansible/
Help文档目录:/usr/share/doc/ansible-X.X.X/
Man文档目录:/usr/share/man/man1/

例如:我的配置文件

[root@srva ~]# cat /etc/ansible/hosts 
[srva]
srva

[srv]
srvb
srvc
srvd

而测试机hostys文件:

[root@srva ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.174.128 srva.wtest.com srva
192.168.174.129 srvb.wtest.com srvb
192.168.174.130 srvc.wtest.com srvc
192.168.174.131 srvd.wtest.com srvd

ansible模块和使用

常用模块介绍
根据Ansible官方的分类,将模块分为核心模块和额外模块,代码托管地址:https://github.com/ansible

核心模块按功能分类为:云模块、命令模块、数据库模块、文件模块、资产模块、消息模块、监控模块、网络模块、通知模块、包管理模块、源码控制模块、系统模块、单元模块、web设施模块、windows模块等。

具体可以参看官方页面ansible-modules-core。这里从官方分类的模块里选择最常用的一些模块进行介绍,介绍之前我们先调整一下hosts文件,把默认用户和密码添加到主机中,这样就不需要指定-u及-k了。

[test]
192.168.1.71 ansible_ssh_user=zzq ansible_ssh_pass=12345
192.168.1.72 ansible_ssh_user=zzq ansible_ssh_pass=12345
192.168.1.73 ansible_ssh_user=zzq ansible_ssh_pass=12345

一、ping模块
测试主机是否是通的,用法很简单,不涉及参数。

$ ansible test -m ping

二、setup模块
setup模块,主要用于获取主机信息,在playbooks里经常会用到的一个参数。gather_facts就与该模块相关,setup模块下经常使用的一个参数是filter参数,具体使用示例如下:

查看主机内存信息

$ ansible test -m setup -a ‘filter=ansible_*_mb’

查看地接口为eth0-2的网卡信息

$ ansible test -m setup -a ‘filter=ansible_eth[0-2]’

将所有主机的信息输入到/tmp/facts目录下,每台主机的信息输入到主机名文件中(/etc/ansible/hosts里的主机名)

$ ansible test -m setup --tree /tmp/facts

三、file模块
file模块主要用于远程主机上的文件操作,具体使用示例如下:

创建一个软连接

$ ansible test -m file -a “src=/etc/fstab dest=/tmp/fstab state=link”

删除一个文件

$ ansible test -m file -a “path=/tmp/fstab state=absent”

创建一个文件

$ ansible test -m file -a “path=/tmp/test state=touch”

常用参数:

force #需要在两种情况下强制创建软链接,一种是源文件不存在但之后会建立的情况下;另一种是目标软链接已存在,需要先取消之前的软链,然后创建新的软链,有两个选项:yes|no;
group #定义文件/目录的属组;
mode #定义文件/目录的权限;
owner #定义文件/目录的属主;
path #必选项,定义文件/目录的路径, required;
recurse #递归的设置文件的属性,只对目录有效;
src #要被链接的源文件的路径,只应用于state=link的情况;
dest #被链接到的路径,只应用于state=link的情况;
state:
directory #如果目录不存在,创建目录;
file #即使文件不存在,也不会被创建;
link #创建软链接;
hard #创建硬链接;
touch #如果文件不存在,则会创建一个新的文件,如果文件或目录已存在,则更新其最后修改时间;
absent #删除目录、文件或者取消链接文件;

四、copy模块
复制文件到远程主机,如下示例:

$ ansible test -m copy -a “src=/srv/myfiles/foo.conf dest=/etc/foo.conf owner=foo group=foo mode=0644”
$ ansible test -m copy -a “src=/mine/ntp.conf dest=/etc/ntp.conf owner=root group=root mode=644 backup=yes”
$ ansible test -m copy -a “src=/mine/sudoers dest=/etc/sudoers validate=‘visudo -cf %s’”

常用参数:

backup #在覆盖之前将原文件备份,备份文件包含时间信息。有两个选项:yes|no;
content #用于替代"src",可以直接设定指定文件的值;
directory_mode #递归的设定目录的权限,默认为系统默认权限;
force #如果目标主机包含该文件,但内容不同,如果设置为yes,则强制覆盖,如果为no,则只有当目标主机的目标位置不存在该文件时,才复制。默认为yes;
others #所有的file模块里的选项都可以在这里使用;
dest #必选项,要将源文件复制到的远程主机的绝对路径,如果源文件是一个目录,那么该路径也必须是个目录, required;
src # 要复制到远程主机的文件在本地的地址,可以是绝对路径,也可以是相对路径。
如果路径是一个目录,它将递归复制。
在这种情况下,
#如果路径使用"/“来结尾,则只复制目录里的内容,如果没有使用”/“来结尾,则包含目录在内的整个内容全部复制,类似于rsync;
validate #复制文件前进行验证,文件的路径的验证是通过”%s";

五、service模块
用于管理主机服务,能够同时管理CentOS6和CentOS7,不区分CentOS6的service和CentOS7的systemctl,如下实例:

$ ansible test -m service -a “name=httpd state=started enabled=yes”
$ ansible test -m service -a “name=foo pattern=/usr/bin/foo state=started”
$ ansible test -m service -a “name=network state=restarted args=eth0”

我自己测试

常用参数:

name #必选项,服务名称;
state #对当前服务执行启动,停止、重启、重新加载等操作(started, stopped, restarted, reloaded);
enabled #是否开机启动yes|no;
pattern #定义一个模式,如果通过status指令来查看服务的状态时,没有响应,就会通过ps指令在进程中根据该模式进行查找,如果匹配到,则认为该服务依然在运行;
runlevel #运行级别;
arguments #给命令行提供一些选项;
sleep #如果执行了restarted,在则stop和start之间沉睡几秒钟;

六、cron模块
用于管理计划任务,如下实例:

$ ansible test -m cron -a ‘name=“a job for reboot” special_time=reboot job="/some/job.sh"’
$ ansible test -m cron -a ‘name=“yum autoupdate” minute=/1 hour= day=* month=* weekday=* user=“root” job=“date>>/tmp/1.txt”’
$ ansible test -m cron -a ‘name=“yum autoupdate” minute=1 hour=/1 day= month=* weekday=* user=“root” job=“date>>/tmp/1.txt”’
$ ansible test -m cron -a ‘backup=“True” name=“test” minute=“0” hour=“5,2” job=“ls -alh > /dev/null”’
$ ansilbe test -m cron -a ‘cron_file=ansible_yum-autoupdate state=absent’

常用参数:

name #该任务的描述;
backup #对远程主机上的原任务计划内容修改之前做备份;
cron_file #如果指定该选项,则用该文件替换远程主机上的cron.d目录下的用户的任务计划;
day #日(1-31,,/2,……);
hour #小时(0-23,,/2,……);
minute #分钟(0-59,,/2,……);
month #月(1-12,,/2,……);
weekday #周(0-7,*,……);
job #要执行的任务,依赖于state=present;
special_time #指定什么时候执行,参数:reboot(重启时),yearly(每年),annually,monthly,weekly,daily,hourly;
state #确认该任务计划是创建还是删除;
user #以哪个用户的身份执行;

七、yum模块
使用yum包管理器来管理软件包,实例如下:

安装最新版本的apache;

$ ansible test -m yum -a ‘name=httpd state=latest’

移除apache;

$ ansible test -m yum -a ‘name=httpd state=absent’

升级所有的软件包;

$ ansible test -m yum -a 'name=* state=latest ’

安装整个Development tools相关的软件包;

$ ansible test -m yum -a ‘name="@Development tools" state=present’

从本地仓库安装nginx;

$ ansible test -m yum -a ‘name=/usr/local/src/nginx-release-centos-6-0.el6.ngx.noarch.rpm state=present’

从一个远程yum仓库安装nginx;

$ ansible test -m yum -a ‘name=http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm state=present’

常用参数:

name #要进行操作的软件包的名字,也可以传递一个url或者一个本地的rpm包的路径;
config_file #yum的配置文件;
disable_gpg_check #关闭gpg_check;
disablerepo #不启用某个源;
enablerepo #启用某个源;
state #用于描述安装包最终状态,present/latest用于安装包,absent用于卸载安装包;

八、user模块:
用户管理模块,使用实例:

$ ansible test -m user -a ‘name=johnd comment=“John Doe” uid=1040 group=admin’
1
常用参数:

home #指定用户的家目录,需要与createhome配合使用;
groups #指定用户的属组;
uid #指定用的uid;
password #指定用户的密码;
name #指定用户名;
createhome #是否创建家目录yes|no;
system #是否为系统用户;
remove #当state=absent时,remove=yes则表示连同家目录一起删除,等价于userdel -r;
state #是创建还是删除;
shell #指定用户的shell环境;

注:指定password参数时,不能使用明文密码,因为后面这一串密码会被直接传送到被管理主机的/etc/shadow文件中,所以需要先将密码字符串进行加密处理。然后将得到的字符串放到password中即可。

生成一个密码:

$ echo “123456” | openssl passwd -1 -salt $(< /dev/urandom tr -dc ‘[:alnum:]’ | head -c 32) -stdin
$1 4 P 4 P l F u E 4P4PlFuE 4P4PlFuEur9ObJiT5iHNrb9QnjaIB0

也可以使用openssl passwd -l
然后通过交互式方式来输入密码,然后再将密文使用到ansible来处理。

用上面生成的密码创建用户

$ ansible all -m user -a ‘name=foo password="$1 4 P 4 P l F u E 4P4PlFuE 4P4PlFuEur9ObJiT5iHNrb9QnjaIB0"’

不同的发行版默认使用的加密方式可能会有区别,具体可以查看/etc/login.defs文件确认,centos 6.5版本使用的是SHA512加密算法。

九、group模块
组管理模块,使用实例:

$ ansible all -m group -a ‘name=somegroup state=present’

常用参数:

gid #指定gid;
name #指定组名称;
state #操作状态,present,absent;
system #是否为系统组;

十、filesystem模块
在块设备上创建文件系统,示例如下:

$ ansible test -m filesystem -a ‘fstype=ext2 dev=/dev/sdb1 force=yes’
$ ansible test -m filesystem -a ‘fstype=ext4 dev=/dev/sdb1 opts="-cc"’

常用参数:

dev #目标块设备;
force #在一个已有文件系统的设备上强制创建;
fstype #文件系统的类型;
opts #传递给mkfs命令的选项;

十一、mount模块
配置挂载点

$ ansible test -m mount ‘name=/mnt/dvd src=/dev/sr0 fstype=iso9660 opts=ro state=present’
$ ansible test -m mount ‘name=/srv/disk src=‘LABEL=SOME_LABEL’ state=present’
$ ansible test -m mount ‘name=/home src=‘UUID=b3e48f45-f933-4c8e-a700-22a159ec9077’ opts=noatime state=present’

$ ansible test -a ‘dd if=/dev/zero of=/disk.img bs=4k count=1024’
$ ansible test -a ‘losetup /dev/loop0 /disk.img’
$ ansible test -m filesystem -a ‘fstype=ext4 force=yes opts=-F dev=/dev/loop0’
$ ansible test -m mount ‘name=/mnt src=/dev/loop0 fstype=ext4 state=mounted opts=rw’

常用参数:

fstype #必选项,挂载文件的类型;
name #必选项,挂载点;
opts #传递给mount命令的参数;
src #必选项,要挂载的文件;
state #必选项;
present #只处理fstab中的配置;
absent #删除挂载点;
mounted #自动创建挂载点并挂载之;
umounted #卸载;

十二、get_url模块
该模块主要用于从http、ftp、https服务器上下载文件(类似于wget)

$ ansible test -m filesystem -a ‘url=http://example.com/path/file.conf dest=/etc/foo.conf mode=0440’
1
2
常用参数:

sha256sum #下载完成后进行sha256 check;
timeout #下载超时时间,默认10s;
url #下载的URL;
url_password、url_username #主要用于需要用户名密码进行验证的情况;
use_proxy #使用代理,代理需事先在环境变更中定义;

十三、unarchive模块
用于解压文件的模块,

$ ansible test -m unarchive -a ‘src=foo.tgz dest=/var/lib/foo’
$ ansible test -m unarchive -a ‘src=/tmp/foo.zip dest=/usr/local/bin copy=no’
$ ansible test -m unarchive -a ‘src=https://example.com/example.zip dest=/usr/local/bin copy=no’

常用参数:

copy #在解压文件之前,是否先将文件复制到远程主机,默认为yes。若为no,则要求目标主机上压缩包必须存在;
creates #指定一个文件名,当该文件存在时,则解压指令不执行;
dest #远程主机上的一个路径,即文件解压的路径;
group #解压后的目录或文件的属组;
list_files #如果为yes,则会列出压缩包里的文件,默认为no,2.0版本新增的选项;
mode #解决后文件的权限;
src #如果copy为yes,则需要指定压缩文件的源路径;
owner #解压后文件或目录的属主;

十四、script模块
在指定节点上执行shell/python脚本(注意,该脚本是在ansible控制节点上面的) 支持管道。
$ ansible test -m script -a ‘/root/src.sh’

十、shell模块
在指定节点上执行shell/python脚本(注意,该脚本是在远程节点)。 支持管道。

$ ansible test -m shell -a ‘/bin/bash /root/dest.sh’

十六、command模块
用于执行远程系统命令,此模块为ansible默认执行的模块,也是常用模块之一。 不支持管道命令。

$ ansible test -m command -a ‘uname -n’
1
十七、raw模块
类似于command模块、区别在于raw模块支持管道传递。 支持管道

$ ansible test -m raw -a “tail -n2 /etc/passwd | head -n1”

本部分引用博客:原文链接:https://blog.csdn.net/zzq900503/article/details/80158767。 记录在这里,不再另说明。

playbook介绍和说明

Playbook是Ansible的配置,部署,编排语言。他们可以被描述为一个需要希望远程主机执行命令的方案,或者一组IT程序运行的命令集合。
dfd
当执行一些简单的改动时ansible命令是非常有用的,然而它真的作用在于它的脚本能力。当对一台机器做环境初始化的时候往往需要不止做一件事情,这时使用playbook会更加适合。通过playbook你可以一次在多台机器执行多个指令。通过这种预先设计的配置保持了机器的配置统一,并很简单的执行日常任务。

Playbook还开创了很多特性,它可以允许你传输某个命令的状态到后面的指令,如你可以从一台机器的文件中抓取内容并附为变量,然后在另一台机器中使用,这使得你可以实现一些复杂的部署机制,这是ansible命令无法实现的。
(变量的功能:不同机器之间的传递)

使用playbook批量部署tomcat

使用playbook安装jdk1.8

规划目录:
源文件目录:/install
压缩包:jdk-8u231-linux-x64.tar.gz
解压后的文件目录:/usr/local/java/jdk-8u231-linux-x64 ,使用这个目录作为JAVA_HOME
解压缩之后,配置/etc/profile的环境变量。
然后完成批量部署

yaml文件

[root@srva yaml]# cat jdk18.yaml
---
- hosts: srv
  vars:
    - tarname: jdk-8u231-linux-x64
    - jdkname: jdk1.8.0_231
    - profile: /etc/profile
  remote_user: root
  tasks:
    - name: cp and untar
      unarchive: src=/install/{{ tarname }}.tar.gz dest=/usr/local/java copy=yes
    - name:  config JAVA_HOME
      shell: echo "export JAVA_HOME=/usr/local/java/{{ jdkname }}" >> {{ profile }}
    - name: config PATH
      shell: echo "export PATH=\${JAVA_HOME}/bin:\${JAVA_HOME}/jre/bin:\$PATH" >> {{ profile }}
    - name: active {{ profile }} configure file
      shell: source {{ profile }}
    - name: java -version
      shell: /usr/local/java/{{ jdkname }}/bin/java -version
      register: javaversion
    - name: show
      debug: var=javaversion.stdout verbosity=0

使用playbook安装jdk1.8:
ansible-playbook jdk8.yaml

使用playbook批量部署tomcat

tomcat批量部署:

目录规划
安装目录: /usr/local/tomcat
源安装文件目录:apache-tomcat-8.5.50.tar.gz

思路:
解压到/usr/local目录之后,之后重命名成tomcat目录(这样其实看起来是比较舒服的)

yaml配置文件:

[root@srva yaml]# cat tomcat.yaml
---
- hosts: srv
  remote_user: root
  tasks:
    - name: cp and untar
      unarchive: src=/install/apache-tomcat-8.5.50.tar.gz dest=/usr/local copy=yes
    - name: rename the tomcat dir
      shell: cd /usr/local;mv apache-tomcat-8.5.50 tomcat
    - name: start tomcat
      shell: source /etc/profile; nohup /usr/local/tomcat/bin/startup.sh &

向srv主机组批量部署tomcat,并启动
ansilbe-playbook tomcat.yaml

配置过程中存在问题记录

$ 符号的转义

在ansilble调用shell模块处理时,如果引号内有$符号,则需要用 \ 转义
如我们在配置JAVA环境哟哦结果时使用的配置:
ansible详解和批量部署tomcat_第2张图片

无法通过ansible启动tomcat

当使用 ansible srv -m shell -a ‘/usr/local/tomcat/bin/startup.sh’ 启动tomcat发现返回为SUCESS, 但是实际在受管端无法启动tomcat
处理:
1、环境变量,在startup.sh中添加source /etc/profile
2、后台运行,加上nohup…&
yaml脚本配置可以如下:
- name: start tomcat
shell: nohup /usr/local/tomcat/bin/startup.sh &

---
- hosts: srv
  remote_user: root
  tasks:
    - name: cp and untar
      unarchive: src=/install/apache-tomcat-8.5.50.tar.gz dest=/usr/local copy=yes
    - name: rename the tomcat dir
      shell: cd /usr/local;mv apache-tomcat-8.5.50 tomcat
    - name: start tomcat
      shell: nohup /usr/local/tomcat/bin/startup.sh &

tomcat无法通过bin/shutdown.sh关闭

tomcat无法通过bin/shutdown.sh关闭
处理:修改java.security安全检验方式

文件位置:
JAVA_HOME=/usr/local/java/jdk1.8.0_231
filename=${JAVA_HOME}/jre/lib/security/java.security

我们通过使用shell脚本来批量修改:

touch deal_java_security.sh

[root@srva yaml]# cat deal_java_security.sh

# env

JAVA_HOME=/usr/local/java/jdk1.8.0_231
filename=${JAVA_HOME}/jre/lib/security/java.security

# the main method: deal with the java random security policy
sed -i "s/^securerandom.source=file.*$/securerandom.source=file:\/dev\/.\/random/g" ${filename}

使用ansible在srv主机群组批量执行:
ansible srv -m script -a ‘/root/yaml/deal_java_security.sh’

当然完全可以通过批量颁发至srv各个节点上,然后通过ansilbe shell模块来执行处理。

你可能感兴趣的:(python)