运维工作：系统安装（物理机、虚拟机）à 程序包安装、配置、服务启动 à 批量操作 à 程序发布 à 监控
OS Provisioning：
物理机：PXE、Cobbler
虚拟机：Image Templates
Configuration：
Puppet（ruby）
Saltstack（python）
Chef
Cfengine
Command and Control：
Fabric
预发布验证：
新版本的代码先发布到服务器（跟线上环境配置完全相同，只是未接入到调度器）
程序发布：
不能影响用户体验；
系统不能停机；
不能导致系统故障或造成系统完全不可用；
灰度发布：
发布路径：
/webapp/tuangou-1.1
/webapp/tuangou
/webapp/tuangou-1.2
/webapp/tuangou是一个软连接，本来指向/webapp/tuangou-1.1，发布时，将/webapp/tuangou指向/webapp/tuangou-1.2，如发生错误，会滚到1.1.版本
在调度器上下线一批主机(maintanance) --> 关闭服务 --> 部署新版本的应用程序 --> 启动服务 --> 在调度器上启用这一批服务器；
自动化灰度发布：脚本、发布平台；
运维工具的分类：
Agent：puppet，func
Agentless：ansible，fabric
Ssh
Ansible：自动化运维部署工具
Ansible的特性：
模块化，调用特定的模块，完成特定的任务；
基于python语言实现，由Paramiko、pyYAML和Jinjia2三个关键模块；
部署简单，agentless；
主从模式；
支持自定义模块；
支持playbook；
幂等性；
一、 Ansible的配置使用：
ansible通过ssh实现配置管理、应用部署、任务执行等功能，因此，需要事先配置ansible端能基于密钥认证的方式联系各被管理节点。
配置文件：
/etc/ansible/ansible.cfg 核心配置
/etc/ansible/hosts 主机清单
/usr/share/ansible_plugins/ 插件目录
程序：
ansible
ansible-doc 可以获取帮助文档
ansible-playbook 剧本
基本用法：
Ansible
args:
key-value
Note：command模块要执行命令无须为key=value格式，而是直接给出要执行的命令即可；
常用模块：
command
-a ‘COMMAND’
user
-a ‘name= state={present|absent} system= uid= ’
group
-a ‘name= gid= state= system= ’
cron
-a ‘name= minute= hour= day= month= weekday= job= user= state= ’
copy
-a ‘dest= src= mode= owner= group= ’
file
-a ‘path= mode= owner= group= state={directory|link|touch|absent|…} src= ’
ping
没有参数
yum
-a ‘name state={present|latest|absent}’
service
-a ‘name= state={started|stopped|restarted} enabled=’
shell
-a ‘COMMAND’
script
-a ‘/path/to/script’
setup
用法演示：
环境：四台虚拟机，两台centos7，两台centos6，其中一台centos7作为管理节点，另外三台作为被管理端。
管理端：192.168.19.203（centos7）
被管理端：192.168.19.200（centos7），192.168.19.143（centos6），192.168.19.144（centos6）
1. 配置基于密钥认证连接被管控主机；（安全）
管理端：
在主机中hosts文件中添加映射：
在管理端测试：
2. 对ansible配置文件备份，并编辑配置主机清单（/etc/ansible/hosts）；
3. 可以获取使用帮助；
基于以上环境，以下将对ansible的模块用法进行一一演示：
1. command模块
1) 获取所有主机的ip地址：
2) 给webserver组的两台主机添加一个centos用户，并其添加密码也为centos；
验证：可以发现密码添加失败；
Note：command命令不支持管道传输，所以可以用shell模块通过管道传输；
2. shell模块
1) 给上面创建的centos用户设置密码为centos（通过管道方式）
2) 验证：密码添加成功
3. user模块
1) 用user模块为所有主机创建redhat用户；
2) 也可以删除用户；
4. group模块
5. cron模块：管理周期性任务
1) 创建自定义任务，每个五分钟向控制主机同步一下时间；
2) 测试远程主机查看；
6. copy模块
1) 复制管控主机上的/etc/fstab文件到被控主机的/tmp目录下，文件名为fstab.ansible
2) 测试；
7. file模块
1) 改变文件属性；
2) 创建文件；
3) 创建链接文件；
测试：
4) 创建目录文件；
8. ping模块
9. yum模块
1) 为webserver主机安装nginx：
2) 卸载nginx
10. service模块
开启webserver上的nginx服务；
11. script模块
12. setup
二、 YAML
1. YAML介绍
YAML是一个可读性高的用来表达资料序列的格式。YAML参考了其它多种语言，包括：XML、c语言、Python、Perl以及电子邮件格式RFC2822等。
YAML Ain't Markup Language，即YAML不是XML。不过，在开发的这种语言时，YAML的意思其实是："Yet Another Markup Language"（仍是一种标记语言）。其特性：
YAML可读性好；
YAML和脚本语言的交互性好；
YAML使用实现语言的数据类型
YAML有一个一致的信息模型
YAML易于实现；
YAML可以基于流来处理；
YAML表达能力强，扩展性好；
2. 语法
YAML的语法和其他高阶语言类似，并且可以简单表达清单、散列表、标量等数据结构。其结构（Structure）通过空格来展示，序列（Sequence）里的项用"-"来代表，Map里的键值对用":"分隔。下面是一个示例。
name: John Smith
age: 41
gender: Male
spouse:
name: Jane Smith
age: 37
gender: Female
children:
- name: Jimmy Smith
age: 17
gender: Male
- name: Jenny Smith
age 13
gender: Female
YAML文件扩展名通常为.yaml，如example.yaml。
1) list
列表的所有元素均使用“-”开头，例如：
#A list of tasty fruits
- Apple
- Orange
- Strawberry
- Mango
2) directory
字典通过key与vale进行标识，例如：
# An employee record
name：Example Developer
job：Develper
skill：Elite
也可以将key:value放置于{}中进行表示，例如：
# An employee record
{name: Example Developer, job: Developer, skill: Elite}
三、 ansible基础元素
1. 变量
1) 变量命名
变量名仅能由字母、数字和下划线组成，且只能以字母开头。
2) facts
facts是由正在通信的远程目标主机发回的信息，这些信息被保存在ansible变量中。要获取指定的远程主机所支持的所有facts，可使用如下命令进行：
#ansible HOSTNAME -m setup
3) register
把任务的输出定义为变量，然后用于其他任务，示例如下：
tasks:
- shell: /usr/bin/foo
register: foo_result
ignore_errors: True
4) 通过命令行传递变量
在运行playbook的时候也可以传递一些变量供playbook使用，示例如下：
ansible-playbook test.yaml --extra-vars=“hosts=www user=claude”
ansible-playbook test.yaml -e “hosts=www user=claude”
5) 通过roles传递变量
当给一个主机应用角色的时候可以传递变量，然后在角色内使用这些变量，示例如下：
- hosts: webservers
roles:
- common
- { role: foo_app_instance, dir: '/web/htdocs/a.com', port: 8080 }
2. Incentory
Ansible的主要功能在于批量主机操作，为了编辑地使用其中的部分主机，可以在inventory file中将其分组命名。默认的inventory file为/etc/ansible/hosts
Inventory file可以有多个，且也可以通过Dynamic Inventory来动态生成。
1) Inventory文件格式
Inventory文件遵循INI文件风格，中括号中的字符为组名。可以将同一个主机同时归并到多个不同的组中；此外，当如若目标主机使用了非默认的SSH端口，还可以在主机名称之后使用冒号加端口号来标明。
ntp.magedu.com
[webservers]
www1.magedu.com:2222
www2.magedu.com
[dbservers]
db1.magedu.com
db2.magedu.com
db3.magedu.com
如果主机名称遵循相似的命名模式，还可以使用列表的方式标识各主机，例如：
[webservers]
www[01:50].example.com
[databases]
db-[a:f].example.com
2) 主机变量
可以在inventory中定义主机时为其添加筑基变量以便于在playbook中使用。例如：
[webservers]
www1.magedu.com http_port=80 maxRequestsPerChild=808
www2.magedu.com http_port=8080 maxRequestsPerChild=909
3) 组变量
组变量是指赋予给指定组内所有主机上的playbook中可用的变量。例如：
[webservers]
www1.magedu.com
www2.magedu.com
[webservers:vars]
ntp_server=ntp.magedu.com
nfs_server=nfs.magedu.com
4) 组嵌套
在inventory中，组还可以包含其他的组，并且也可以向组中的主机指定变量。不过，这些变量只能在ansible-playbook中使用，而ansible不支持。例如：
[apache]
httpd1.magedu.com
httpd2.magedu.com
[nginx]
ngx1.magedu.com
ngx2.magedu.com
[webservers:children]
apache
nginx
[webservers:vars]
ntp_server=ntp.magedu.com
5) Inventory参数
Ansible基于ssh连接inventory中指定的远程主机时，还可以通过参数指定其交互方式；这些参数如下所示：
ansible_ssh_host
The name of the host to connect to, if different from the alias you wish to give to it.
ansible_ssh_port
The ssh port number, if not 22
ansible_ssh_user
The default ssh user name to use.
ansible_ssh_pass
The ssh password to use (this is insecure, we strongly recommend using --ask-pass or SSH keys)
ansible_sudo_pass
The sudo password to use (this is insecure, we strongly recommend using --ask-sudo-pass)
ansible_connection
Connection type of the host. Candidates are local, ssh or paramiko. The default is paramiko before Ansible 1.2, and 'smart' afterwards which detects whether usage of 'ssh' would be feasible based on whether ControlPersist is supported.
ansible_ssh_private_key_file
Private key file used by ssh. Useful if using multiple keys and you don't want to use SSH agent.
ansible_shell_type
The shell type of the target system. By default commands are formatted using 'sh'-style syntax by default. Setting this to 'csh' or 'fish' will cause commands executed on target systems to follow those shell's syntax instead.
ansible_python_interpreter
The target host python path. This is useful for systems with more than one Python or not located at "/usr/bin/python" such as \*BSD, or where /usr/bin/python is not a 2.X series Python. We do not use the "/usr/bin/env" mechanism as that requires the remote user's path to be set right and also assumes the "python" executable is named python, where the executable might
be named something like "python26".
ansible\_\*\_interpreter
Works for anything such as ruby or perl and works just like ansible_python_interpreter. This replaces shebang of modules which will run on that host.
3. 条件测试
如果需要根据变量、facts或此前任务的执行结果来作为某task执行与否的前提时要用到条件测试。
1) When语句
在task后添加when子句即可启用条件测试；when语句支持Jinja2表达式语法。例如：
tasks:
- name: "shutdown Debian flavored systems"
command: /sbin/shutdown -h now
when: ansible_os_family == "Debian"
when语句中还可以使用Jinja2的大多“filter”，例如要忽略此前某语句的错误并基于其结果（failed或者sucess）运行后面指定的语句，可使用类似如下形式：
tasks:
- command: /bin/false
register: result
ignore_errors: True
- command: /bin/something
when: result|failed
- command: /bin/something_else
when: result|success
- command: /bin/still/something_else
when: result|skipped
此外，when语句中还可以使用facts或playbook中定义的变量。 、
4. 迭代
当有需要重复性执行任务时，可以使用迭代机制。其使用格式为将需要迭代的内容定义为item变量引用，并通过with_items语句来指明迭代的元素列表即可。例如：
- name: add several users
user: name={{ item }} state=present groups=wheel
with_items:
- testuser1
- testuser2
上面语句的功能等同于下面的语句：
- name: add user testuser1
user: name=testuser1 state=present groups=wheel
- name: add user testuser2
user: name=testuser2 state=present groups=wheel
事实上，with_items中可以使用元素还可为hashes，例如：
- name: add several users
user: name={{ item.name }} state=present groups={{ item.groups }}
with_items:
- { name: 'testuser1', groups: 'wheel' }
- { name: 'testuser2', groups: 'root' }
四、 ansible playbooks
playbook是由一个或多个“play”组成的列表。Play的主要功能在于将事先归并为一组的主机装扮成事先通过ansible中的task定义好的角色。从根本上来讲，所谓task无非是调用ansible的一个module。将多个play组织在一个playbook中，即可以让它们联同起来按事先编排的机制同唱一台大戏。下面是一个简单示例。
- hosts: webnodes
vars:
http_port: 80
max_clients: 256
remote_user: root
tasks:
- name: ensure apache is at the latest version
yum: name=httpd state=latest
- name: ensure apache is running
service: name=httpd state=started
handlers:
- name: restart apache
service: name=httpd state=restarted
1. playbook基础组件
1) hosts和users
playbook中的每一个play的目的都是为了让某个或某些主机以某个指定的用户身份执行任务。Hosts用于指定要执行指定任务的主机，其可以是一个或多个由冒号分隔主机组：remote_user则用于指定远程主机上的执行任务的用户。如上面示例中的
-hosts: webnodes
remote_user: root
不过，remote_user也可用于各task中。也可以通过指定其通过sudo的方式在远程主机上执行任务，其可用于play全局或某任务；此外，是指可以在sudo时使用sudo_user时切换的用户。
- hosts: webnodes
remote_user: mageedu
tasks:
- name: test connection
ping:
remote_user: mageedu
sudo: yes
2) 任务列表和action
Play的主体部分是task list。Task list中的各任务按次序逐个在hosts中指定的所有主机上执行，即在所有主机上完成第一个任务后再开始第二个。在运行自下而上mouplaybook时，如果中途发生错误，所有已执行任务都将回滚，因此，在更正playbook后重新执行一次即可。
Task的目的是使用指定的参数执行模块，而在模块参数中可以使用变量。模块执行时幂等的，这意味着多次执行时安全的，因为其结果均一致。
每个task都应该有其name，用于playbook的执行结果输出，建议其内容尽可能清晰地描述任务执行的步骤。如果未提供name，则action的结果将用于输出。
定义task的可以使用“action：module options”或“module：options”的格式，推荐使用后者以实现向后兼容。如果action一行的内容过多，也中使用在行首使用几个空白字符进行换行。
tasks:
- name: make sure apache is running
service: name=httpd state=started
在众多模块中，只有command和shell模块仅需要给定一个列表而无需使用“key=value”格式，例如：
tasks:
- name: disable selinux
command: /sbin/setenforce 0
如果命令或脚本的退出码不为零，可以使用如下方式替代：
tasks:
- name: run this command and ignore the result
shell: /usr/bin/somecommand || /bin/true
或者使用ignore_errors来忽略错误信息：
-tasks:
- name: run this command and ignore the result
shell: /usr/bin/somecommand
ignore_errors: True
3) handlers
用于当关注的资源发生变化时采取一定的操作。
“notify”这个action可用于在每一个play的最后被触发，这样可以避免多次有改变发生时灭磁都执行指定的操作，取而代之，仅在所有的变化发生后一次性的执行指定操作。在notify中列出的操作称为handler，也即notify中调用handler定义的操作。
- name: template configuration file
template: src=template.j2 dest=/etc/foo.conf
notify:
- restart memcached
- restart apache
handler是task列表，这些task与前述的task并没有本质上的不同。
handlers:
- name: restart memcached
service: name=memcached state=restarted
- name: restart apache
service: name=apache state=restarted
案例：
heartbeat.yaml
- hosts: hbhosts
remote_user: root
tasks:
- name: ensure heartbeat latest version
yum: name=heartbeat state=present
- name: authkeys configure file
copy: src=/root/hb_conf/authkeys dest=/etc/ha.d/authkeys
- name: authkeys mode 600
file: path=/etc/ha.d/authkeys mode=600
notify:
- restart heartbeat
- name: ha.cf configure file
copy: src=/root/hb_conf/ha.cf dest=/etc/ha.d/ha.cf
notify:
- restart heartbeat
handlers:
- name: restart heartbeat
service: name=heartbeat state=restarted
五、 roles
ansible自1.2版本引入的新特性用于层次性、结构化地组织playbook。Roles能够根据层次型结构自动装载变量文件、tasks以及handlers等。要使用roles只需在playbook中使用include指令即可。简单来讲，roles就是通过分别将变量、文件任务、模板及处理器放置于单独的目录中，并可以便捷地include它们的一种机制。roles一般用于基于主机构建服务的场景中，但也可以是用于构建守护进程等场景中。
一个roles的案例如下所示：
site.yml
webservers.yml
dbservers.yml
roles/
common/
files/
templates/
tasks/
handlers/
vars/
meta/
webservers/
files/
templates/
tasks/
handlers/
vars/
meta/
而在playbook中，可以这样使用roles：
---
- hosts: webservers
roles:
- common
- webservers
也可以向roles传递参数，例如：
- hosts: webservers
roles:
- common
- { role: foo_app_instance, dir: '/opt/a', port: 5000 }
- { role: foo_app_instance, dir: '/opt/b', port: 5001 }
甚至也可以条件式地使用roles，例如：
---
- hosts: webservers
roles:
- { role: some_role, when: "ansible_os_family == 'RedHat'" }
1. 创建role的步骤
1) 创建以roles命名的目录；
2) 在roles目录中分别创建以各角色名称命名的目录，如webservers等；
3) 在每个角色命名的目录中分别创建files、handlers、meta、tasks、templates和vars目录；用不到的目录可以创建为空目录，也可以不创建；
4) 在playbook文件中，调用各角色；
2. role内个各目录中可用的文件
1) tasks目录：至少应该包含一个名为main.yml的文件，其定义了此角色的任务列表；此文件可以使用include包含其它的位于此目录中的task文件；
2) files目录：存放由copy或script等模块调用的文件；
3) templates目录：template模块会自动在此目录中寻找Jinja2模板文件；
4) handlers目录：此目录应当包含一个main.yml文件，用于定义此角色用到的各handler；在handler中使用include包含的其它的handler文件也应该位于此目录中；
5) vars目录：应当包含一个main.yml文件，用于定义此角色用到的变量；
6) meta目录：应当包含一个main.yml文件，用于定义此角色的特殊设定及其依赖关系；ansible1.3及其以后的版本才支持；
7) default目录：为当前角色设定默认变量时使用此目录；应当包含一个main.yml文件；
六、 tags
tags用于让用户选择运行playbook中的部分代码。ansible具有幂等性，因此会自动跳过没有变化的部分，即便如此，有些代码为测试其确实没有发生变化的时间依然会非常地长。此时，如果确信其没有变化，就可以通过tags跳过此些代码片断。
Ansible-playbook -t TAGS(--tags=TAGS)
Ansible-playbook –h 可以获取具体用法。
演示1：编排剧本，简单创建组和用户，安装并开启服务；
1. 首先定义yaml格式的列表；
2. 可以看一下匹配的主机，任务列表
3. 测试运行；
演示2：利用handler，当httpd的配置文件发生修改时，重启httpd服务；
1. 准备httpd模板配置文件；
将端口改为8080；
2. 编辑yaml列表文件，定义playbook；
3. 测试运行；
4. 再次执行一次；配置文件没有发生改变，所以不会执行handler任务；
演示3：给指定任务定义tags；
1. 在以上文件的基础上编辑定义playbook；
2. 当我们只是修改了配置文件，确保服务已经安装并且启动时，我们只需运行tags的任务即可；
以上可见，只执行了标记tags的任务，可以避免浪费很多资源。
演示4：变量
方法一：通过命令行传递
1. 配置playbook；
2. 命令行传递安装程序包；
方法二：在playbook中直接定义变量值；
1. 定义playbook；
2. 执行命令即可；
方法三：在hosts Inventory中为每个主机定义专用变量值；
方法四：在hosts Inventory中定义组变量，向组内所有的主机传递相同的变量；
演示5：template，基于模板复制配置文件；以下定义一个完整的nginx 的playbook；
1. 准备模板文件，将worker_processes的值修改为一个变量，；
其中ansible_processor_vcpus为ansible内置变量；
2. 定义一个完整的nginx的playbook；
3. 测试运行；
演示6：角色roles；
1. 进入/etc/ansible/roles目录，在此目录中分别创建以各角色名称命名的目录，并在每个角色命名的目录下分别创建files、handlers、meta、tasks、templates和vars目录；用不到的目录的可以创建为空目录，也可以不创建；
2. 首先定义nginx角色的tasks目录，如需调用一些模块，它会自动到对应的目录中获取文件内容；
3. 定义tasks需要用到的模块目录的内容；
1) handlers目录
2) 准备templates的模板文件，并修改其进程数为系统变量，并自定义监听端口变量；
3) 准备vars目录下的自定义变量；
4) 定义的文件树状图；
4. 定义playbook调用roles；
5. 确保/etc/ansible/ansible.cfg定义的roles路径与刚才编辑的一致；
6. 测试运行；
