saltstack应用之批量部署mysql

应用环境：

使用salt写了个自动部署mysql的配置配置管理文件，由于mysql的有版本号，端口等不确定属性，需要使用pillar来单独配置每个minion的属性。

一，原始方法

例如，需要在salt id为10.1.1.1-centos.game.web的服务器上部署mysql，版本号为5.5.25，实例有3个，3306，3307,3308， 正常情况下的流程是这样的：

1，在/srv/salt/top.sls中添加配置信息,确保mysql对应的配置被加载

1 2 3

base :    10.1.1.1 - centos . game . web :      - centos . public_services . mysql

2,在/srv/pillar/top.sls配置minion对应的sls文件位置(ps:salt文件中不能再带"."，否则会报错)

1 2 3

base :    10.1.1.1 - centos . game . web :      - custom . 10 - 1 - 1 - 1 - centos - game - web

3,新建/srv/pillar/custom/10-1-1-1-centos-game-web.sls,内容如下:

1 2 3 4 5 6

mysql :   ports :     - 3306     - 3307     - 3308   version :   '5_5_25'

4,执行同步命令

1	salt  10.1.1.1 - centos . game . web state . highstate - v - t 300

二，改进方法
oh,shit,说好的自动化呢，怎么还要这么多步骤，这可不行！
利用py模式的sls配置文件（其实就是python脚本，只要返回yaml格式的字典文件就好了），我们可以将以上的操作简化成1步，思路如下：
1，/srv/pillar/top.sls中编写配置：

1 2 3

base : '*' : - custom

2，使用py模式编写/srv/pillar/custom/init.sls，自动读取pillar配置，例如salt id是：10.1.1.1-centos.game.web，那么project为game，然后根据获取的pillar_root组合成路径/srv/pillar/custom/game/10.1.1.1-centos.game.web.yaml,利用yaml模块从文件中读取信息，返回字典
3，在/srv/salt/top.sls文件中匹配所有的minion

1 2	‘ *’：    - centos . public_services

4，/srv/salt/centos/public_services/init.sls文件使用py模式编写，配置会获取对应的minion的pillar信息，如果包含mysql配置信息且配置正确的话，则返回mysql实例的配置。

那现在要怎么使用呢，很简单，例如你的id为10.1.1.1-centos.game.web，首先在/srv/pillar/custom/目录下建个game目录(从salt id获取的项目名)，然后在game目录先新建文件10.1.1.1-centos.game.web.yaml,里面写上配置信息：

1 2 3 4 5 6 7 8

mysql :   ports :     - 3306     - 3307     - 3308   version :   '5_5_25'   最后执行命令 :

1	salt  10.1.1.1 - centos . game . web state . highstate - v - t 300

静静的等待执行完成就好了！

三，具体代码

/srv/pillar/custom/init.sls

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

#!py #coding:utf-8 "" " 返回minion对应的pillar信息 " "" import yaml import os   def run ( ) :    "" "   首先获取请求的id，从id中获取project，例如id是：1.2.3.4-centos.game.web，那么project为game   然后根据获取的pillar_root组合成路径/srv/pillar/custom/game/1.2.3.4-centos.game.web.yaml,利用yaml模块从文件中读取信息，返回字典   " ""    config = { }    id = __opts__ [ 'id' ]    project = id . split ( '-' ) [ - 1 ] . split ( '.' ) [ 1 ]    pillar_root = __opts__ [ 'pillar_roots' ] [ 'base' ] [ 0 ]    path = '%s/custom/%s/%s.yaml' % ( pillar_root , project , id )    if os . path . isfile ( path ) :      s = open ( path ) . read ( )      config = yaml . load ( s )    return config

/srv/salt/centos/public_services/init.sls

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49

#!py #coding: utf-8 import subprocess   class MY_ERROR ( Exception ) :    def __init__ ( self , value ) :      self . value = value    def __str__ ( self ) :      return self . value   def mysql ( ) :    "" "   1,检查是minion中pillar是否有mysql参数,以及参数是否合法   如果参数没有问题，则返回对应版本的include配置   pillar e.q.   mysql:     ports:       - 3306       - 3307     version: '5_5_25'   " ""    mysql_sls_path = 'centos.public_services.mysql.'    #必要的参数    required_keys = [ 'version' , 'ports' ]    if __pillar__ . has_key ( 'mysql' ) :      mysql_d = __pillar__ [ 'mysql' ]      #不存在必要的键值对则返回None      for key in required_keys :        if not mysql_d . has_key ( key ) or str ( mysql_d [ key ] ) . strip ( ) == "" :          raise MY_ERROR ( 'key error! key: %s' % ( str ( key ) ) )      #判断port是否合法      for port in mysql_d [ 'ports' ] :        if not port or not 1024 < int ( port ) < 65535 :          raise MY_ERROR ( 'mysql ports value error: %s' % ( str ( mysql_d [ 'ports' ] ) ) )      #组合配置参数      cfg = mysql_sls_path + str ( mysql_d [ 'version' ] [ 0 ] )      return cfg    return None   def run ( ) :    config = { }    config [ 'include' ] = [ ]    #mysql    mysql_cfg = mysql ( )    if mysql_cfg :      config [ 'include' ] . append ( mysql_cfg )    if config [ 'include' ] == [ ] :      return { }    return config

/srv/salt/centos/public_services/mysql/5/init.sls

1 2 3 4

include :    - centos . public_services . mysql . 5.packet    - centos . public_services . mysql . 5.my_cnf    - centos . public_services . mysql . 5.instance

/srv/salt/centos/public_services/mysql/5/packet.sls
mysql软件包要放到相应的目录中，具体位置参考下面配置

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

{ % set version = pillar [ 'mysql' ] [ 'version' ] % } mysql :    user . present :      - home : / home / mysql      - shell : / sbin / nologin   / usr / local / nagios / libexec / check_safe - u :    cmd . wait :      - watch :        - user : mysql   / usr / local / src / mysql - { { version . replace ( '_' , '.' ) } } . tar . gz :    file . managed :      - source : salt : //centos/public_services/mysql/5/{{version}}/mysql-{{version.replace('_','.')}}.tar.gz   tar - xf mysql - { { version . replace ( '_' , '.' ) } } . tar . gz - C / usr / local / :    cmd . run :      - cwd : / usr / local / src      - unless : ls - l / usr / local / | grep - e ".* mysql-{{version.replace('_','.')}}$"   / usr / local / mysql - { { version . replace ( '_' , '.' ) } } :    file . directory :      - user : mysql      - group : mysql      - recurse :        - user        - group   / data / mysql_log :    file . directory :      - makedirs : True      - user : mysql      - group : mysql      - recurse :        - user        - group   / data / log - bin :    file . directory :      - makedirs : True      - user : mysql      - group : mysql      - recurse :        - user        - group   / usr / bin / mysql :    file . symlink :      - target : / usr / local / mysql - { { version . replace ( '_' , '.' ) } } / bin / mysql      - unless : ls - l / usr / bin | grep - e " mysql$"

/srv/salt/centos/public_services/mysql/5/my_cnf.sls
注意修改最后的初始化密码
my.cnf配置文件需要放到对应的目录中，my.cnf文件中要设置对应的模板变量:

1 2	port = { { port } } #还有其它的和端口相关的配置都要改成{{port}} basedir = / usr / local / mysql - { { version } } #还有其它的和版本相关的配置都要改成{{version}}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

#!py #coding:utf-8 "" " 生成my.cnf配置文件，如果文件已存在，不作任何修改 " "" import os   def run ( ) :    config = { }    version = __pillar__ [ 'mysql' ] [ 'version' ]    for port in __pillar__ [ 'mysql' ] [ 'ports' ] :      port = str ( port )      if not os . path . isfile ( '/data/mysql_data_%s/my.cnf' % ( port ) ) :        config [ '/data/mysql_data_%s/my.cnf' % ( port ) ] = {          'file.managed' : [            { 'source' : 'salt://centos/public_services/mysql/5/%s/my.cnf' % ( version ) } ,            { 'template' : 'jinja' } ,            { 'context' : { 'port' : port , 'version' : '%s' % ( version . replace ( '_' , '.' ) ) } } ,            { 'require' : [ { 'file' : '/data/mysql_data_%s' % ( port ) } ] } ,            ] ,        }        config [ 'chown mysql.mysql /data/mysql_data_%s/my.cnf' % ( port ) ] = 'cmd.run'      return config

/srv/salt/centos/public_services/mysql/5/instance.sls
mysql启动脚本需要放到对应的目录中，启动脚本中要设置对应的模板变量:

1 2	basedir = / usr / local / mysql - { { version } } #还有其它的和版本相关的配置都要改成{{version}} datadir = / data / mysql_data_ { { port } } #还有其它的和端口相关的配置都要改成{{port}}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43

{ % for port in pillar [ 'mysql' ] [ 'ports' ] % }   / data / mysql_data_ { { port } } :    file . directory :      - makedirs : True      - user : mysql      - group : mysql      - recurse :        - user        - group   / etc / init . d / mysqld_ { { port } } :    file . managed :      - source : salt : //centos/public_services/mysql/5/{{pillar['mysql']['version']}}/mysql.service      - user : root      - group : root      - mode : 755      - template : jinja      - context :        port : { { port } }        version : { { pillar [ 'mysql' ] [ 'version' ] . replace ( '_' , '.' ) } }   chkconfig -- add mysqld_ { { port } } ; chkconfig -- level 345 mysqld_ { { port } } on ; :    cmd . run :      - unless : chkconfig -- list | grep mysqld_ { { port } }   #初始化库 init_mysql_ { { port } } :    cmd . run :      - name : / usr / local / mysql - { { pillar [ 'mysql' ] [ 'version' ] . replace ( '_' , '.' ) } } / scripts / mysql_install_db -- user = mysql -- basedir = / usr / local / mysql - { { pillar [ 'mysql' ] [ 'version' ] . replace ( '_' , '.' ) } }    -- datadir = / data / mysql_data_ { { port } } /      - unless : ls - l / data / mysql_data_ { { port } } | grep - e ".* mysql$"   / etc / init . d / mysqld_ { { port } } start :    cmd . wait :      - watch :        - cmd : init_mysql_ { { port } }   / usr / local / mysql - { { pillar [ 'mysql' ] [ 'version' ] . replace ( '_' , '.' ) } } / bin / mysqladmin - uroot - S / tmp / mysql_ { { port } } . sock password 'yourmysqlpasswd!' :    cmd . wait :      - watch :        - cmd : init_mysql_ { { port } }   { % endfor % }

四，总结

这个方法不仅可以用在mysql，同样的nginx，redis等都可以举一反三，配置文件编写完成后，仅仅需要简单的在pillar中添加几个变量就可以轻松批量部署了。

转载自：https://www.ttlsa.com/saltstack/saltstack-mysql/