SaltStack返回值存储

1. 概述

---

默认情况下，发送给 minions 的命令的返回值将返回给 master。

通过使用salt定向器，可以将结果数据重定向到外部数据存储区，以便进行分析和归档。

returner接口允许返回数据被发送到任何可以接收数据的系统。这意味着返回的数据可以发送到Redis服务器，MongoDB服务器，MySQL服务器，或任何系统。

重定向返回值的组件：

• return
• job_cache

2. return组件

---

return组件支持minion端执行命令后将执行结果返回给某应用程序进行保存

return组件支持的对结果进行的存储方式有多种，如syslog, mysql, redis, mongodb等

可通过如下指令查看returners支持的存储方式：

[root@node01 ~]# salt '*' sys.list_returners
node02:
    - carbon
    - couchdb
    - elasticsearch
    - etcd
    - highstate
    - local
    - local_cache
    - mattermost
    - multi_returner
    - pushover
    - rawfile_json
    - slack
    - slack_webhook
    - smtp
    - splunk
    - sqlite3
    - syslog
    - telegram

2.1 return工作流程

return是在Master端触发任务，然后Minion接受处理任务后直接与return存储服务器建立连接，然后把数据return存到存储服务器。

关于这点一定要注意，因为此过程都是Minion端操作存储服务器，所以要确保Minion端的配置跟依赖包是正确的，这意味着我们将必须在每个Minion上安装指定的return方式依赖包，假如使用Mysql作为return存储方式，那么我们将在每台Minion上安装 MySQL-python 模块。

2.2 return重定向至mysql

环境：

	主机名	IP
master	node01	172.16.78.125
minion	node02	172.16.78.128
mysql	node03	172.16.78.129

在minion上安装MySQL-python模块

[root@node01 ~]# salt '*' pkg.install MySQL-python
node02:
    ----------
    MySQL-python:
        ----------
        new:
            1.2.5-1.el7
        old:

部署一台mysql服务器用作存储服务器：

[root@node03 ~]# yum -y install mariadb-server
[root@node03 ~]# systemctl enable --now mariadb

//创建数据库和表结构
[root@node03 ~]# mysql
MariaDB [(none)]> CREATE DATABASE  `salt`
       DEFAULT CHARACTER SET utf8
       DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)

MariaDB [(none)]> USE `salt`;
Database changed

MariaDB [salt]> CREATE TABLE `jids` (
       `jid` varchar(255) NOT NULL,
       `load` mediumtext NOT NULL,
       UNIQUE KEY `jid` (`jid`)
     ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)

MariaDB [salt]> CREATE TABLE `salt_returns` (
       `fun` varchar(50) NOT NULL,
       `jid` varchar(255) NOT NULL,
       `return` mediumtext NOT NULL,
       `id` varchar(255) NOT NULL,
       `success` varchar(10) NOT NULL,
       `full_ret` mediumtext NOT NULL,
       `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
       KEY `id` (`id`),
       KEY `jid` (`jid`),
       KEY `fun` (`fun`)
     ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.00 sec)

MariaDB [salt]> CREATE TABLE `salt_events` (
     `id` BIGINT NOT NULL AUTO_INCREMENT,
     `tag` varchar(255) NOT NULL,
     `data` mediumtext NOT NULL,
     `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     `master_id` varchar(255) NOT NULL,
     PRIMARY KEY (`id`),
     KEY `tag` (`tag`)
     ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)

MariaDB [salt]> show tables;
+----------------+
| Tables_in_salt |
+----------------+
| jids           |
| salt_events    |
| salt_returns   |
+----------------+
3 rows in set (0.00 sec)

//授权访问
MariaDB [salt]> grant all on salt.* to salt@'%' identified by 'salt';
Query OK, 0 rows affected (0.00 sec)

MariaDB [salt]> flush privileges;
Query OK, 0 rows affected (0.00 sec)

配置minion：

[root@node02 ~]# vim /etc/salt/minion
mysql.host: '172.16.78.129'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306
[root@node02 ~]# systemctl restart salt-minion

在master上测试存储到mysql中，并在数据库中查看

[root@node01 ~]# salt '*' test.ping --return mysql
node02:
    True

MariaDB [salt]> select * from salt_returns\G
*************************** 1. row ***************************
       fun: test.ping
       jid: 20200822090413404092
    return: true
        id: node02
   success: 1
  full_ret: {
     "fun_args": [], "jid": "20200822090413404092", "return": true, "retcode": 0, "success": true, "fun": "test.ping", "id": "node02"}
alter_time: 2020-08-23 01:02:28

3. job cache组件

---

return时是由Minion直接与存储服务器进行交互，因此需要在每台Minion上安装指定的存储方式的模块，当Minion很多的时候，部署起来就特别麻烦

那么我们能否直接在Master上就把返回的结果给存储到存储服务器呢？

job cache解决了这个问题 。job cache是当Minion将结果返回给Master后，由Master将结果给缓存在本地，然后将缓存的结果给存储到指定的存储服务器

3.1 job cache重定向至mysql

环境：

	主机名	IP
master	node01	172.16.78.125
minion	node02	172.16.78.128
mysql	node03	172.16.78.129

开启master端的master_job_cache：

安装MySQL-python
[root@node01 ~]# yum -y install MySQL-python

[root@node01 ~]# vim /etc/salt/master
master_job_cache: mysql
mysql.host: '172.16.78.129'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306
[root@node01 ~]# systemctl restart salt-master

在数据库服务器中清空表内容：

[root@node03 ~]# mysql
MariaDB [salt]> delete from salt.salt_returns;
Query OK, 2 rows affected (0.00 sec)
MariaDB [salt]> select * from salt.salt_returns\G
Empty set (0.00 sec)

在master上再次测试能否存储至数据库：

[root@node01 ~]# salt '*' test.ping
node02:
    True

MariaDB [salt]> select * from salt_returns\G
*************************** 1. row ***************************
       fun: test.ping
       jid: 20200822090413404092
    return: true
        id: node02
   success: 1
  full_ret: {
     "fun_args": [], "jid": "20200822090413404092", "return": true, "retcode": 0, "success": true, "fun": "test.ping", "id": "node02"}
alter_time: 2020-08-23 01:02:28

3.2 job管理

获取任务的jid

[root@node01 ~]# salt '*' test.ping -v
Executing job with jid 20200822131258343023
-------------------------------------------

node02:
    True

通过jid获取此任务的返回结果

[root@node01 ~]# salt-run jobs.lookup_jid 20200822131258343023
node02:
    True