OMServer实战

本文基于《Python自动化运维  技术与最佳实践》第十三章内容“从零开始打造B/S自动化运维平台”。

参考链接为作者刘天斯个人博客：

https://blog.liuts.com/post/245/

https://blog.liuts.com/post/246/

https://github.com/yorkoliu/pyauto

 

平台简介：OMServer是本平台的名称。OMServer实现了一个集中式的Linux集群管理基础平台，提供了模块扩展的支持，可以随意添加集群操作任务模块，服务器端模块支持前端HTML表单参数动态定制，可灵活实现日常运维远程操作、文件分发等任务；在安全方面，采用加密（RC4算法）指令传输、操作日志记录、分离Web Server与主控设备等。在用户体验方面，采用前端异步请求，模拟Linux终端效果接收返回串。任何人都可以根据自身的业务特点对OMServer平台进行扩展，比如与现有资产平台进行对接，或整合到现有的运维平台中。

 

系统架构设计：OMServer平台采用三层设计模式，第一层为Web交互层，采用了Django+prototype.js+MySQL实现，服务器端采用了Nginx+uwsgi构建高效的Web服务；第二层为分布式计算层，采用rpyc分布式计算框架实现，作为第一层与第三层的数据交互及实现主控端物理分离，提高整体安全性，同时具备第三层的多机服务的能力；第三层为集群主控端服务层，支持Saltstack、Ansible、Func等平台。架构图：

 

主机	ip	操作系统	软件	备注
web	172.27.9.17	Centos7.3.1611	Python2.7.5、Django1.4.9、uwsgi2.0.4、mysql5.7.22、rpyc3.2.3、nginx1.12.2、setuptools0.6c11	关闭防火墙和selinux
server	172.27.9.23	Centos7.3.1611	Python2.7.5、rpyc3.2.3、setuptools39.1.0、ansible2.3.1.0-1	关闭防火墙和selinux
agent01	172.27.9.19	Centos7.3.1611	/	被控主机
agent02	172.27.9.22	Centos7.3.1611	/	被控主机

 

Web端搭建

安装包准备：

链接：https://pan.baidu.com/s/1Y6nYv3L9udEGsIsOma2Vzg 密码：048j

[root@web ~]# mkdir /home/apps

将apps.zip上传至/home/apps并解压

 

1.nginx部署

参考文档：https://blog.51cto.com/3241766/2094315

[root@web ~]# yum -y install gcc-c++
[root@web ~]# yum  -y install  pcre pcre-devel
[root@web ~]# yum -y install zlib zlib-devel
[root@web ~]# yum -y install wget
[root@web ~]# wget -c https://nginx.org/download/nginx-1.12.2.tar.gz
[root@web ~]# tar -zxvf nginx-1.12.2.tar.gz
[root@web ~]# groupadd nginx
[root@web ~]# useradd -g nginx -d /home/nginx nginx
[root@web ~]# passwd nginx
[root@web ~]# cd nginx-1.12.2
[root@web nginx-1.12.2]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx
[root@web nginx-1.12.2]# make && make install
[root@web nginx-1.12.2]# cd /usr/local/nginx/sbin/
[root@web sbin]# ln -s /usr/local/nginx/sbin/nginx /usr/local/bin/nginx

 

2.mysql数据库安装

[root@web ~]# rpm -ivh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
[root@web ~]# yum -y install mysql-community-server
[root@web ~]# systemctl start mysqld.service
[root@web ~]# systemctl enable mysqld.service

修改密码：

[root@web ~]# cat /var/log/mysqld.log | grep password
2018-05-08T09:07:09.591079Z 1 [Note] A temporary password is generated for root@localhost: Ipuq?4#lWyo+
[root@web ~]# mysql -uroot -p
Enter password:

输入密码"Ipuq?4#lWyo+",重置密码：

mysql> set password = password('Mysql123!');

创建数据库OMServer和omserver_user用户并授权:

mysql> create database OMServer character set utf8 collate utf8_bin;
Query OK, 1 row affected (0.01 sec)
mysql> grant all privileges on OMServer.* to omserver_user@'%' identified by 'Omserver_user123!';
Query OK, 0 rows affected, 1 warning (0.00 sec)

导入表数据：

[root@web apps]# cd /home/apps/
[root@web apps]# cat OMServer.sql |mysql -uomserver_user -pOmserver_user123! -D OMServer
mysql: [Warning] Using a password on the command line interface can be insecure.

查看导入：

使用SQLyog Community数据库连接工具查看：

3.MySQL-python库安装

MySQL-python是Python访问MySQL数据库的第三方模块库

setuptools模块安装：

[root@web apps]# tar -xvf setuptools-0.6c11.tar.gz
[root@web apps]# cd setuptools-0.6c11
[root@web setuptools-0.6c11]# python setup.py build
[root@web setuptools-0.6c11]# python setup.py install

MySQL-python模块安装：

[root@web apps]# cd MySQL-python-1.2.5
[root@web MySQL-python-1.2.5]# python setup.py install

 

4.rpyc模块安装

rpyc用于平台与主控端做数据通讯交互

[root@web apps]# cd rpyc-3.2.3
[root@web rpyc-3.2.3]# python setup.py install

 

5.uwsgi模块安装

uwsgi是一个快速的、纯C语言开发的、自维护、对开发者友好的WSGI服务器，旨在提供专业的Python web应用发布和开发。

[root@web apps]# cd uwsgi-2.0.4
[root@web uwsgi-2.0.4]# make

安装成功：

[root@web uwsgi-2.0.4]# view /etc/ld.so.conf
include ld.so.conf.d/*.conf
/usr/local/lib    #新增行
[root@web uwsgi-2.0.4]# ldconfig    #让动态链接库为系统所共享
[root@web uwsgi-2.0.4]# cp uwsgi /usr/local/bin/

 

6.安装Django

[root@web apps]# cd Django-1.4.9
[root@web Django-1.4.9]# python setup.py install

推荐两个比较好的Django入门博客：

http://www.cnblogs.com/qianyuliang/p/6814376.htm

https://zhuanlan.zhihu.com/p/24831528

 

7.django-debug-toolbar安装

[root@web apps]# cd /home/apps/django-debug-toolbar-master/
[root@web django-debug-toolbar-master]# python setup.py install 
[root@web ~]# view /data/www/OMserverweb/settings.py

根据实际情况修改如下：

 

8.导入项目文件

导入项目文件至/data/www目录

链接：https://pan.baidu.com/s/1Z69_DOwR4R3y06Jcgn7jxA 密码：uhyl

[root@web ~]# mkdir -p /data/www
[root@web ~]# cd /data/www

将OMserverweb.zip上传至/data/www并解压

 

9.修改数据库连接信息

[root@web OMserverweb]# view /data/www/OMserverweb/settings.py

 

10.修改主控端rpyc主机IP

[root@web OMserverweb]# view /data/www/OMserverweb/autoadmin/views.py

connect里的ip修改为172.27.9.23

 

11.修改Nginx配置

server {
        listen       80;
        server_name  localhost;
        
        location / {            
            include  uwsgi_params;
            uwsgi_pass  127.0.0.1:9001;
            uwsgi_connect_timeout 30;
            uwsgi_param UWSGI_CHDIR /data/www/OMserverweb;
            uwsgi_param UWSGI_SCRIPT django_wsgi;
        }
        location ^~ /static {  
            root /data/www/OMserverweb;  
        }  
  
        location ~* ^.+\.(mpg|avi|mp3|swf|zip|tgz|gz|rar|bz2|doc|xls|exe|ppt|txt|tar|mid|midi|wav|rtf|mpeg)$ {  
            root /data/www/OMserverweb/static;  
        }
      }

 

12.uwsgi配置

uwsgi.ini为新建文件，已经在OMserverweb安装包中：

[root@web OMserverweb]# more /data/www/OMserverweb/uwsgi.ini 
[uwsgi]
chdir=/data/www/OMserverweb
pythonpath=/data/www
socket=127.0.0.1:9001
master=true
workers=4
pidfile=/data/logs/uwsgi.pid
vacuum=true
thunder-lock=true
enable-threads=true
harakiri=30
post-buffering=4096
daemonize=/data/logs/django_uwsgi.log

 

13.启动web服务

[root@web OMserverweb]# uwsgi --ini /data/www/OMserverweb/uwsgi.ini
[uWSGI] getting INI configuration from /data/www/OMserverweb/uwsgi.ini
[root@web OMserverweb]# nginx

启动日志查看：

[root@web logs]# more /data/logs/django_uwsgi.log

nginx日志查看：

[root@web ~]# tail /usr/local/nginx/logs/access.log

浏览器直接输入IP地址：http://172.27.9.17/

 

Server端搭建

下载安装包：

链接：https://pan.baidu.com/s/11FGbZ1Q9oedrqdKnnHhCwQ 密码：yszq

[root@server ~]# mkdir /home/app-server/

将安装包app-server上传至/home/app-server

 

1.ansible部署

setuptools安装：

[root@server ~]# cd /home/app-server/
[root@server app-server]# yum -y install unzip
[root@server app-server]# unzip setuptools-39.1.0.zip
[root@server app-server]# cd setuptools-39.1.0
[root@server app-server]# python setup.py install

ansible安装（ansible必须使用2.3.1.0-1版本，否则会报错）：

[root@server ~]# cd /home/app-server/
[root@server app-server]# tar -zxvf ansible-2.3.1.0-1.tar.gz 
[root@server app-server]# cd ansible-2.3.1.0-1
[root@server ansible-2.3.1.0-1]# python setup.py install

sshpass安装：

[root@server ansible-2.3.1.0-1]# cd ..
[root@server app-server]# tar -zxvf sshpass.tar.gz
[root@server app-server]# cd sshpass-1.06/
[root@server sshpass-1.06]# ./configure
[root@server sshpass-1.06]# make && make install

 

2.ansible配置

添加主机IP

[root@server ~]# mkdir -p /etc/ansible
[root@server ~]# cd /home/app-server/ansible-2.3.1.0-1/examples
[root@server examples]# cp ansible.cfg hosts /etc/ansible
[root@server examples]# view /etc/ansible/hosts    
[webservers]
## alpha.example.org
## beta.example.org
## 192.168.1.100
## 192.168.1.110
172.27.9.17
172.27.9.19
172.27.9.22
172.27.9.23

 

3.连接测试

首先分别ssh连接websrvers组主机，此过程会生成秘钥信息，不然后面的ansible测试会报错："msg": "Using a SSH password instead of a key is not possible because Host Key checking is enabled and sshpass does not support this.  Please add this host's fingerprint to your known_hosts file to manage this host."

[root@server ~]# ssh 172.27.9.17
The authenticity of host '172.27.9.17 (172.27.9.17)' can't be established.
ECDSA key fingerprint is b2:dc:51:b1:a1:b6:e2:4a:c1:ab:f4:e3:15:48:4c:f6.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.27.9.17' (ECDSA) to the list of known hosts.
[email protected]'s password:

ansible进行ping测试

[root@server ~]# ansible 172.27.9.17 -m ping -k
SSH password: 
172.27.9.17 | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}

 

4.配置Linux主机SSH无密码访问

为避免Ansible下发指令时输入目标主机密码，通过证书签名达到SSH无密码是一个好的方案。这里使用ssh-keygen生成一对秘钥，使用ssh-copy-id来下发生成的公钥。

创建秘钥：

分别同步公钥至目标主机：

[root@server ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
[email protected]'s password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh '[email protected]'"
and check to make sure that only the key(s) you wanted were added.

校验SSH无密码配置是否成功：

[root@server ~]# ssh 172.27.9.17
Last login: Wed May  9 17:50:17 2018 from 172.27.9.19

登陆成功，无需输入密码。

 

5.rpyc模块安装

[root@server app-server]# tar -zxvf rpyc-3.2.3.tar.gz
[root@server rpyc-3.2.3]# python setup.py install

 

6.Server端配置

[root@server app-server]# mv OMServer /home
[root@server app-server]# cd /home/OMServer/
[root@server OMServer]# view config.py

本文以ansible为例

 

7.修改数据库配置

使用SQLyog Community工具修改server_list表数据，新增被控主机17/19/22/23

8.启动server

[root@server OMServer]# python OMserver.py &
[root@server OMServer]# netstat -an|grep 11511 
tcp        0      0 0.0.0.0:11511           0.0.0.0:*               LISTEN

11511端口处于监听状态

 

9.访问web页面

 

测试

新增模块（使用火狐浏览器）

 

‘提交’确定

编写后台任务模块，编号为1008

[root@server ~]# cd /home/OMServer/modules/ansible
[root@server ansible]# view Mid_1008.py

# -*- coding: utf-8 -*-
from Public_lib import *
#查看系统版本模块#
class Modulehandle():
    def __init__(self,moduleid,hosts,sys_param_row):
        self.hosts = ""
        self.Runresult = ""
        self.moduleid = moduleid
        self.sys_param_array= sys_param_row
        self.hosts=target_host(hosts,"IP")
    def run(self):
        try:
            self.Runresult = Order_Run(host=self.hosts, module_name='shell', module_args="df -h")
            if len(self.Runresult["failed"]) == 0 and len(self.Runresult["success"]) == 0 and len(self.Runresult["unreachable"]) == 0:
                return "No hosts found,请确认主机已经添加ansible环境！"
        except Exception,e:
            return str(e)
        return self.Runresult

 

 

常见错误：

server进程异常，重启server端主进程：

[root@server OMServer]# python OMserver.py &

原因：server端开启了防火墙

[root@server OMServer]# systemctl stop firewalld.service
[root@server OMServer]# systemctl disable firewalld.service

原因：web端uwsgi进程异常，重拉进程

[root@web OMserverweb]# ps -ef|grep uwsgi |awk '{print $2}'|xargs kill -9 
[root@web OMserverweb]# uwsgi --ini uwsgi.ini

原因：web端settings.py中的SECRET_KEY与server端config.py中的SECRET_KEY不一致，改成一致即可。

 

总结：

1.该平台为我们进行自动化运维提供了一种思路。

OMServer平台的三层架构模式简明清晰，第一层是Django+uwsgi+Nginx+Mysql，第二层是rpyc分布式计算框架，第三层是Ansible、Saltstack、Func等自动化运维工具，三层都具有很强的代表性。

2.Django是用Python写的Web框架，功能强大、内容全面、安全性高、高效，对ORM支持完善，社区活跃，同时其灵活性低、可修改性差。

3.Ansible是一个部署一群远程主机的工具，具有部署简单、功能强大、配置简单、扩展性强、支持API及自定义模块，可通过Python轻松扩展的特点，被控主机无需部署客户端代理。ansible通过常用模块在命令行就可以针对主机清单来管理配置远程主机。

4.Web端搭建难点一是在对Django框架的理解，各模块做什么的，起什么作用，二是uwsgi和nginx的参数配置；Server端搭建相对容易，主要是后期平台扩展对Python和Ansible的掌握有一定要求。

######################################################################################

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
centos8
OMServer实战
https://blog.csdn.net/weixin_34270606/article/details/92953826
https://blog.51cto.com/3241766/2114863

navicat破解版https://my.oschina.net/u/4318872/blog/3227998

NAVICAT激活https://jingyan.baidu.com/article/495ba841b239e638b20ede4a.html

192.168.37.134
192.168.37.135
192.168.37.136

部署nginx遇到问题
1、objs/Makefile:777：objs/src/os/unix/ngx_user.o] 错误 1
解决办法https://blog.csdn.net/tigaobansongjiahuan8/article/details/105277912/
2、安装mysql失败https://www.freesion.com/article/8644435189/
3、MySQL-python模块安装提示mysql_config not found，解决办法https://blog.csdn.net/aobian2884/article/details/101404479

安装uwsgi失败
/usr/bin/ld: cannot find -lpython2.7
https://blog.csdn.net/zqj6893/article/details/17042671按照这个重新设置了软连接
https://www.cnblogs.com/liu-xin1995/p/12364314.html按照这个原本打算重新按照uwsgi但是安装完依赖之后按照原来的文章部署uwsgi就ok了

哪个是nginx正在用的配置文件？

open("/data/logs/django_uwsgi.log"): No such file or directory [core/logging.c line 291]手动创建这个文件

启动nginx
https://www.cnblogs.com/hailang8/p/8664413.html
https://blog.csdn.net/qq_38872310/article/details/79805445

启动nginx时报错，需要修改nginx配置文件中的这个地方
nginx: [emerg] location "/50x.html" is outside location "^.+\.(mpg|avi|mp3|swf|zip|tgz|gz|rar|bz2|doc|xls|exe|ppt|txt|tar|mid|midi|wav|rtf|mpeg)$" in /usr/local/nginx/conf/nginx.conf:66

安装ansible时经常由于网络不好导致安装失败
ansible安装提示RuntimeError: autoconf error
https://blog.csdn.net/weixin_33777877/article/details/92593311
先安装了gcc，然后报错Setup script exited with error: command 'gcc' failed with exit status 1解决办法
https://www.cnblogs.com/kaishirenshi/p/9964421.html
TypeError: 'encoding' is an invalid keyword argument for this function

手动安装ansible  https://blog.csdn.net/kellyseeme/article/details/50487963
https://my.oschina.net/eddylinux/blog/1499718

centos7安装pycrypto-2.6.1
https://www.cnblogs.com/pangkr-linux/articles/9965668.html

安装ansible成功，并没有手动安装ansible，还是按照wiki安装的，只不过最后安装了好多的依赖，安装ansible时经常由于网络不好导致安装失败

mysql插入数据提示data too long   https://blog.csdn.net/fznf1010/article/details/8025445
https://blog.csdn.net/zj15527620802/article/details/79770807
INSERT INTO server_list ( server_name, server_wip,server_lip,server_op,server_app_id ) VALUES ( 'web','10.11.100.23','192.168.37.134','Linux',2 );
show variables like '%char%';
set character_set_client=utf8;
set character_set_results=utf8;
MySQL动态修改varchar长度
https://blog.csdn.net/sunyingyuan/article/details/17751831
alter table server_list modify column server_lip varchar(20);
失败解决办法https://blog.csdn.net/weixin_34309543/article/details/92953818
https://blog.csdn.net/wang_zu/article/details/105474665
https://blog.csdn.net/weixin_34309543/article/details/92953818
server_list_ibfk_1 server_app_id OMServer server_app_categ ID RESTRICT RESTRICT

关机在重启后要启动nginx和uwsgi

重启uwsgi    uwsgi --ini /data/www/OMserverweb/uwsgi.ini
启动nginx    /usr/local/nginx/sbin/nginx
在之后执行查看登录提示502，wiki提示是web端的uwsgi有问题需要重启，按照wiki重启后问题没有解决。要先重启web端的uwsgi在重启nginx，然后在重启omserver服务
这样就执行成功了
重启omserver   
python /home/OMServer/OMserver.py &
netstat -an|grep 11511 
sudo lsof -i:端口号　　　　　　//查找对应的进程号
sudo kill -9 进程号　　　　　　//杀死对应的进程

dhcp状态下获取固定ip
https://www.it610.com/article/1297530946408488960.htm

python安装pip
sudo yum -y install epel-release
sudo yum -y install python-pip
https://www.cnblogs.com/zhuxiaoxi/p/9288525.html
https://www.cnblogs.com/rnss/p/13613466.html
https://jingyan.baidu.com/article/f54ae2fc6477e41e92b84911.html

pip安装python包的时候提示error in psutil setup command: 'extras_require' must be a dictionary whose values are strings or lis
需要升级setuptools
https://blog.csdn.net/sarah_lz/article/details/86525113

修改了ip之后提示运行的model不存在，那就梳理一下这个模块是怎调用的
pdb调试
https://blog.csdn.net/weixin_44538273/article/details/88144977
https://blog.csdn.net/zong596568821xp/article/details/107289966
https://www.ibm.com/developerworks/cn/linux/l-cn-pythondebugger/index.html这里还有pycharm的调试方法
使用 python -m pdb 文件名 启动调试，然后使用 b 文件名:行号 设置断点
https://jingyan.baidu.com/article/3c48dd3422fcaea10be35898.html

再次重启omserver后ip发生了改变，通过使用固定ip提示Import module "Mid_1002" error:No module named Mid_1002，当把数据库和配置文件中的ip修改为系统自动分配的ip并重启服务后仍然提示同样的错误，需要pdb调试一下看看为什么找不到module的路径
将所有的module复制将自己做的py文件放到 site_packages 目录/usr/lib64/python2.7/site-packages/下https://blog.csdn.net/damotiansheng/article/details/43916881这里引申出一个问题就是绝对路径怎么引入
https://www.cnblogs.com/to-be-rich/p/7261654.html
https://blog.csdn.net/damotiansheng/article/details/43916881
https://blog.csdn.net/weixin_42218499/article/details/104887511