messos部署

messos部署

安装环境

1:查看内核版本

[root@localhost ~]# uname  -a

Linux localhost.localdomain 3.10.0-693/21.1.el7.x86_64 #1 SMP Wed Mar 7 19:03:37 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

2:系统版本

[root@localhost ~]# cat  /etc/redhat-release

CentOS Linux release 7.4.1708 (Core)

3:修改yum源,所有机器都要做

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.default

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

yum makecache

4:docker版本

[root@localhost ~]# docker  --version

Docker version 1.13.1, build 94f4240/1.13.1

5:关闭selinux

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g'    /etc/sysconfig/selinux

sed -i 's/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g'    /etc/sysconfig/selinux

setenforce 0

getenforce

6:添加hosts解析

echo "10.10.10.110  messos-master"  >> /etc/hosts

echo "10.10.10.120  messos-slave"  >>/etc/hosts

7:关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

8:添加messos源

rpm -Uvh http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-3.noarch.rpm

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-mesosphere

二:安装zookeeper

2.1:安装java

[root@localhost ~]# java -version

openjdk version "1.8.0_161"

OpenJDK Runtime Environment (build 1.8.0_161-b14)

OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

2.2安装zookeeper

安装方法1

安装

#wget http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz

#tar zxvf zookeeper-3.4.9.tar.gz

#mv zookeeper-3.4.9 /usr/local/

#mv /usr/local/zookeeper-3.4.9 /usr/local/zookeeper

配置

#cd /usr/local/zookeeper

#cp zoo_sample.cfg zoo.cfg

#vi zoo.cfg

dataDir=/usr/local/zookeeper/data    #数据目录,如果没有需要新建此目录

dataLogDir=/usr/local/zookeeper/logs  #日志目录,如果没有需要新建此目录

如果是单机安装配置zookeeper,以下配置可忽略

server.0=10.1.13.214:2888:3888       

server.1=10.1.13.215:2888:3888

server.2=10.1.13.216:2888:3888

集群模式需要添加以下

#vi /user/local/zookeeper/data/myid

#创建myid文件,并编辑它,编辑的内容就是配置文件中server.后面跟着的号数。例如目前是在slave0机器上,则在myid文件中写入0

0

修改zookeeper输出日志文件位置

如果不做修改,默认zookeeper的日志输出信息都打印到了zookeeper.out文件中,这样输出路径和大小没法控制,因为日志文件没有轮转。所以需要修改日志输出方式。具体操作如下:

1、修改$ZOOKEEPER_HOME/bin目录下的zkEnv.sh文件,ZOO_LOG_DIR指定想要输出到哪个目录,ZOO_LOG4J_PROP,指定INFO,ROLLINGFILE的日志APPENDER.

2、建立日志输出文件夹

#mkdir -p /var/log/zookeeper

#chmod 755 /var/log/zookeeper

3,修改zkEnv.sh

#vi /usr/local/zookeeper/bin/zkEnv.sh

...

56    ZOO_LOG_DIR="/var/log/zookeeper"    #指定想要输出到哪个目录

...

61    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"    #ROLLINGFILE的日志APPENDER.

...

4、修改$ZOOKEEPER_HOME/conf/log4j.properties文件的:zookeeper.root.logger的值与前一个文件的ZOO_LOG4J_PROP 保持一致,该日志配置是以日志文件大小轮转的,如果想要按照天轮转,可以修改为DaliyRollingFileAppender.

5,修改log4j.properties

# vim /usr/local/zookeeper/conf/log4j.properties

...

2 zookeeper.root.logger=INFO, ROLLINGFILE      #值与前一个文件的ZOO_LOG4J_PROP

...

53 log4j.appender.TRACEFILE=org.apache.log4j.RollingFileAppender      #如果想要按照天轮转,可以修改为DaliyRollingFileAppender

...

环境变量配置

#vi /etc/profile

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

#source /etc/profile

启动 zookeeper 服务

#cd /user/local/zookeeper/bin

#zkServer.sh start

安装方法2 (本文档使用该方法)

#yum install mesosphere-zookeeper

zookeeper启动文件在/opt/mesosphere/zookeeper/bin下,配置文件在/etc/zookeeper/zoo.cfg

配置同上

三:安装messos

3.1:安装messos-master

#yum install mesos

3.2:配置messos-zookeeper

root@localhost ~]# cat /etc/mesos/zk

zk://10.1.13.214:2181/mesos

备注:有多个zookeeper后面加“,”添加

3.3:配置messos-hostname

echo 本地IP地址 | tee /etc/mesos-master/ip

echo 本地IP地址 | tee /etc/mesos-master/hostname

echo 本地IP地址 | tee /etc/mesos-slave/ip

echo 本地IP地址 | tee /etc/mesos-slave/hostname

echo 2 > /etc/mesos-master/quorum  #这个数字要大于安装的master节点的总数的0.5倍,即一半

启动master服务

#systemctl stop  mesos-slave

#systemctl restart mesos-master

#systemctl status mesos-master

#systemctl enable mesos-master

服务启动后,可以通过浏览器访问查看系统信息: http://10.10.10.110:5050

3.4:安装messos-slave

#yum install mesos

配置实例

#touch /etc/mesos-slave/hostname

#echo 10.10.10.120 /etc/mesos-slave/hostname

ZooKeeper设定

# vi /etc/mesos/zk

zk://10.10.10.110:2181/mesos

客户端端口设置

#echo 5051 > /etc/mesos-slave/port

配置mesos-slave

注意:参数来containerizers的顺序很重要。它指定选择containerizer启动任务时使用的优先级。

#echo 'docker,mesos' > /etc/mesos-slave/containerizers

slave 执行超时时间

#echo '5mins' > /etc/mesos-slave/executor_registration_timeout

启动服务,添加开机启动

#systemctl stop  mesos-master

#systemctl start docker

#systemctl start  mesos-slave 

#systemctl status mesos-slave

#systemctl enable mesos-slave

报错日志查看命令

#journalctl -f -u  mesos-slave

四:mesos-marathon安装配置

Marathon 的其它重要特性还包括:

支持零停机时间部署,包括滚动部署、蓝绿部署与金丝雀部署模式。

基于 HTTP、TCP 以及命令之应用程序运行状态检查。

指标发送与收集集成(包括 Graphite、DataDog 以及StatsD)。

具备一套强大的事件总线,使得 DevOps 人员以编程化方式通过定制化模式实现应用程序变更响应。

具备用于应对网络与节点故障的弹性,且同时适用于 Marathon 本身及其管理的应用程序。

包括用户认证以及基于角色访问控制在内的多种安全功能。

采用一套灵活的插件架构,使得插件能够被定制化集成至现有企业IT环境当中。

只在10.10.10.110上配置

安装mesos-marathon

#yum install marathon

配置mesos-marathon

创建下他的配置文件的路径(yum装的没给我们创建)

#mkdir -p /etc/marathon/conf/ && touch hostname 

#echo 10.10.10.110 |tee  etc/marathon/conf/hostname

启动服务,添加开机启动

#systemctl start marathon

#systemctl status marathon

#systemctl enable marathon

访问验证

http://10.10.10.110:8080

五:mesos-dns安装配置

mesos-dns介绍

Mesos-DNS用来支持Mesos集群上的服务发现,使运行在Mesos上的应用和服务可以通过域名服务器来发现彼此。你只要知道一个Mesos数据中心上运行的应用的名字,就可以通过Mesos-DNS查询到该应用的IP和端口号。

Mesos-DNS定期去查询Mesos master,监测所有framework上运行的所有任务,并生成这些任务的DNS记录(包括A记录和SRV记录)。当Mesos集群上的任务发生启动、结束、重启等状态变化时,Mesos-DNS都会更新DNS记录,以保持最新的状态。

Mesos-DNS不需要与framework交互,只需要在启动的时候指向Mesos master即可。运行在Master Slave上的应用和服务,可以通过查询Mesos-DNS来发现它们依赖的应用和服务的IP和端口号。

对于那些非Mesos任务的DNS解析请求,Mesos-DNS自己解析不了,通常使用一个扩展DNS服务器,将这些请求转发到扩展DNS服务来解析即可。

slave上操作

mesos-dns安装

Mesos-DNS不需要编译安装,从https://github.com/mesosphere/mesos-dns/releases直接获取二进制文件即可

#mkdir /usr/local/mesos-dns

#cd /usr/local/mesos-dns

#curl -o mesos-dns https://github.com/mesosphere/mesos-dns/releases/download/v0.6.0/mesos-dns-v0.6.0-linux-amd64

#chmod +x mesos-dns

mesos-dns配置

编写json配置文件,mesos-dns启动时需要指定一个json的配置文件,这个配置文件里指定了Mesos master、域名等所需要的参数

#vim /usr/local/mesos-dns/config.json

{

  "zk": "zk://10.1.13.214:2181/mesos", #单机

  "zk": "zk://10.1.13.214:2181,10.1.13.215:2181,10.1.13.216:2181/mesos", #单机

  "masters": ["10.1.13.214:5050"], #单机

  "masters": ["10.1.13.214:5050","10.1.13.215:5050","10.1.13.216:5050"], #多机

  "refreshSeconds": 60,

  "ttl": 60,

  "domain": "mesos",

  "port": 53,

  "resolvers": ["8.8.8.8"],

  "timeout": 5,

  "httpon": true,

  "dnson": true,

  "httpport": 8123,

  "externalon": true,

  "listener": "10.1.13.211",  #slave本机ip

  "SOAMname": "felix.mesos",

  "SOARname": "admin.felix.mesos",

  "SOARefresh": 60,

  "SOARetry":  600,

  "SOAExpire":  86400,

  "SOAMinttl": 60,

  "IPSources": ["netinfo", "mesos", "host"]

}

运行mesos-dns

使用命令行直接运行mesos-dns

#/usr/local/mesos-dns/mesos-dns -config=/usr/local/mesos-dns/config.json &

使用marathon来运行mesos-dns

使用marathon来运行mesos-dns的好处是,即使在mesos-dns挂了之后也会立刻被重新运行。因为DNS服务器需要一个稳定的IP地址,所以通常将其指定在一个Mesos slave节点上运行。这里通过constraints字段来指定运行的slave的IP为10.1.13.213。在marathon上运行mesos-dns的json配置如下:

{

  "id": "/mesos-dns",

  "cmd": "/usr/local/mesos-dns/mesos-dns -config=/usr/local/mesos-dns/config.json",

  "cpus": 0.2,

  "mem": 128,

  "disk": 0,

  "instances": 1,

  "constraints": [

    [

      "hostname",

      "CLUSTER",

      "10.1.13.213"

    ]

  ]

}

使用mesos-dns

指定mesos-dns为域名服务器 为了让Mesos上运行的任务都使用mesos-dns作为主DNS服务器来解析,需要在Mesos slave节点的/etc/resolv.conf配置文件的第一行指定mesos-dns服务器为域名服务器。

[root@localhost ~]#sed -i '1s/^/nameserver 10.1.13.213\n/' /etc/resolv.conf

mesos-dns能解析的域名的格式

mesos-dns解析的域名格式为:应用名.框架名.mesos域

|构成项    |说明

|---------|------------------------------------------------------

|应用名    |  marathon上运行的应用或任务的名字,如果该应用在分组里面,需要在应用|名后面接上”-组名”;另外,应用名字里面有点号的,需要替换成减号”-“

|框架名    |  我们采用的是marathon,这里的名字就为marathon

|mesos域  |    这个是在mesos-dns的json配置文件里,domain字段定义的;默认为mesos

例如,Mesos用的框架为marathon,在test分组里运行着名为test04的应用,则该应用将对应名为test04-test.marathon.mesos的域名

测试

格式:dig 应用名.框架名.mesos域 +short @mesos-dns所在节点IP

[root@localhost ~]# yum install bind-utils  #安装dig命令

[root@localhost ~]# dig test03.marathon.mesos +short @10.1.13.213

10.1.13.211 

#test03没有在分组中,@10.1.13.213是dig的参数,@mesos-dns所在节点IP

[root@localhost ~]# dig test04-test.marathon.mesos +short   

10.1.13.211

注意,test03为marathon任务的name,test03这个任务要在marathon上运行,这里才能查到

mesos-dns HTTP API

Mesos-DNS提供了几个简单的REST API以供通过http方式来发现服务。 以上面mesos-dns在10.1.13.213为例,则有:

|URL                                                |说明

|----------------------------------------------------------------

|http://10.1.13.213:8123/v1/version            |mesos-dns版本信息

|http://10.1.13.213:8123/v1/config              |mesos-dns配置信息

|http://10.1.13.213:8123/v1/hosts/{host}            |该host的IP地址信息

|http://10.1.13.213:8123/v1/services/{service}  |该service的host、IP、端口信息

注意: host为mesos-dns能解析的域名,如:test04-test.marathon.mesos service为DNS SRV记录名,如:test04-test.tcp.marathon.mesos

你可能感兴趣的:(messos部署)