Docker的配置与使用

目录

 初识Docker

Docker简介

Docker和传统虚拟化方式的不同之处:

docker下载

CentOS Docker安装

Dockeran安装

阿里云镜像加速

Docker比VMware块的原因

帮助启动类命令

镜像命令 

 容器命令

镜像

UnionFS(联合文件系统)

Docker镜像加载原理

Docker镜像commit操作案例

总结

本地镜像发布到阿里云

将本地镜像推送到私有库

Docker容器数据卷

安装tomcat

安装tomcat8

安装mysql

安装redis

mysql主从复制

面试题-安装redis集群大面试题第4季分布式存储案例真题

 redis集群哈希槽实战

新建容器

 主从容错切换迁移案例

 容错切换迁移

 主从扩容

​编辑 主从缩容

DockerFile解析

DockerFile构建过程解析

DockerFile常用保留字指令

 用dockerfile创建一个带java8,ifconfig,vim的镜像

 虚悬镜像

docker微服务

docker网络

bridge

Host

None 

 container

自定义网络

Docker平台架构图解

Compose

Docker轻量级可视化工具Portainer

Docker容器监控之 CAdvisor+InfluxDB+Granfana

初识Docker

Docker简介

Docker是基于Go语言实现的云开源项目。Docker的主要目标是“Build,Ship and Run Any App,Anywhere”,也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的APP(可以是一个WEB应用或数据库应用等等)及其运行环境能够做到“一次镜像,处处运行”。

Docker的配置与使用_第1张图片

 Linux容器技术的出现就解决了这样一个问题,而Docker就是在它的基础上发展过来的。将应用打成镜像,通过镜像成为运行在Docker容器上面的实例,而Docker容器在任何操作系统上都是一致的,这就实现了跨平台、跨服务器。只需要一次配置好环境,换到别的机子上就可以一键部署好,大大简化了操作。

Docker和传统虚拟化方式的不同之处

*传统虚拟机技术是虚拟出一套硬件后,在其上运行一个完整操作系统,在该系统上再运行所需应用进程:
*容器内的应用进程直接运行于宿主的内核,容器内没有自己的内核且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。
*每个容器之间互相隔离,每个容器有自己的文件系统,容器之间进程不会相互影响,能区分计算资源。

*Docker是内核级虚拟化,其不像传统的虚拟化技术一样需要额外的Hypervisor支持,所以在一台物理机上可以运行很多个容器实例,可大大提升物理服务器的CPU和内存的利用率。

docker下载

官网:docker官网:http://www.docker.com
仓库:Docker Hub官网:https://hub.docker.com/

CentOS Docker安装

Docker并非是一个通用的容器工具,它依赖于已存在并运行的LiuX内核环境。
Docker实质上是在已经运行的Liux下制造了一个隔离的文件环境,因此它执行的效率几乎等同于所部署的Linux主机。因此,Docker必须部署在Linux内核的系统上。如果其他系统想部署Docker就必须安装一个虚拟Linux环境。

前提条件
目前,CentOS仅发行版本中的内核支持Docker。Docker运行在CentOS7(64-bit)上,
要求系统为64位、Linux系统内核版本为3.8以上,这里选用Centos7.x

查看自己linux的内核
uname命令用于打印当前系统相关信息(内核版本号、硬件架构、主机名称和操作系统类型等)。
[root@CentOS ~]# cat /etc/redhat-release
CentOS Linux release 7.6.1810 (Core) 
[root@CentOS ~]# uname -r
3.10.0-957.el7.x86_64

需要正确的理解仓库/镜像/容器这几个概念:
●Docker本身是一个容器运行载体或称之为管理引擎。我们把应用程序和配置依赖打包好形成一个可交付的运行环境,这个打包好的运行环境就是image镜像文件。只有通过这个镜像文件才能生成Docker容器实例(类似Java中new出来一个对象)。
●image文件可以看作是容器的模板。Docker根据image文件生成容器的实例。同一个image文件,可以生成多个同时运行的容器实例。
●镜像文件
        *image文件生成的容器实例,本身也是一个文件,称为镜像文件。
●容器实例
        *一个容器运行一种服务,当我们需要的时候,就可以通过docker客户端创建一个对应的运行实例,也就是我们的容器
●仓库
        *就是放一堆镜像的地方,我们可以把镜像发布到仓库中,需要的时候再从仓库中拉下来就可以了。

Docker运行的基本流程为:                                                                                                              1*用户是使用Docker Client与Docker Daemon建立通信,并发送请求给后者。
2*Docker Daemon作为Docker架构中的主体部分,首先提供Docker Server的功能使其可以接受Docker Client的请求。
3*Docker Engine执行Docker内部的一系列工作,每一项工作都是以一个Job的形式的存在。
4*Job的运行过程中,当需要容器镜像时,则从Docker Registry中下载镜像,并通过镜像管理驱动Graph driver将下载镜像以Graph的形式存储。
5*当需要为Docker创建网铬环境时,通过网络管理驱动Network driver创建并配置Docker容器网络环境。
6*当需要限制Docker容器运行资源或执行用户指令等操作时,则通过Exec driver:来完成。
7*Libcontainer是一项独立的容器管理包,Network driver以及Exec driver都是通过Libcontainer来实现具体对容器进行的操作。

Dockeran安装

1.yum安装gcc相关
        yum -y install gcc
        yum -y install gcc-c++

2.安装需要的软件包
         yum install -y yum-utils

3.设置stable镜像仓库

        官网命令

yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

         阿里云

yum-config-manager  --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

4.更新yum软件包索引

yum makecache fast

5.安装DOCKER CE

sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin

6.启动docker

systemctl start docker

7.测试

        查看docker版本

docker version

        运行hello world

docker run hello-world


8.卸载

停止docker进程:systemctl stop docker

卸载 Docker Engine、CLI、Containerd 和 Docker Compose 软件包:

sudo yum remove docker-ce docker-ce-cli containerd.io docker-compose-plugin

删除所有映像、容器和 卷:

sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd

阿里云镜像加速

1.打开阿里云官网

2.注册登录

3.打开容器镜像服务

Docker的配置与使用_第2张图片

 4.打开镜像加速器

Docker的配置与使用_第3张图片

5.复制运行里面的linux命令

Docker的配置与使用_第4张图片

Docker比VMware块的原因

 (1)docker有着比虚拟机更少的抽象层
        由于docker不需要Hypervisor(虚拟机)实现硬件资源虚拟化,运行在docker?容器上的程序直接使用的都是实际物理机的硬件资源。因此在CPU、内存利用率上docker将会在效率上有明显优势。
(2)docker利用的是宿主机的内核,而不需要加载操作系统OS内核
        当新建一个容器时,docker不需要和虚拟机一样重新加载一个操作系统内核。进而避免引寻、加载操作系统内核返回等比较费时费资源的过程,当新建一个虚拟机时,虚拟机软件需要加载OS,返回新建过程是分钟级别的。而docker由于直接利用宿主机的操作系统,则省略了返回过程,因此新建一个docker容器只需要几秒钟。

帮助启动类命令

启动docker:systemctl start docker
停止docker:systemctl stop docker
重启docker:systemctl restart docker
查看docker状态:systemctl status docker
开机启动:systemctl enable docker
查看docker概要信息:docker info
查看docker总体帮助文档:docker -help
查看docker命令帮助文档:docker 具体命令 -help

镜像命令 

列出本地主机的镜像:docker images  
查找远程仓库的镜像:docker search 某个镜像名字
拉取远程仓库的镜像:docker pull 某个镜像名字  默认最新的镜像                                                      docker pull 某个镜像名字:版本号      下载该版本的镜像
查看镜像/容器/数据卷所占的空间:docker system df
删除本地主机的镜像:docker rmi 某个镜像名字                                                                                        删除单个:docker rmi -f镜像ID
        删除多个:docker rmi -f镜像名1:TAG 镜像名2:TAG
        删除全:docker rmi -f $(docker images -qa)

虚悬镜像:仓库名、标签都是的镜像,俗称虚悬镜像dangling image

Docker的配置与使用_第5张图片

 容器命令

        有镜像才能创建容器,这是根本前提(下载一个Centos或者ubuntu镜像演示)

         docker pull ubuntu

新建+启动容器
        docker run [OPTIONS] IMAGE [COMMAND] [ARG...]
                OPTIONS说明
                 OPTIONS说明(常用):有些是一个减号,有些是两个减号
                     --name= :"容器新名字"       为容器指定一个名称;
                        -d: 后台运行容器并返回容器ID,也即启动守护式容器(后台运行);
                         -i:以交互模式运行容器,通常与 -t 同时使用;
                        -t:为容器重新分配一个伪输入终端,通常与 -i 同时使用;
                                也即启动交互式容器(前台有伪终端,等待交互);
                         -P: 随机端口映射,大写P
                        -p: 指定端口映射,小写p

启动交互式容器(前台命令行)

        docker run -it ubuntu /bin/bash

        参数说明:
                -i: 交互式操作。
                -t: 终端。
                centos : centos 镜像。
                /bin/bash:放在镜像名后的是命令,这里我们希望有个交互式 Shell,因此用的是 /bin/bash。
        要退出终端,直接输入 exit:

列出当前所有正在运行的容器
        docker ps [OPTIONS]
                OPTIONS说明(常用):
                 -a :列出当前所有正在运行的容器+历史上运行过的
                -l :显示最近创建的容器。
                -n:显示最近n个创建的容器。
                -q :静默模式,只显示容器编号。

退出容器
    两种退出方式
        exit:run进去容器,exit退出,容器停止
        ctrl+p+q:run进去容器,ctrl+p+q退出,容器不停止
     启动已停止运行的容器
        docker start 容器ID或者容器名
重启容器
    docker restart 容器ID或者容器名
停止容器
    docker stop 容器ID或者容器名
        强制停止容器
            docker kill 容器ID或容器名

       停止所有容器:docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2)
删除已停止的容器
    docker rm 容器ID
       一次性删除多个容器实例
                docker rm -f $(docker ps -a -q)
                docker ps -a -q | xargs docker rm

    删除所有容器:docker rm $(docker ps -a | awk '{ print $1}' | tail -n +2)

以后台模式启动一个容器

     docker run-d容器名:
        docker run -d centos

查看容器日志
      docker logs 容器ID

查看容器内运行的进程
      docker top 容器ID
查看容器内部细节
      docker inspect 容器ID

进入正在运行的容器并以命令行交互关系  
      docker exec -it 容器ID /bin/bash

重新进入:docker attach 容器ID

attach和exec的区别

attach 直接进入容器启动命令的终端,不会启动新的进程用exit退出,会导致容器的停止。
exec 是在容器中打开新的终端,并且可以启动新的进程用exit退出,不会导致容器的停止。

        推荐大家使用 docker exec 命令,因为退出容器终端,不会导致容器的停止。

从容器内拷贝文件到主机上 
   先进入容器:使用命令docker run -it ubuntu /bin/bash                                                                 容器→主机:docker cp  容器ID:容器内路径 目的主机路径
    

        export 导出容器的内容留作为一个tar归档文件[对应import命令]

                docker export  容器ID > 文件名.tar  如:docker export
        import 从tar包中的内容创建一个新的文件系统再导入为镜像[对应export]

                 cat 文件名.tar | docker import - 镜像用户/镜像名:镜像版本号

Docker的配置与使用_第6张图片

镜像

是一种轻量级、可执行的独立软件包,它包含运行某个软件所需的所有内容,我们把应用程序和配置依赖打包好形成一个可交付的运行环境(包括代码、运行时需要的库、环境变量和配置文件等),这个打包好的运行环境就是image镜像文件。
 只有通过这个镜像文件才能生成Docker容器实例(类似Java中new出来一个对象)。

分层的镜像
 以我们的pull为例,在下载的过程中我们可以看到docker的镜像好像是在一层一层的在下载

优点:镜像分层最大的一个好处就是共享资源,方便复制迁移,就是为了复用。
Docker的配置与使用_第7张图片

UnionFS(联合文件系统)

UnionFS(联合文件系统):Union文件系统(UnionFS)是一种分层、轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem)。Union 文件系统是 Docker 镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
  特性:一次同时加载多个文件系统,但从外面看起来,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统会包含所有底层的文件和目录

Docker镜像加载原理

        docker的镜像实际上由一层一层的文件系统组成,这种层级的文件系统UnionFS。bootfs(boot file system)主要包含bootloader和kernel, bootloader主要是引导加载kernel, Linux刚启动时会加载bootfs文件系统,在Docker镜像的最底层是引导文件系统bootfs。这一层与我们典型的Linux/Unix系统是一样的,包含boot加载器和内核。当boot加载完成之后整个内核就都在内存中了,此时内存的使用权已由bootfs转交给内核,此时系统也会卸载bootfs。
 rootfs (root file system) ,在bootfs之上。包含的就是典型 Linux 系统中的 /dev, /proc, /bin, /etc 等标准目录和文件。rootfs就是各种不同的操作系统发行版,比如Ubuntu,Centos等等。 

Docker镜像层都是只读的,容器层是可写的 当容器启动时,一个新的可写层被加载到镜像的顶部。 这一层通常被称作“容器层”,“容器层”之下的都叫“镜像层”。

Docker的配置与使用_第8张图片

Docker镜像commit操作案例

docker commit提交容器副本使之成为一个新的镜像
        docker commit -m="提交的描述信息" -a="作者"  容器ID 要创建的目标镜像名:[标签名]

1.安装vim

    apt-get update
    apt-get -y install vim

2.安装完成后,退出容器,commit我们自己的新镜像

         docker commit -m="add vim" -a="chj" 630859fe96d0 chj/newubuntu:12.23

Docker的配置与使用_第9张图片

总结

Docker中的镜像分层,支持通过扩展现有镜像,创建新的镜像。类似Java继承于一个Base基础类,自己再按需扩展。
新镜像是从 base 镜像一层一层叠加生成的。每安装一个软件,就在现有镜像的基础上增加一层

本地镜像发布到阿里云

1.进入阿里云的实例

Docker的配置与使用_第10张图片

 2.进入镜像仓库

Docker的配置与使用_第11张图片

3. 推送

    docker login --username=aliyun3780448938 registry.cn-shenzhen.aliyuncs.com
    docker tag [ImageId] registry..cn-shenzhen.aliyuncs.com/chj_aliyun/chj_imagerepository:[镜像版本号]
    docker push registry.cn-shenzhen.aliyuncs.com/chj_aliyun/chj_imagerepository:[镜像版本号]

4.查看推送是否成功

将本地镜像推送到私有库

1.下载镜像Docker Registry
        docker pull registry 
2.运行私有库Registry,相当于本地有个私有Docker hub
        docker run -d -p 5000:5000  -v /CentOs(虚拟机名)/myregistry/:/tmp/registry --privileged=true registry
        默认情况,仓库被创建在容器的/var/lib/registry目录下,建议自行用容器卷映射,方便于宿主机联调

3.进入docker容器内安装ifconfig

  docker run -it newubuntu /bin/bash                                                                                                    apt-get update
  apt-get install net-tools

4.安装完成后,commit我们自己的新镜像
 
 docker commit -m="提交的描述信息" -a="作者" 容器ID 要创建的目标镜像名:[标签名]
5.修改配置文件使之支持http

vim /etc/docker/daemon.json
{
  "registry-mirrors": ["https://aa25jngu.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.1.100:5000"]
}

6.将新镜像newununtu:12.29修改符合私服规范的Tag

 docker tag  newubuntu:12.29  192.168.1.100:5000/newubuntu:12.29

7.push推送到私服库

docker push 192.168.1.100:5000/newubuntu:12.29

8.curl验证私服库上有什么镜像

curl -XGET http://192.168.1.100:5000/v2/_catalog

9.pull到本地

 docker pull 192.168.1.100:5000/newubuntu:12.29

Docker容器数据卷

卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性:
卷的设计目的就是数据的持久化,完全独立于容器的生存周期,因此Docker不会在容器删除时删除其挂载的数据卷

运行一个带有容器卷存储功能的容器实例
    docker run -it --privileged=true -v /宿主机绝对路径目录:/容器内目录      镜像名

        docker run -it --privileged=true -v /CentOS/u:/tmp/u  newubuntu /bin/bash
作用
*  将运用与运行的环境打包镜像,run后形成容器实例运行 ,但是我们对数据的要求希望是持久化的
 Docker容器产生的数据,如果不备份,那么当容器实例删除后,容器内的数据自然也就没有了。
为了能保存数据在docker中我们使用卷。
 特点:
1:数据卷可在容器之间共享或重用数据
2:卷中的更改可以直接实时生效
3:数据卷中的更改不会包含在镜像的更新中
4:数据卷的生命周期一直持续到没有容器使用它为止

查看数据卷是否挂载成功
 docker inspect 容器ID

Docker的配置与使用_第12张图片

读写规则映射添加说明
 rw = read + write   ro=read only
 docker run -it --privileged=true -v /宿主机绝对路径目录:/容器内目录:rw   镜像名
 容器2继承容器1的卷规则
    docker run -it  --privileged=true --volumes-from 父类  --name u2 ubuntu

安装tomcat

1.拉取tomcat镜像到本地
    docker pull tomcat

2.使用tomcat镜像创建容器实例(也叫运行镜像)
 docker run -it -p 8080:8080 tomcat
 -p 小写,主机端口:docker容器端口
 -P 大写,随机分配端口
  i:交互
 t:终端
 d:后台

3.修改webapp文件夹

    退出:ctrl+p+q
    以交互方式进入容器:docker exec -it 4b05ec2da4af /bin/bash                                                        删除webapps文件夹:rm -r webapps
    修改dist文件为webapps:mv weapps.dist webapps
4.访问8080端口看是否运行tomcat

Docker的配置与使用_第13张图片

安装tomcat8

拉取镜像:docker pull billygoo/tomcat8-jdk8
后台运行:docker run -d -p 8080:8080 --name mytomcat8 billygoo/tomcat8-jdk8

运行成功

Docker的配置与使用_第14张图片

安装mysql

1.下载mysql

docker pull mysql

简单运行

2.运行mysql

docker run -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

3.查看mysql运行状态
docker ps

4.进入mysql
docker exec -it 容器ID /bin/basho
mysql -uroot -p

实战

1.启动mysql

docker run -d -p 3306:3306 --privileged=true -v /root/mysql/log:/var/log/mysql -v /root/mysql/data:/var/lib/mysql -v /root/mysql/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=123456 mysql

2.进入mysql文件夹新建my.cnf

cd /root/mysql/conf/

vim my.cnf

        [client]
        default_character_set=utf8
        [mysqld]
        collation_server = utf8_general_ci
        character_set_server = utf8

3.重新启动mysql容器实例再重新进入并查看字符编码

docker restart mysql容器id

docker exec -it mysql容器id /bin/bash

SHOW VARIABLES LIKE '%character%';

Docker的配置与使用_第15张图片

4.测试插入中文

安装redis

1.下载redis

docker pull redis:6.0.8

2.运行redis

docker run -d -p 6379:6379 redis:6.0.8

3.进入redis

docker exec -it a8bc2b487558 /bin/bash

4.测试

 redis-cli

 set k1 v1

 get k1
"v1"

实战版

1.新建文件夹

mkdir redis

2.复制redis.conf进去

Docker的配置与使用_第16张图片

3.修改redis.conf并保存

vim /root/redis/redis.conf

Docker的配置与使用_第17张图片

 3.4开启redis数据持久化appendonly yes(可选)

4.启动redis

docker run -p 6379:6379 --name myredis --privileged=true -v /root/redis/redis.conf:/etc/redis/redis.conf -v /root/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf

配置redis主从复制

在虚拟机1中开启主库

docker run -p 6379:6379 --name myredis --privileged=true -v /root/redis/redis.conf:/etc/redis/redis.conf -v /root/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf

修改虚拟机2中从库的配置文件

开启 slaveof 192.168.1.100 6379 -主库ip和端口

开启从库

docker run -p 6379:6379 --name redis_slave --privileged=true -v /root/redis/redis.conf:/etc/redis/redis.conf -v /root/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf

进入主库的redis内

docker exec -it redis_master redis-cli

查看信息

info

 Docker的配置与使用_第18张图片

 从库配置一台

主库set key value

从库 get key  数据同步

mysql主从复制

配置主库

1.新建主库

docker run -d -p 3307:3306 --name mysql-master --privileged=true -v /root/mysql-master/log:/var/log/mysql -v /root/mysql-master/data:/var/lib/mysql -v /root/mysql-master/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=root mysql

2.进入/root/mysql-master/conf新建my.cnf配置文件

vim /root/mysql-master/conf/my.cnf 

[client]
default_character_set=utf8
[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=101 
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能
log-bin=mall-mysql-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

3.重启mysql

docker restart mysql-master

4.进入mysql容器创建账号并赋予权限

docker exec -it mysql-master /bin/bash

mysql -uroot -p

CREATE USER 'slave'@'%' IDENTIFIED BY '123456';

GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'slave'@'%';

ALTER USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

5.查看主库状态

Docker的配置与使用_第19张图片

 配置从库

新建从库

docker run -d -p 3308:3306 --name mysql-slave --privileged=true -v /root/mysql-slave/log:/var/log/mysql -v /root/mysql-slave/data:/var/lib/mysql -v /root/mysql-slave/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=root mysql

2.进入/root/mysql-slave/conf新建my.cnf配置文件

vim /root/mysql-slave/conf/my.cnf 

[client]
default_character_set=utf8
[mysqld]
collation_server = utf8_general_ci
character_set_server = utf8
## 设置server_id,同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin  
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M  
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062  
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin  
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1  
## slave设置为只读(具有super权限的用户除外)
read_only=1

3.重启从库

docker restart mysql-slave

4.进入从库配置主库主从复制

Docker的配置与使用_第20张图片

change master to master_host='192.168.1.100', master_user='slave', master_password='123456', master_port=33
07, master_log_file='mall-mysql-bin.000002', master_log_pos=439, master_connect_retry=30;

 5.开启从库

start slave;

6.查看从库状态

show slave status \G;

Docker的配置与使用_第21张图片

 slave_io_running和slave_sql-running都为yes则主从复制开启成功

7.测试

在主库中创建数据库数据表,然后去从库查看是否同步

面试题-安装redis集群大面试题第4季分布式存储案例真题

cluster(集群)模式-docker版 哈希槽分区进行亿级数据存储
面试题
问:1~2亿条数据需要缓存,请问如何设计这个存储案例

答:单机单台100%不可能,肯定是分布式存储,

问:用redis如何落地?

1.哈希取余分区

Docker的配置与使用_第22张图片

 2亿条记录就是2亿个k,v,我们单机不行必须要分布式多机,假设有3台机器构成一个集群,用户每次读写操作都是根据公式:
hash(key) % N个机器台数,计算出哈希值,用来决定数据映射到哪一个节点上。

version: '3.1'
 
volumes:
  grafana_data: {}
 
services:
 influxdb:
  image: tutum/influxdb:0.9
  restart: always
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  volumes:
    - ./data/influxdb:/data
 
 cadvisor:
  image: google/cadvisor
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro
 
 grafana:
  user: "104"
  image: grafana/grafana
  user: "104"
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root

2.一致性哈希算法分区

提出一致性Hash解决方案。 目的是当服务器个数发生变动时, 尽量减少影响客户端到服务器的映射关系

    1.算法构建一致性哈希环
      一致性哈希环
        一致性哈希算法必然有个hash函数并按照算法产生hash值,这个算法的所有可能哈希值会构成一个全量集,这个集合可以成为一个hash空间[0,2^32-1],这个是一个线性空间,但是在算法中,我们通过适当的逻辑控制将它首尾相连(0 = 2^32),这样让它逻辑上形成了一个环形空间。
   它也是按照使用取模的方法,前面笔记介绍的节点取模法是对节点(服务器)的数量进行取模。而一致性Hash算法是对2^32取模,简单来说,一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为0-2^32-1(即哈希值是一个32位无符号整形),整个哈希环如下图:整个空间按顺时针方向组织,圆环的正上方的点代表0,0点右侧的第一个点代表1,以此类推,2、3、4、……直到2^32-1,也就是说0点左侧的第一个点代表2^32-1, 0和2^32-1在零点中方向重合,我们把这个由2^32个点组成的圆环称为Hash环。
Docker的配置与使用_第23张图片

2.节点映射

        将集群中各个IP节点映射到环上的某一个位置。
   将各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D,经过IP地址的哈希函数计算(hash(ip)),使用IP地址哈希后在环空间的位置如下:

Docker的配置与使用_第24张图片

3.key落到服务器的落键规则
  当我们需要存储一个kv键值对时,首先计算key的hash值,hash(key),将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置,从此位置沿环顺时针“行走”,第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。
如我们有Object A、Object B、Object C、Object D四个数据对象,经过哈希计算后,在环空间上的位置如下:根据一致性Hash算法,数据A会被定为到Node A上,B被定为到Node B上,C被定为到Node C上,D被定为到Node D上。
Docker的配置与使用_第25张图片

优点
    一致性哈希算法的容错性
容错性
假设Node C宕机,可以看到此时对象A、B、D不会受到影响,只有C对象被重定位到Node D。一般的,在一致性Hash算法中,如果一台服务器不可用,则受影响的数据仅仅是此服务器到其环空间中前一台服务器(即沿着逆时针方向行走遇到的第一台服务器)之间数据,其它不会受到影响。简单说,就是C挂了,受到影响的只是B、C之间的数据,并且这些数据会转移到D进行存储。
      一致性哈希算法的扩展性
 扩展性
数据量增加了,需要增加一台节点NodeX,X的位置在A和B之间,那收到影响的也就是A到X之间的数据,重新把A到X的数据录入到X上即可,不会导致hash取余全部数据重新洗牌
缺点
    一致性哈希算法的数据倾斜问题
 Hash环的数据倾斜问题
一致性Hash算法在服务节点太少时,容易因为节点分布不均匀而造成数据倾斜(被缓存的对象大部分集中缓存在某一台服务器上)问题,
例如系统中只有两台服务器:
Docker的配置与使用_第26张图片

总结
为了在节点数目发生改变时尽可能少的迁移数据,将所有的存储节点排列在收尾相接的Hash环上,每个key在计算Hash后会顺时针找到临近的存储节点存放。
而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。  
优点
加入和删除节点只影响哈希环中顺时针方向的相邻的节点,对其他节点无影响。
缺点 
数据的分布和节点的位置有关,因为这些节点不是均匀的分布在哈希环上的,所以数据在进行存储时达不到均匀分布的效果。
3.哈希槽分区
    是什么                                                                                                                                                一致性哈希算法的数据倾斜问题
 1.为什么出现
         哈希槽实质就是一个数组,数组[0,2^14 -1]形成hash slot空间。
 2.能干什么
        解决均匀分配的问题,在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。

Docker的配置与使用_第27张图片
 槽解决的是粒度问题,相当于把粒度变大了,这样便于数据移动。
哈希解决的是映射问题,使用key的哈希值来计算所在的槽,便于数据分配。
 3.多少个hash槽
        一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取余,余数是几key就落入对应的槽里。slot = CRC16(key) % 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。
 4.哈希槽计算
 Redis 集群中内置了 16384 个哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在 Redis 集群中放置一个 key-value时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,也就是映射到某个节点上。如下代码,key之A 、B在Node2, key之C落在Node3上

 Docker的配置与使用_第28张图片

 redis集群哈希槽实战

新建容器

1.新建6个redis容器

docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
 
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
 
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
 
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
 
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
 
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386

Docker的配置与使用_第29张图片
2.进入容器中构建主从关系

 docker exec -it redis-node-1 /bin/bash

redis-cli --cluster create 192.168.1.100:6381 192.168.1.100:6382 192.168.1.100:6383 192.168.1.100:6384 192.168.1.100:6385 192.168.1.100:6386 --cluster-replicas 1

cluster-replicas 1 表示为每个master创建一个slave节点

 Docker的配置与使用_第30张图片

主                从

6381         6385

6382         6386

6383         6384

 3.进入容器查看集群状态

redis-cli -p 6381

cluster info

Docker的配置与使用_第31张图片

4.查看节点状态

cluster nodes

Docker的配置与使用_第32张图片

 主从容错切换迁移案例

数据读写存储
1.启动6机构成的集群并通过exec进入

      docker exec -it redis-node-1 /bin/bash
2.对6381新增两个key,报错。                                                                                                                redis-cli -p 6381

Docker的配置与使用_第33张图片

原因:k1的哈希取余为12706根据哈希槽的规则应该去6383这个服务器内
3.防止路由失效加参数-c并新增两个key

 redis-cli -p 6381 -c

Docker的配置与使用_第34张图片

 4.查看集群状态:有两个k分别在6381和6383

 redis-cli --cluster check 192.168.1.100:6381
Docker的配置与使用_第35张图片

 容错切换迁移

 1.停掉redis-node-1查看集群信息

docker stop redis-node-1

docker exec redis-node-2 /bin/bash

redis-cli -p 6382 -c

cluster nodes

Docker的配置与使用_第36张图片

 6381主服务器停止后6385从服务器变成主服务器

Docker的配置与使用_第37张图片

2.开启redis-node-1查看集群信息

docker start redis-node-1

Docker的配置与使用_第38张图片

 6385还是主服务器,6381变成从服务器,停止6385,再重新开启,恢复到原来的主从状态

Docker的配置与使用_第39张图片

 主从扩容

1.创建新的主从容器

docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388

2.进入6387容器实例内部
  docker exec -it redis-node-7 /bin/bash
3.将新增的6387节点(空槽号)作为master节点加入原集群6381

 redis-cli --cluster add-node 192.168.1.100:6387 192.168.1.100:6381

4.查看集群状态

redis-cli --cluster check 192.168.1.100:6381

Docker的配置与使用_第40张图片

 6387没有槽位

5.重新分派槽号
命令:redis-cli --cluster reshard IP地址:端口号
redis-cli --cluster reshard 192.168.1.100:6381

Docker的配置与使用_第41张图片

 6.检查集群状态,重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387

Docker的配置与使用_第42张图片

7.为主节点6387分配从节点6388
        命令:redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
        如: redis-cli --cluster add-node 192.168.1.100:6388 192.168.1.100:6387 --cluster-slave --cluster-master-id 2f7bf3b5bf08c790021099c420a8b2f71805d2a3       -------这个是6387的编号,按照自己实际情况

Docker的配置与使用_第43张图片
 主从缩容

1.将6388删除 从集群中将4号从节点6388删除
命令:redis-cli --cluster del-node ip:从机端口 从机6388节点ID
 redis-cli --cluster del-node 192.168.1.100:6388 1f580e2c2250f45d60879d9fd17b28ec4dc5c4ae

Docker的配置与使用_第44张图片

 2.将6387的槽号清空,重新分配,本例将清出来的槽号都给6381
redis-cli --cluster reshard 192.168.1.100:6381

Docker的配置与使用_第45张图片

 3.将6387删除
命令:redis-cli --cluster del-node ip:端口 6387节点ID
 redis-cli --cluster del-node 192.168.1.100:6387  2f7bf3b5bf08c790021099c420a8b2f71805d2a3 Docker的配置与使用_第46张图片

DockerFile解析

        Dockerfile是用来构建Docker镜像的文本文件,是由一条条构建镜像所需的指令和参数构成的脚本。

官网:https://docs.docker.com/engine/reference/builder/

构建三步骤
    编写Dockerfile文件
    docker build命令构建镜像
    docker run依镜像运行容器实例

DockerFile构建过程解析

Dockerfile内容基础知识
    1:每条保留字指令都必须为大写字母且后面要跟随至少一个参数
    2:指令按照从上到下,顺序执行
    3:#表示注释
    4:每条指令都会创建一个新的镜像层并对镜像进行提交
Docker执行Dockerfile的大致流程
    (1)docker从基础镜像运行一个容器
    (2)执行一条指令并对容器作出修改
    (3)执行类似docker commit的操作提交一个新的镜像层
    (4)docker再基于刚提交的镜像运行一个新容器
    (5)执行dockerfile中的下一条指令直到所有指令都执行完成
Docker的配置与使用_第47张图片

 1.Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程(当应用进程需要和系统服务和内核进程打交道,这时需要考虑如何设计namespace的权限控制)等等;
 2.Docker镜像,在用Dockerfile定义一个文件之后,docker build时会产生一个Docker镜像,当运        行 Docker镜像时会真正开始提供服务;
 3.Docker容器,容器是直接提供服务的。

DockerFile常用保留字指令

FROM 基础镜像,当前新镜像是基于哪个镜像的,指定一个已经存在的镜像作为模板,第一条必须是from
MAINTAINER 镜像维护者的姓名和邮箱地址
RUN

容器构建时需要运行的命令:

shell格式:RUN<命令行命令>
        #<命令行命令>等同于,在终端操作的shell命令。

exec格式:RUN[“可执行文件",“参数1",“参数2"]
        #例如:
              RUN["./test.php","dev","offline"] 等价于RUW./test.php dev offline

EXPOSE 当前容器对外暴露出的端口
WORKDIR 指定在创建容器后,终端默认登陆的进来工作目录,一个落脚点
USER 指定该镜像以什么样的用户去执行,如果都不指定,默认是root
ENV

用来在构建镜像过程中设置环境变量

        ENV MY_PATH /usr/mytest

 这个环境变量可以在后续的任何RUN指令中使用,这就如同在命令前面指定了环境变量前缀一样;也可以在其它指令中直接使用这些环境变量
 比如:WORKDIR $MY_PATH

ADD 将宿主机目录下的文件拷贝进镜像且会自动处理URL和解压tar压缩包
COPY

类似ADD,拷贝文件和目录到镜像中。 将从构建上下文目录中 <源路径> 的文件/目录复制到新的一层的镜像内的 <目标路径> 位置

COPY src dest
·    COPY ["src", "dest"]
·    :源文件或者源目录
·    :容器内的指定路径,该路径不用事先建好,路径不存在的话,会自动创建

VOLUME 容器数据卷,用于数据保存和持久化工作
CMD 指定容器启动后的要干的事情,Dockerfile 中可以有多个 CMD 指令,但只有最后一个生效,CMD 会被 docker run 之后的参数替换,它和前面RUN命令的区别
·    CMD是在docker run 时运行。
·    RUN是在 docker build时运行
ENTRYPOINT 也是用来指定一个容器启动时要运行的命令,类似于 CMD 指令,但是ENTRYPOINT不会被docker run后面的命令覆盖, 而且这些命令行参数会被当作参数送给 ENTRYPOINT 指令指定的程序

Docker的配置与使用_第48张图片

 用dockerfile创建一个带java8,ifconfig,vim的镜像

1.创建一个myfile文件夹

mkdir myfile

2.进入myfile文件夹创建dockerfile

cd myfile

vim dockerfile

FROM centos:7.6.1810
MAINTAINER chj<[email protected]>
 
ENV MYPATH /usr/local
WORKDIR $MYPATH
 
#安装vim编辑器
RUN yum -y install vim
#安装ifconfig命令查看网络IP
RUN yum -y install net-tools
#安装java8及lib库
RUN yum -y install glibc.i686
RUN mkdir /usr/local/java
#ADD 是相对路径jar,把jdk-8u171-linux-x64.tar.gz添加到容器中,安装包必须要和Dockerfile文件在同一位置
ADD jdk-8u171-linux-x64.tar.gz /usr/local/java/
#配置java环境变量
ENV JAVA_HOME /usr/local/java/jdk1.8.0_171
ENV JRE_HOME $JAVA_HOME/jre
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
ENV PATH $JAVA_HOME/bin:$PATH
 
EXPOSE 80
 
CMD echo $MYPATH
CMD echo "success--------------ok"
CMD /bin/bash

复制如上内容,退出保存

3.上传jdk-8u171-linux-x64.tar.gz到myfile文件夹内

Docker的配置与使用_第49张图片

4.docker build -t 新镜像名字:TAG .    --注意tag后有空格加一个点

docker build -t centosjava8:1.6 .

5.运行新的镜像,查看vim和java是否安装配置成功

docker run -it 332334f04d9c /bin/bash

Docker的配置与使用_第50张图片

 虚悬镜像

 名字和版本为none的镜像为虚悬镜像

Docker的配置与使用_第51张图片

查找所有的虚悬镜像

 docker image ls -f dangling=true

 删除虚悬镜像

docker image prune

docker微服务

1.打包一个docker服务的jar包

package docker_boot.controller;

import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;
import java.util.UUID;
@RestController
public class OrderController
{
    @Value("${server.port}")
    private String port;

    @RequestMapping("/order/docker")
    public String helloDocker()
    {
        return "hello docker"+"\t"+port+"\t"+ UUID.randomUUID().toString();
    }

    @RequestMapping(value ="/order/index",method = RequestMethod.GET)
    public String index()
    {
        return "服务端口号: "+"\t"+port+"\t"+UUID.randomUUID().toString();
    }
}

Docker的配置与使用_第52张图片

 2.把这个jar包上传的linux系统的mydocker文件夹内

Docker的配置与使用_第53张图片

 3.新建Dockerfile

vim Dockerfile

# 基础镜像使用java
FROM java:8
# 作者
MAINTAINER chj
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器中并更名为chj_docker.jar
ADD docker_boot-0.0.1-SNAPSHOT.jar chj_docker.jar
# 运行jar包
RUN bash -c 'touch /chj_docker.jar'
ENTRYPOINT ["java","-jar","/chj_docker.jar"]
#暴露6001端口作为微服务
EXPOSE 6001

4.build

docker build -t chj_docker:1.6 .

5.运行这个容器

docker run -d -p 6001:6001 chj_docker:1.6

6.访问测试成功

Docker的配置与使用_第54张图片

docker网络

1.查看docker网络模式命令

docker network ls

Docker的配置与使用_第55张图片

2.查看网络源数据
    docker network inspect  XXX网络名字

3.创建网络

   docker network create aa_network
4.删除网络
    docker network rm XXX网络名字

 能干嘛
    容器间的互联和通信以及端口映射
    容器IP变动时候可以通过服务名直接网络通信而不受到影响

Docker的配置与使用_第56张图片

bridge

      Docker 服务默认会创建一个 docker0 网桥(其上有一个 docker0 内部接口),该桥接网络的名称为docker0,它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络。Docker 默认指定了 docker0 接口 的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信。

Docker的配置与使用_第57张图片

 两两匹配验证:bridge上一个veth对应一个容器上的eth0Docker的配置与使用_第58张图片

Host

直接使用宿主机的 IP 地址与外界进行通信,不再需要额外进行NAT 转换。

容器将不会获得一个独立的Network Namespace, 而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡而是使用宿主机的IP和端口。

Docker的配置与使用_第59张图片

案例

1.运行一个host网络的tomcat

  docker run -d -p 8083:8080 --network host --name tomcat83 billygoo/tomcat8-jdk8

 Docker的配置与使用_第60张图片

问题:
     docke启动时总是遇见标题中的警告
原因:
    docker启动时指定--network=host或-net=host,如果还指定了-p映射端口,那这个时候就会有此警告,
并且通过-p设置的参数将不会起到任何作用,端口号会以主机端口号为主,重复时则递增。
解决:
    解决的办法就是使用docker的其他网络模式,例如--network=bridge,这样就可以解决问题,或者直接无视

正确
    docker run -d                          --network host --name tomcat83 billygoo/tomcat8-jdk8
没有设置-p的端口映射了,如何访问启动的tomcat83?
  http://宿主机IP:8080/
在CentOS里面用默认的火狐浏览器访问容器内的tomcat83看到访问成功,因为此时容器的IP借用主机的,所以容器共享宿主机网络IP,这样的好处是外部主机与容器可以直接通信。
Docker的配置与使用_第61张图片

None 

 在none模式下,并不为Docker容器进行任何网络配置。 
也就是说,这个Docker容器没有网卡、IP、路由等信息,只有一个lo,需要我们自己为Docker容器添加网卡、配置IP等。

禁用网络功能,只有lo标识(就是127.0.0.1表示本地回环)

 docker run -d -p 8084:8080 --network none --name tomcat84 billygoo/tomcat8-jdk8

Docker的配置与使用_第62张图片

 container

container⽹络模式 
    新建的容器和已经存在的一个容器共享一个网络ip配置而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。

Docker的配置与使用_第63张图片

 1.pull alpine 

docker pull alpine

Alpine Linux 是一款独立的、非商业的通用 Linux 发行版,专为追求安全性、简单性和资源效率的用户而设计。

2.运行实例

docker run -it --name alpine1  alpine /bin/sh

查看ip addr

Docker的配置与使用_第64张图片

docker run -it --network container:alpine1 --name alpine2  alpine /bin/sh

查看ip addr

Docker的配置与使用_第65张图片

关闭容器1后查看容器2的ip addr

Docker的配置与使用_第66张图片

 结论:容器2和容器1使用一个eth0,且容器1结束后容器2的网络也会无效

自定义网络

   自定义桥接网络,自定义网络默认使用的是桥接网络bridge

创建自定义网络:docker network create chj_network

Docker的配置与使用_第67张图片

 新建容器加入上一步新建的自定义网络

docker run -d -p 8081:8080 --network chj_network  --name tomcat81 billygoo/tomcat8-jdk8

docker run -d -p 8082:8080 --network chj_network  --name tomcat82 billygoo/tomcat8-jdk8

互相ping测试

Docker的配置与使用_第68张图片

 结论
   自定义网络本身就维护好了主机名和ip的对应关系(ip和域名都能通

Docker平台架构图解

整体说明
从其架构和运行流程来看,Docker 是一个 C/S 模式的架构,后端是一个松耦合架构,众多模块各司其职。 
 Docker 运行的基本流程为
1.用户是使用 Docker Client 与 Docker Daemon 建立通信,并发送请求给后者。
2.Docker Daemon 作为 Docker 架构中的主体部分,首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。
3. Docker Engine 执行 Docker 内部的一系列工作,每一项工作都是以一个 Job 的形式的存在。
4.Job 的运行过程中,当需要容器镜像时,则从 Docker Registry 中下载镜像,并通过镜像管理驱动 Graph driver将下载镜像以Graph的形式存储。
5.当需要为 Docker 创建网络环境时,通过网络管理驱动 Network driver 创建并配置 Docker 容器网络环境。
6.当需要限制 Docker 容器运行资源或执行用户指令等操作时,则通过 Execdriver 来完成。
7.Libcontainer是一项独立的容器管理包,Network driver以及Exec driver都是通过Libcontainer来实现具体对容器进行的操作。
整体架构

Docker的配置与使用_第69张图片

Compose

Compose 是 Docker 公司推出的一个工具软件,可以管理多个 Docker 容器组成一个应用。你需要定义一个 YAML 格式的配置文件docker-compose.yml,写好多个容器之间的调用关系。然后,只要一个命令,就能同时启动/关闭这些容器.

Docker-Compose是Docker官方的开源项目, 负责实现对Docker容器集群的快速编排

官网下载安装
    Install the Compose standalone | Docker Documentation

安装步骤

1.下载

curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

2.添加可执行权限
chmod +x /usr/local/bin/docker-compose

3.查看版本
docker-compose --version

4.卸载 

rm /usr/local/bin/docker-compose

Compose核心概念
 一文件
    docker-compose.yml
两要素
   服务(service)
         一个个应用容器实例,比如订单微服务、库存微服务、mysql容器、nginx容器或者redis容器
   工程(project)
         由一组关联的应用容器组成的一个完整业务单元,在 docker-compose.yml 文件中定义。

Compose使用的三个步骤
 1.   编写Dockerfile定义各个微服务应用并构建出对应的镜像文件
 2.   使用 docker-compose.yml 定义一个完整业务单元,安排好整体应用中的各个容器服务。

version: "3"
 
services:
  microService:
    image: chj_docker:1.6
    container_name: ms01
    ports:
      - "6001:6001"
    volumes:
      - /app/microService:/data
    networks: 
      - atguigu_net 
    depends_on: 
      - redis
      - mysql
 
  redis:
    image: redis:6.0.8
    ports:
      - "6379:6379"
    volumes:
      - /app/redis/redis.conf:/etc/redis/redis.conf
      - /app/redis/data:/data
    networks: 
      - atguigu_net
    command: redis-server /etc/redis/redis.conf
 
  mysql:
    image: mysql:5.7
    environment:
      MYSQL_ROOT_PASSWORD: '123456'
      MYSQL_ALLOW_EMPTY_PASSWORD: 'no'
      MYSQL_DATABASE: 'db2021'
      MYSQL_USER: 'zzyy'
      MYSQL_PASSWORD: 'zzyy123'
    ports:
       - "3306:3306"
    volumes:
       - /app/mysql/db:/var/lib/mysql
       - /app/mysql/conf/my.cnf:/etc/my.cnf
       - /app/mysql/init:/docker-entrypoint-initdb.d
    networks:
      - atguigu_net
    command: --default-authentication-plugin=mysql_native_password #解决外部无法访问
 
networks: 
   atguigu_net: 


  3.  最后,执行docker-compose up命令 来启动并运行整个应用程序,完成一键部署上线
Compose常用命令
docker-compose -h                            # 查看帮助
docker-compose up                           # 启动所有docker-compose服务
docker-compose up -d                        # 启动所有docker-compose服务并后台运行
docker-compose down                         # 停止并删除容器、网络、卷、镜像。
docker-compose exec  yml里面的服务id                 # 进入容器实例内部  docker-compose exec docker-compose.yml文件中写的服务id /bin/bash
docker-compose ps                                     # 展示当前docker-compose编排过的运行的所有容器
docker-compose top                                   # 展示当前docker-compose编排过的容器进程
 docker-compose logs  yml里面的服务id     # 查看容器输出日志
docker-compose config                               # 检查配置
docker-compose config -q                          # 检查配置,有问题才有输出
docker-compose restart                               # 重启服务
docker-compose start                                # 启动服务
docker-compose stop                              # 停止服务

Docker轻量级可视化工具Portainer

         Portainer 是一款轻量级的应用,它提供了图形化界面,用于方便地管理Docker环境,包括单机环境和集群环境。
 安装
  官网
    https://www.portainer.io/
    https://docs.portainer.io/v/ce-2.9/start/install/server/docker/linux
步骤
    docker命令安装
docker run -d -p 8000:8000 -p 9000:9000 --name portainer  --restart=always -v /var/run/docker.sock:/var/run/docker.sock  -v portainer_data:/data  portainer/portainer
 
第一次登录需创建admin,访问地址:xxx.xxx.xxx.xxx:9000
 
用户名,直接用默认admin
密码记得8位,随便你写
 
设置admin用户和密码后首次登陆
 
选择local选项卡后本地docker详细信息展示

Docker容器监控之 CAdvisor+InfluxDB+Granfana


原生命令操作
 docker stats命令的结果
 问题
 通过docker stats命令可以很方便的看到当前宿主机上所有容器的CPU,内存以及网络流量等数据,一般小公司够用了。。。。
 但是,docker stats统计结果只能是当前宿主机的全部容器,数据资料是实时的,没有地方存储、没有健康指标过线预警等功能
 容器监控3剑客
CAdvisor监控收集+InfluxDB存储数据+Granfana展示图表

CAdvisor
         CAdvⅵsor是一个容器资源监控工具包括容器的内存CPU,网络IO,磁盘IO等监控同时提供了一个WEB页面用于查看容器的实时运行状态。CAdviso默认存储2分钟的数据,而目只是针对单物理机.不过,CAdvisor提供了很多数据集成接口,支持InfluxDB,Redis,Kafka,Elasticsearch等集成,可以加上对应配置将监控数据发往这些数据库存储起来。
  CAdvisor功能主要有两点:
        展示Host和容器两个层次的监控数据,
        展示历史变化数据
InfluxDB
  ifluxDB是用Go语言编写的一个开源分布式时序、事件和指标数据库,无需外部依赖。
CAdvⅵso默认只在本机保存最近2分钟的数据,为了持久化存储数据和统一收集展示监控
数据,需要将数据存储到lInfluxDB中。InfluxDB是一个时序数据库,专门用于存储时序相关数据,很适合存储CAdvisorf的数据。而且,CAdvisorz本身已经提供了InfluxDB的集成方法,丰启动容器时指定配置即可。
  influxDB.主要功能:
        ·基于时间序列,支持与时间有关的相关函数(如最大、最小、求和等):
        ·可度量性:你可以实时对大量数据进行计算:
        ·基于事件:它支持任意的事件数据:
Granfana
   Grafana是一个开源的数据监控分析可视化平台,支持多种数据源配置(支持的数据源包括
InfluxDB,MySQL,Elasticsearch,OpenTSDB,Graphite等)和丰富的插件及模板功能,支持图表权限控制和报警。
      Grafan:主要特性:
        ·灵活丰富的图形化选项
        ·可以混合多种风格
        ·支持白天和夜间模式
        ·多个数据源
总结
 Docker的配置与使用_第70张图片
 
2.7.3.    compose容器编排,一套带走
  新建目录

       mkdir mydocker/cig
  新建3件套组合的 docker-compose.yml

version: '3.1'
 
volumes:
  grafana_data: {}
 
services:
 influxdb:
  image: tutum/influxdb:0.9
  restart: always
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  volumes:
    - ./data/influxdb:/data
 
 cadvisor:
  image: google/cadvisor
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro
 
 grafana:
  user: "104"
  image: grafana/grafana
  user: "104"
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root

·  启动docker-compose文件
    docker-compose up
 查看三个服务容器是否启动
 
 测试
·    浏览cAdvisor收集服务,http://ip:8080/
 Docker的配置与使用_第71张图片
·    第一次访问慢,请稍等
·    cadvisor也有基础的图形展现功能,这里主要用它来作数据采集
·    浏览influxdb存储服务,http://ip:8083/
·    浏览grafana展现服务,http://ip:3000
·    ip+3000端口的方式访问,默认帐户密码(admin/admin)
 Docker的配置与使用_第72张图片
·    配置步骤
·    配置数据源
 Docker的配置与使用_第73张图片
·    选择influxdb数据源

 Docker的配置与使用_第74张图片
·    配置细节
·    1
 Docker的配置与使用_第75张图片
·    2
 Docker的配置与使用_第76张图片

Docker的配置与使用_第77张图片
·    配置面板panel
·    1
 Docker的配置与使用_第78张图片
·    2
 Docker的配置与使用_第79张图片
·    3
 Docker的配置与使用_第80张图片
·    4
 Docker的配置与使用_第81张图片
·    5
 Docker的配置与使用_第82张图片
·    6
 Docker的配置与使用_第83张图片
·    到这里cAdvisor+InfluxDB+Grafana容器监控系统就部署完成了

你可能感兴趣的:(docker,java,容器)