Dockerfile、docker-compose、docker网络以及Portainer安装
文章目录
-
-
- 1、安装mysql主从复制
- 2、安装redis集群-分布式存储案例
-
- 2.1 cluster(集群)模式-docker版
-
- 哈希取余分区
- 一致性哈希算法分区
- 哈希槽分区
- 2.2 3主3从redis集群配置
- 2.3 主从容错切换迁移
-
- 数据读写存储与容错切换迁移
- 2.4 主从扩容案例
- 2.5 主从缩容案例
- 3、DockerFile解析
-
- 3.1 概念
- 3.2 DockerFile构建过程解析
- 3.3 DockerFile常用保留字指令
- 3.4 DockerFile案例
-
- 自定义centos镜像
- 4、Docker微服务实战
-
- 4.1 通过idea新建一个普通微服务模块
- 4.2 通过dockerfile发布服务部署到docker容器
- 5、docker网络
-
- 5.1 常用命令
- 5.2 作用
- 5.3 网络模式
-
- 5.3.1 bridge
- 5.3.2 host
- 5.3.3 自定义网络
- 6、Docker-compose容器编排
-
- 6.1 下载安装
- 6.2 Compose核心概念
- 6.3 Compose使用的三个步骤
- 6.4 Compose常用命令
- 6.5 使用Compose
- 7、Docker轻量可视化工具Portainer
-
- 7.1 下载及安装
-
1、安装mysql主从复制
-
新建主服务器容器实例
docker run -p 3307:3306 --name mysql-master --privileged=true \ -v /mydata/mysql-master/log:/var/log/mysql \ -v /mydata/mysql-master/data:/var/lib/mysql \ -v /mydata/mysql-master/conf:/etc/mysql \ -e MYSQL_ROOT_PASSWORD=123456 \ -d mysql:5.7 -
进入 /mydata/mysql-master/conf 目录下新建my.cnf
vim /mydata/mysql-master/conf/my.cnf # 输入配置项 [mysqld] ## 设置server_id，同一局域网中需要唯一 server_id=101 ## 指定不需要同步的数据库名称 binlog-ignore-db=mysql ## 开启二进制日志功能 log-bin=mall-mysql-bin ## 设置二进制日志使用内存大小（事务） binlog_cache_size=1M ## 设置使用的二进制日志格式（mixed,statement,row） binlog_format=mixed ## 二进制日志过期清理时间。默认值为0，表示不自动清理。 expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。 ## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致 slave_skip_errors=1062 -
进入 mysql-master 容器
docker exec -it mysql-master bash # 登录mysql mysql -uroot -p123456 -
master容器实例内创建数据同步用户
CREATE USER 'slave'@'%' IDENTIFIED BY '123456'; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%'; -
新建从服务器容器实例slave
docker run -p 3308:3306 --name mysql-slave --privileged=true \ -v /mydata/mysql-slave/log:/var/log/mysql \ -v /mydata/mysql-slave/data:/var/lib/mysql \ -v /mydata/mysql-slave/conf:/etc/mysql \ -e MYSQL_ROOT_PASSWORD=123456 \ -d mysql:5.7 -
进入 /mydata/mysql-slave/conf 目录下新建my.cnf
vim /mydata/mysql-slave/conf/my.cnf # 输入配置项 [mysqld] ## 设置server_id，同一局域网中需要唯一 server_id=102 ## 指定不需要同步的数据库名称 binlog-ignore-db=mysql ## 开启二进制日志功能，以备Slave作为其它数据库实例的Master时使用 log-bin=mall-mysql-slave1-bin ## 设置二进制日志使用内存大小（事务） binlog_cache_size=1M ## 设置使用的二进制日志格式（mixed,statement,row） binlog_format=mixed ## 二进制日志过期清理时间。默认值为0，表示不自动清理。 expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。 ## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致 slave_skip_errors=1062 ## relay_log配置中继日志 relay_log=mall-mysql-relay-bin ## log_slave_updates表示slave将复制事件写进自己的二进制日志 log_slave_updates=1 ## slave设置为只读（具有super权限的用户除外） read_only=1 -
重启slave容器实例
docker restart mysql-slave -
在 主数据库中 查看主从同步状态
show master status;
-
进入slave容器实例
docker exec -it mysql-slave bash # 登录mysql mysql -uroot -p123456 -
在 从数据库 中配置主从复制
change master to master_host='150.158.17.59', master_port=3307, master_user='slave', master_password='123456', master_log_file='mall-mysql-bin.000001', master_log_pos=154, master_connect_retry=30; # 主从复制参数说明 master_host：主数据库的IP地址； master_port：主数据库的运行端口； master_user：在主数据库创建的用于同步数据的用户账号； master_password：在主数据库创建的用于同步数据的用户密码； master_log_file：指定从数据库要复制数据的日志文件，通过查看主数据的状态，获取File参数； master_log_pos：指定从数据库从哪个位置开始复制数据，通过查看主数据的状态，获取Position参数； master_connect_retry：连接失败重试的时间间隔，单位为秒。 -
在 从数据库中 查看主从复制状态
show slave status \G
-
在 从数据库中 开启主从同步
start slave; -
在 从数据库查看数据同步状态
show slave status \G
-
主从复制测试
主机新建库–使用库–新建表–插入数据，OK
从机使用库，查看记录，OK
2、安装redis集群-分布式存储案例
2.1 cluster(集群)模式-docker版
哈希槽分区进行亿级数据存储
1-2亿条数据需要缓存，设计存储案例？？？
哈希取余分区
2亿条记录就是2亿个k,v，我们单机不行必须要分布式多机，假设有3台机器构成一个集群，用户每次读写操作都是根据公式：
hash(key) % N个机器台数，计算出哈希值，用来决定数据映射到哪一个节点上。
-
优点：
简单粗暴，直接有效，只需要预估好数据规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器固定处理一部分请求（并维护这些请求的信息），起到负载均衡+分而治之的作用。
-
缺点：
原来规划好的节点，进行扩容或者缩容就比较麻烦了额，不管扩缩，每次数据变动导致节点有变动，映射关系需要重新进行计算，在服务器个数固定不变时没有问题，如果需要弹性扩容或故障停机的情况下，原来的取模公式就会发生变化：Hash(key)/3会变成Hash(key) /?。此时地址经过取余运算的结果将发生很大变化，根据公式获取的服务器也会变得不可控。
某个redis机器宕机了，由于台数数量变化，会导致hash取余全部数据重新洗牌。
一致性哈希算法分区
-
是什么？
一致性哈希算法在1997年由麻省理工学院中提出的，设计目标是为了解决
分布式缓存数据变动和映射问题，某个机器宕机了，分母数量改变了，自然取余数不OK了。
-
作用：
提出一致性Hash解决方案。
目的是当服务器个数发生变动时，尽量减少影响客户端到服务器之间的映射。
-
步骤
-
算法构建一致性哈希环
一致性哈希算法必然有个hash函数并按照算法产生hash值，这个算法的所有可能哈希值会构成一个全量集，这个集合可以成为一个hash空间[0,2^32-1]，这个是一个线性空间，但是在算法中，我们通过适当的逻辑控制将它首尾相连(0 = 2^32),这样让它逻辑上形成了一个环形空间。
它也是按照使用取模的方法，前面笔记介绍的节点取模法是对节点（服务器）的数量进行取模。而一致性Hash算法是对232取模，简单来说，一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0-232-1（即哈希值是一个32位无符号整形），整个哈希环如下图：整个空间按顺时针方向组织，圆环的正上方的点代表0，0点右侧的第一个点代表1，以此类推，2、3、4、……直到232-1，也就是说0点左侧的第一个点代表232-1， 0和232-1在零点中方向重合，我们把这个由232个点组成的圆环称为Hash环。
-
服务器ip节点映射
将集群中各个IP节点映射到环上的某一个位置。
将各个服务器使用Hash进行一个哈希，具体可以选择服务器的IP或主机名作为关键字进行哈希，这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D，经过IP地址的哈希函数计算(hash(ip))，使用IP地址哈希后在环空间的位置如下：
-
key落到服务器的落键规则
当我们需要存储一个kv键值对时，首先计算key的hash值，hash(key)，将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置，从此位置沿环顺时针“行走”，第一台遇到的服务器就是其应该定位到的服务器，并将该键值对存储在该节点上。
如我们有Object A、Object B、Object C、Object D四个数据对象，经过哈希计算后，在环空间上的位置如下：根据一致性Hash算法，数据A会被定为到Node A上，B被定为到Node B上，C被定为到Node C上，D被定为到Node D上。
-
-
优点：
一致性hash算法的
容错性和扩容性 -
缺点：
一致性hash算法的
数据倾斜问题
哈希槽分区
-
是什么？
哈希槽实质就是一个数组，数组[0,2^14 -1]形成hash slot空间。解决一致性hash算法的
数据倾斜问题 -
作用：
解决均匀分配的问题，在数据和节点之间又加入了一层，把这层称为哈希槽（slot），用于管理数据和节点之间的关系，现在就相当于节点上放的是槽，槽里放的是数据。
槽解决的是粒度问题，相当于把粒度变大了，这样便于数据移动。
哈希解决的是映射问题，使用key的哈希值来计算所在的槽，便于数据分配。
-
哈希槽计算
Redis 集群中内置了 16384 个哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在 Redis 集群中放置一个 key-value时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，也就是映射到某个节点上。如下代码，key之A 、B在Node2， key之C落在Node3上
2.2 3主3从redis集群配置
-
新建6个docker容器redis实例
docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381 docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382 docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383 docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384 docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385 docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386 # 命令解释： docker run 创建并运行docker容器实例 --name redis-node-1 容器名字 --net host 使用宿主机的ip和端口，默认 --privileged=true 获取宿主机root用户权限 -v /data/redis/share/redis-node-1:/data 容器卷 宿主机地址:docker内部地址 redis:6.0.8 redis镜像和版本号 --cluster-enabled yes 开启redis集群 --appendonly yes 开启持久化 --port 6382 redis端口号 -
进入redis-node-1并为6台机器构建集群
# 进入容器 docker exec -it redis-node-1 bash # 构建主从关系 redis-cli --cluster create 192.168.88.129:6381 192.168.88.129:6382 192.168.88.129:6383 192.168.88.129:6384 192.168.88.129:6385 192.168.88.129:6386 --cluster-replicas 1 # 上述的--cluster-replicas 1 表示为每个master创建一个slave节点
-
查看节点状态
# 进入6381实例 redis-cli -p 6381 # 查看节点状态 cluster info cluster nodes # cluster nodes可查看主从挂载关系
可见，主机为 6381、6382、6383；从机为 6384、6385、6386
且6386 挂载在 6883节点下
2.3 主从容错切换迁移
数据读写存储与容错切换迁移
-
连接至1号机（6381）
docker exec -it redis-node-1 redis-cli -p 6381 -
执行数据存储，无法完成
127.0.0.1:6381> set a b (error) MOVED 15495 192.168.88.129:6383 -
解决
# 在连接时,防止路由失效，加入参数-c，优化路由 # docker exec -it redis-node-1 redis-cli -p 6381 -c [root@localhost ~]# docker exec -it redis-node-1 redis-cli -p 6381 -c 127.0.0.1:6381> set a b -> Redirected to slot [15495] located at 192.168.88.129:6383 OK 192.168.88.129:6383> -
查看集群信息
# 退出redis客户端 127.0.0.1:6381> quit root@localhost:/data# redis-cli --cluster check 192.168.88.129:6381 # 返回集群信息 192.168.88.129:6381 (fd4a8367...) -> 0 keys | 5461 slots | 1 slaves. 192.168.88.129:6382 (d2736fc9...) -> 0 keys | 5462 slots | 1 slaves. 192.168.88.129:6383 (0f9a3d36...) -> 1 keys | 5461 slots | 1 slaves. [OK] 1 keys in 3 masters. 0.00 keys per slot on average. >>> Performing Cluster Check (using node 192.168.88.129:6381) M: fd4a8367d641ab1778e149021d23d9ef3d3c76c6 192.168.88.129:6381 slots:[0-5460] (5461 slots) master 1 additional replica(s) S: 1ae61dc965fbfbd3740414542fc39bba60c41eb9 192.168.88.129:6386 slots: (0 slots) slave replicates 0f9a3d3623737b27b0f539b76671d28c19d79de1 S: 66e4b8282a56a4cdb2e4e450fe8fb164b30c450f 192.168.88.129:6385 slots: (0 slots) slave replicates d2736fc9a38cc6938588724e7b496f377a7bee02 M: d2736fc9a38cc6938588724e7b496f377a7bee02 192.168.88.129:6382 slots:[5461-10922] (5462 slots) master 1 additional replica(s) M: 0f9a3d3623737b27b0f539b76671d28c19d79de1 192.168.88.129:6383 slots:[10923-16383] (5461 slots) master 1 additional replica(s) S: bc2f845f7ed8631ddc2da92100bf68c531459fb5 192.168.88.129:6384 slots: (0 slots) slave replicates fd4a8367d641ab1778e149021d23d9ef3d3c76c6 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. # 可见 6384 挂载在 6381；6385 挂载在 6382；6386 挂载在 6383 # 连接至6381，存入数据 root@localhost:/data# redis-cli -p 6381 -c 127.0.0.1:6381> set a 1 -> Redirected to slot [15495] located at 192.168.88.129:6383 OK ...... # 停止 6381，后进入6382，查看集群状态 root@localhost:/data# redis-cli -p 6382 -c 127.0.0.1:6382> cluster nodes bc2f845f7ed8631ddc2da92100bf68c531459fb5 192.168.88.129:6384@16384 master - 0 1689313524594 7 connected 0-5460 66e4b8282a56a4cdb2e4e450fe8fb164b30c450f 192.168.88.129:6385@16385 slave d2736fc9a38cc6938588724e7b496f377a7bee02 0 1689313523567 2 connected 0f9a3d3623737b27b0f539b76671d28c19d79de1 192.168.88.129:6383@16383 master - 0 1689313524000 3 connected 10923-16383 d2736fc9a38cc6938588724e7b496f377a7bee02 192.168.88.129:6382@16382 myself,master - 0 1689313520000 2 connected 5461-10922 fd4a8367d641ab1778e149021d23d9ef3d3c76c6 192.168.88.129:6381@16381 master,fail - 1689300786783 1689300783000 1 disconnected 1ae61dc965fbfbd3740414542fc39bba60c41eb9 192.168.88.129:6386@16386 slave 0f9a3d3623737b27b0f539b76671d28c19d79de1 0 1689313522544 3 connected 127.0.0.1:6382> # 可见6381转态已经挂机，6384机从slave转为master，且可以获取到6381存入的数据 127.0.0.1:6382> get a -> Redirected to slot [15495] located at 192.168.88.129:6383 "1" 127.0.0.1:6382> # 重新启动6381,6384是否会由master转为原来的slave? 127.0.0.1:6382> cluster nodes bc2f845f7ed8631ddc2da92100bf68c531459fb5 192.168.88.129:6384@16384 master - 0 1689314075527 7 connected 0-5460 66e4b8282a56a4cdb2e4e450fe8fb164b30c450f 192.168.88.129:6385@16385 slave d2736fc9a38cc6938588724e7b496f377a7bee02 0 1689314077000 2 connected 0f9a3d3623737b27b0f539b76671d28c19d79de1 192.168.88.129:6383@16383 master - 0 1689314076000 3 connected 10923-16383 d2736fc9a38cc6938588724e7b496f377a7bee02 192.168.88.129:6382@16382 myself,master - 0 1689314075000 2 connected 5461-10922 fd4a8367d641ab1778e149021d23d9ef3d3c76c6 192.168.88.129:6381@16381 slave bc2f845f7ed8631ddc2da92100bf68c531459fb5 0 1689314074520 7 connected 1ae61dc965fbfbd3740414542fc39bba60c41eb9 192.168.88.129:6386@16386 slave 0f9a3d3623737b27b0f539b76671d28c19d79de1 0 1689314077549 3 connected 127.0.0.1:6382> # 可见即使6381恢复后，6381不会变为master # 关闭容器6384，将6381恢复至master后重新启动6384
2.4 主从扩容案例
-
新建节点
docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387 docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388 -
进入6387容器实例
docker exec -it redis-node-7 bash -
将新增的6387作为master节点加入集群
redis-cli --cluster add-node 192.168.88.129:6387 192.168.88.129:6381 # 参数说明 6387 就是将要作为master新增节点 6381 就是原来集群节点里面的领路人，相当于6387拜拜6381的码头从而找到组织加入集群 -
检查集群情况
redis-cli --cluster check 192.168.88.129:6381
-
重新分派槽位
redis-cli --cluster reshard IP地址:端口号 # redis-cli --cluster reshard 192.168.88.129:6381 ..... # 重新分配槽位，且16384 / 4 = 4096，即每台各站4096
-
重新查看集群分配
redis-cli --cluster check 192.168.88.129:6381 -
槽号分派说明
为什么6387是3个新的区间，以前的还是连续？
重新分配成本太高，所以前3家各自匀出来一部分，从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387
-
为6387分配从节点6388
redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID # redis-cli --cluster add-node 192.168.88.129:6388 192.168.88.129:6387 --cluster-slave --cluster-master-id 98897e7d08827fe2fdee2c040b13c850d9601f8e-------这个是6387的编号，按照自己实际情况
-
重新检查集群分配
redis-cli --cluster check 192.168.88.129:6381
2.5 主从缩容案例
目的：6387和6388下线
-
检查集群情况，获取6388节点id
redis-cli --cluster check 192.168.88.129:6381 -
将6388从集群中删除
redis-cli --cluster del-node ip:从机端口 从机6388节点ID # redis-cli --cluster del-node 192.168.88.129:6388 3d2ec172726ce08a790c746890508045e3e3abec # 检查发现6388从节点已被删除
-
清空6387槽号
# 清空6387的槽号，重新分配，将清出来的槽号都给6381 redis-cli --cluster reshard 192.168.88.129:6381 -
检查集群情况
redis-cli --cluster check 192.168.88.129:6381 # 4096个槽位都指给6381，它变成了8192个槽位，相当于全部都给6381了，不然要输入3次，一锅端
-
删除6387
redis-cli --cluster del-node ip:端口 6387节点ID # redis-cli --cluster del-node 192.168.88.129:6387 98897e7d08827fe2fdee2c040b13c850d9601f8e # 重新检查集群，6387已被删除 redis-cli --cluster check 192.168.88.129:6381
3、DockerFile解析
3.1 概念
-
是什么
官网：https://docs.docker.com/engine/reference/builder/
DockerFile是用来构建Docker镜像的文本文件，是由一条条构建镜像所需的指令和参数构成的脚本
-
构建三步骤
编写DockerFile文件–docker build命令构建镜像–docker run以镜像运行容器实例
3.2 DockerFile构建过程解析
-
DockerFile内容基础知识
- 每条保留字执行都必须为大写字母且后面要跟随至少一个参数
- 执行按照从上到下顺序执行
- #表示注释
- 每条指令都会创建一个新的镜像层并对镜像进行提交
-
Docker执行DockerFile的大致流程
- docker从基础镜像运行一个容器
- 执行一条指令并对容器作出修改
- 执行类似docker commit的操作提交一个新的镜像层
- docker再基于刚提交的镜像运行一个新容器
- 执行dockerfile中的下一条执行知道所有指令都执行完成
-
总结
从应用软件的角度来看，Dockerfile、Docker镜像与Docker容器分别代表软件的三个不同阶段，
-
Dockerfile是软件的原材料
-
Docker镜像是软件的交付品
-
Docker容器则可以认为是软件镜像的运行态，也即依照镜像运行的容器实例
Dockerfile面向开发，Docker镜像成为交付标准，Docker容器则涉及部署与运维，三者缺一不可，合力充当Docker体系的基石。
- Dockerfile，需要定义一个Dockerfile，Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程(当应用进程需要和系统服务和内核进程打交道，这时需要考虑如何设计namespace的权限控制)等等;
- Docker镜像，在用Dockerfile定义一个文件之后，docker build时会产生一个Docker镜像，当运行 Docker镜像时会真正开始提供服务;
- Docker容器，容器是直接提供服务的。
-
3.3 DockerFile常用保留字指令
-
FORM
基础镜像，当前新镜像是基于哪个镜像的，指定一个已经存在的镜像作为模板，第一条必须是from
-
MAINTAINER
镜像维护者的姓名和邮箱地址
-
RUN
容器构建时需要运行的命令
shell格式:
-
EXPOSE
当前容器对外暴露出的端口
-
WORKDIR
指定在创建容器后，终端默认登陆的进来工作目录，一个落脚点
-
USER
指定该镜像以什么样的用户去执行，如果都不指定，默认是root
-
ENV
用来在构建镜像过程中设置环境变量
ENV MY_PATH /usr/mytest
这个环境变量可以在后续的任何RUN指令中使用，这就如同在命令前面指定了环境变量前缀一样；
也可以在其它指令中直接使用这些环境变量，比如：WORKDIR $MY_PATH
-
ADD
将宿主机目录下的文件拷贝进镜像且会自动处理URL和解压tar压缩包
-
COPY
类似ADD，拷贝文件和目录到镜像中。 将从构建上下文目录中 <源路径> 的文件/目录复制到新的一层的镜像内的 <目标路径> 位置
COPY src dest
：源文件或者源目录 · ：容器内的指定路径，该路径不用事先建好，路径不存在的话，会自动创建。 -
VOLUME
容器数据卷，用于数据保存和持久化工作
-
CMD
指定容器启动后的要干的事情
DockerFile中可以有多个CMD指令，但只有最后一个生效，CMD会被docker run之后的参数替换
和RUN命令的区别：CMD是在docker run时运行；RUN是在docker build时运行
-
ENTRYPOINT
也是用来指定一个容器启动时要运行的命令
类似于 CMD 指令，但是ENTRYPOINT不会被docker run后面的命令覆盖， 而且这些命令行参数会被当作参数送给 ENTRYPOINT 指令指定的程序
3.4 DockerFile案例
自定义centos镜像
-
下载centos镜像
docker pull centos # 运行镜像 docker run -it centos bash # 镜像并为包含vim、ifconfig、jdk8等命令 [root@09d64df3925c /]# vim a.txt bash: vim: command not found [root@09d64df3925c /]# ficonfig bash: ficonfig: command not found [root@09d64df3925c /] exit -
下载jdk
jdk下载地址：https://www.oracle.com/java/technologies/downloads/#java8
-
新建myfile目录，将jdk放至该目录，并新建Dockerfile
[root@localhost /]# mkdir myfile [root@localhost /]# cd myfile/ [root@localhost myfile]# ll total 135960 -rw-r--r--. 1 root root 139219380 Jul 14 01:17 jdk-8u371-linux-x64.tar.gz [root@localhost myfile]# vim Dockerfile # Dockerfile内容 FROM centos:7 MAINTAINER qixin<1649959217@qq.com> ENV MYPATH /usr/local WORKDIR $MYPATH #安装vim编辑器 RUN yum -y install vim #安装ifconfig命令查看网络IP RUN yum -y install net-tools #安装java8及lib库 RUN yum -y install glibc.i686 RUN mkdir /usr/local/java #ADD 是相对路径jar,把jdk-8u371-linux-x64.tar.gz添加到容器中,安装包必须要和Dockerfile文件在同一位置 ADD jdk-8u371-linux-x64.tar.gz /usr/local/java/ #配置java环境变量 ENV JAVA_HOME /usr/local/java/jdk1.8.0_371 ENV JRE_HOME $JAVA_HOME/jre ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH ENV PATH $JAVA_HOME/bin:$PATH EXPOSE 80 CMD echo $MYPATH CMD echo "success--------------ok" CMD /bin/bash -
构建
docker build -t centosjava8:1.5 .
-
运行
docker run -it 29276942314a bash # 可见镜像centos已经制作完成，且包含ifconfig、jdk等
4、Docker微服务实战
4.1 通过idea新建一个普通微服务模块
-
新建项目：springboot_docker
-
pom文件导入相关依赖
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0modelVersion> <parent> <groupId>org.springframework.bootgroupId> <artifactId>spring-boot-starter-parentartifactId> <version>2.1.9.RELEASEversion> <relativePath/> parent> <groupId>com.dockerfile.dockergroupId> <artifactId>springboot_dockerartifactId> <version>0.0.1-SNAPSHOTversion> <properties> <project.build.sourceEncoding>UTF-8project.build.sourceEncoding> <maven.compiler.source>1.8maven.compiler.source> <maven.compiler.target>1.8maven.compiler.target> <junit.version>4.12junit.version> <log4j.version>1.2.17log4j.version> <lombok.version>1.16.18lombok.version> <mysql.version>5.1.47mysql.version> <druid.version>1.1.16druid.version> <mapper.version>4.1.5mapper.version> <mybatis.spring.boot.version>1.3.0mybatis.spring.boot.version> properties> <dependencies> <dependency> <groupId>org.springframework.bootgroupId> <artifactId>spring-boot-starter-webartifactId> dependency> <dependency> <groupId>org.springframework.bootgroupId> <artifactId>spring-boot-starter-actuatorartifactId> dependency> <dependency> <groupId>org.springframework.bootgroupId> <artifactId>spring-boot-starter-testartifactId> <scope>testscope> dependency> dependencies> <build> <plugins> <plugin> <groupId>org.springframework.bootgroupId> <artifactId>spring-boot-maven-pluginartifactId> plugin> <plugin> <groupId>org.apache.maven.pluginsgroupId> <artifactId>maven-resources-pluginartifactId> <version>3.1.0version> plugin> <plugin> <groupId>org.apache.maven.pluginsgroupId> <artifactId>maven-surefire-pluginartifactId> <configuration> <testFailureIgnore>truetestFailureIgnore> configuration> plugin> plugins> build> project> -
yml文件编写
server: port: 6001 -
编写业务类
@RestController public class OrderController { @Value("${server.port}") private String port; @RequestMapping("/order/docker") public String helloDocker() { return "hello docker" + "\t" + port + "\t" + UUID.randomUUID().toString(); } @RequestMapping(value = "/order/index", method = RequestMethod.GET) public String index() { return "服务端口号: " + "\t" + port + "\t" + UUID.randomUUID().toString(); } }
4.2 通过dockerfile发布服务部署到docker容器
-
idea打包微服务jar包并上传至/mydocker目录
-
编写Dockerfile
vim /mydocker/Dockerfile# 基础镜像使用java FROM java:8 # 作者 MAINTAINER xxx # VOLUME 指定临时文件目录为/tmp，在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp VOLUME /tmp # 将jar包添加到容器中并更名为springboot_docker.jar ADD springboot_docker-0.0.1-SNAPSHOT.jar springboot_docker.jar # 运行jar包 RUN bash -c 'touch /springboot_docker.jar' ENTRYPOINT ["java","-jar","/springboot_docker.jar"] #暴露6001端口作为微服务 EXPOSE 6001 -
构建镜像，打包镜像文件
docker build -t springboot_docker:1.6 . -
运行容器
# 查看打包的镜像 [root@localhost mydocker]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE springboot_docker 1.6 04eadaba1f48 4 minutes ago 643MB # 运行容器 docker run -d -p 6001:6001 springboot_docker:1.6 # 查看容器启动实例 [root@localhost mydocker]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES b7921c651ba6 springboot_docker:1.6 "java -jar /springbo…" 4 seconds ago Up 3 seconds 0.0.0.0:6001->6001/tcp, :::6001->6001/tcp upbeat_galileo [root@localhost mydocker]# -
测试docker容器启动
浏览器访问 ip:6001/order/docker 进行测试
5、docker网络
5.1 常用命令
-
All
docker network --help -
查看网络
docker network ls -
查看网络源数据
docker network inspect xxx网络名字 -
删除网络
docker network rm xxx网络名字 -
案例
# 新建网络 [root@localhost /]# docker network create aaa_network bd7842d5e7bf8d9c2432634fa8e0f14b5f11e82050e282d181ab9614652d7486 # 查看网络 [root@localhost /]# docker network ls NETWORK ID NAME DRIVER SCOPE bd7842d5e7bf aaa_network bridge local aebbc8436238 bridge bridge local 48123548a004 host host local e1776485bebc none null local # 查看网络源数据 [root@localhost /]# docker network inspect aaa_network [ { "Name": "aaa_network", "Id": "bd7842d5e7bf8d9c2432634fa8e0f14b5f11e82050e282d181ab9614652d7486", "Created": "2023-07-16T20:27:53.008907649-07:00", "Scope": "local", "Driver": "bridge", "EnableIPv6": false, "IPAM": { "Driver": "default", "Options": {}, "Config": [ { "Subnet": "172.18.0.0/16", "Gateway": "172.18.0.1" } ] }, "Internal": false, "Attachable": false, "Ingress": false, "ConfigFrom": { "Network": "" }, "ConfigOnly": false, "Containers": {}, "Options": {}, "Labels": {} } ] # 移出网络 [root@localhost /]# docker network rm aaa_network aaa_network [root@localhost /]# docker network ls NETWORK ID NAME DRIVER SCOPE aebbc8436238 bridge bridge local 48123548a004 host host local e1776485bebc none null local [root@localhost /]#
5.2 作用
- 容器间的互联和通信以及端口映射
- 容器IP变动时候可以通过服务名直接网络通信而不收到影响
5.3 网络模式
-
总体介绍
bridge模式：使用 --network bridge 指定，默认使用docker0
host模式：使用 --network host 指定
none模式：使用 --network none 指定
container模式：使用 --network container:容器name或者容器id 指定
-
容器实例内默认网络IP生产规则
docker内部的ip是有可能发生变化的
5.3.1 bridge
-
bridge
Docker 服务默认会创建一个 docker0 网桥（其上有一个 docker0 内部接口），该桥接网络的名称为docker0，它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。Docker 默认指定了 docker0 接口 的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信。
-
说明
-
Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。
-
docker run 的时候，没有指定network的话默认使用的网桥模式就是bridge，使用的就是docker0。在宿主机ifconfig,就可以看到docker0和自己create的network(后面讲)eth0，eth1，eth2……代表网卡一，网卡二，网卡三……，lo代表127.0.0.1，即localhost，inet addr用来表示网卡的IP地址。
-
网桥docker0创建一对对等虚拟设备接口一个叫veth，另一个叫eth0，成对匹配。
整个宿主机的网桥模式都是docker0，类似一个交换机有一堆接口，每个接口叫veth，在本地主机和容器内分别创建一个虚拟接口，并让他们彼此联通（这样一对接口叫veth pair）；
每个容器实例内部也有一块网卡，每个接口叫eth0；
docker0上面的每个veth匹配某个容器实例内部的eth0，两两配对，一一匹配
通过上述，将宿主机上的所有容器都连接到这个内部网络上，两个容器在同一个网络下,会从这个网关下各自拿到分配的ip，此时两个容器的网络是互通的。
-
-
验证
# 启动两个tomcat容器实例 docker run -d -p 8081:8080 --name tomcat81 billygoo/tomcat8-jdk8 docker run -d -p 8082:8080 --name tomcat82 billygoo/tomcat8-jdk8 # 查看容器 [root@localhost /]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES b9b158fe0673 billygoo/tomcat8-jdk8 "catalina.sh run" 27 seconds ago Up 18 seconds 0.0.0.0:8082->8080/tcp, :::8082->8080/tcp tomcat82 640b2fa90db8 billygoo/tomcat8-jdk8 "catalina.sh run" About a minute ago Up 46 seconds 0.0.0.0:8081->8080/tcp, :::8081->8080/tcp tomcat81 # 查看宿主机网络 [root@localhost /]# ip addr|tail -n 8 32: vetha52609b@if31: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP link/ether 8a:4a:fa:23:5e:c8 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet6 fe80::884a:faff:fe23:5ec8/64 scope link valid_lft forever preferred_lft forever 34: veth58dd7be@if33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP link/ether 4e:32:3b:a4:3d:fc brd ff:ff:ff:ff:ff:ff link-netnsid 1 inet6 fe80::4c32:3bff:fea4:3dfc/64 scope link valid_lft forever preferred_lft forever # 进入容器8081 [root@localhost /]# docker exec -it tomcat81 bash root@640b2fa90db8:/usr/local/tomcat# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 31: eth0@if32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever # 进入容器8082 [root@localhost /]# docker exec -it tomcat82 bash root@b9b158fe0673:/usr/local/tomcat# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 33: eth0@if34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever
5.3.2 host
-
host
直接使用宿主机的 IP 地址与外界进行通信，不再需要额外进行NAT 转换。
-
说明
容器将不会获得一个独立的Network Namespace， 而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡而是使用宿主机的IP和端口。
-
测试
# 启动tomcat实例 [root@localhost /]# docker run -d -p 8083:8080 --network host --name tomcat83 billygoo/tomcat8-jdk8 WARNING: Published ports are discarded when using host network mode 68de2751dbe98e25c486a4833598834dac215eac921d7b963f9a0439cc9e3f83 [root@localhost /]# 问题： docke启动时总是遇见标题中的警告 原因： docker启动时指定--network=host或-net=host，如果还指定了-p映射端口，那这个时候就会有此警告， 并且通过-p设置的参数将不会起到任何作用，端口号会以主机端口号为主，重复时则递增。 解决： 以host网络方式启动时，不指定端口映射 [root@localhost /]# docker run -d --network host --name tomcat83 billygoo/tomcat8-jdk8 335d79b0b00e2ff222b8e4e911b6ebe225e65b90919617fda47e4636f90512c8 [root@localhost /]# docker ps # 查看容器内部 docker inspect tomcat83 | tail -n 20
测试连接：http://宿主机IP:8080/
在CentOS里面用默认的火狐浏览器访问容器内的tomcat83看到访问成功，因为此时容器的IP借用主机的，
所以容器共享宿主机网络IP，这样的好处是外部主机与容器可以直接通信。
5.3.3 自定义网络
-
默认
# 默认网络下，新建两个tocat容器 docker run -d -p 8081:8080 --name tomcat81 billygoo/tomcat8-jdk8 docker run -d -p 8082:8080 --name tomcat82 billygoo/tomcat8-jdk8 # 分别进入 tomcat81 tomcat82 docker exec -it tomcat81 bash docker exec -it tomcat82 bash # 容器内查看网络 # 8081 root@640b2fa90db8:/usr/local/tomcat# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 31: eth0@if32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever # 在8081容器，ping 8082容器显示的inet，结果可以ping通 root@640b2fa90db8:/usr/local/tomcat# ping 172.17.0.3 # 在8081容器，ping 容器8082容器名，无法ping通 root@640b2fa90db8:/usr/local/tomcat# ping tomcat82 ping: tomcat82: Name or service not known -
自定义网络
# 新建自定义网络 docker network create 自定义网络名 # 以自定义网络，创建容器实例 docker run -d -p 8084:8080 --network 自定义网络名 --name tomcat84 billygoo/tomcat8-jdk8 docker run -d -p 8085:8080 --network 自定义网络名 --name tomcat85 billygoo/tomcat8-jdk8 # 分别进去84 85容器，互相ping容器名，显示可以ping通 [root@localhost /]# docker exec -it tomcat84 bash root@6596fea1c659:/usr/local/tomcat# ping tomcat85 PING tomcat85 (172.19.0.3) 56(84) bytes of data. -
结论
自定义网络本身就维护好了主机名和ip的对应关系（ip和域名都能通）
可实现不同容器间以容器名通信
-
说明
从其架构和运行流程来看，Docker 是一个 C/S 模式的架构，后端是一个松耦合架构，众多模块各司其职。
Docker 运行的基本流程为：
1 用户是使用 Docker Client 与 Docker Daemon 建立通信，并发送请求给后者。
2 Docker Daemon 作为 Docker 架构中的主体部分，首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。
3 Docker Engine 执行 Docker 内部的一系列工作，每一项工作都是以一个 Job 的形式的存在。
4 Job 的运行过程中，当需要容器镜像时，则从 Docker Registry 中下载镜像，并通过镜像管理驱动 Graph driver将下载镜像以Graph的形式存储。
5 当需要为 Docker 创建网络环境时，通过网络管理驱动 Network driver 创建并配置 Docker 容器网络环境。
6 当需要限制 Docker 容器运行资源或执行用户指令等操作时，则通过 Execdriver 来完成。
7 Libcontainer是一项独立的容器管理包，Network driver以及Exec driver都是通过Libcontainer来实现具体对容器进行的操作。
6、Docker-compose容器编排
6.1 下载安装
-
概念
Docker-Compose是docker官网的开源项目，负责实现对Docker容器集群的快速编排
-
作用
docker建议我们每一个容器中只运行一个服务,因为docker容器本身占用资源极少,所以最好是将每个服务单独的分割开来但是这样我们又面临了一个问题？
如果我需要同时部署好多个服务,难道要每个服务单独写Dockerfile然后在构建镜像,构建容器,这样累都累死了,所以docker官方给我们提供了docker-compose多服务部署的工具
例如要实现一个Web微服务项目，除了Web服务容器本身，往往还需要再加上后端的数据库mysql服务容器，redis服务器，注册中心eureka，甚至还包括负载均衡容器等等。。。。。。
Compose允许用户通过一个单独的docker-compose.yml模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。
可以很容易地用一个配置文件定义一个多容器的应用，然后使用一条指令安装这个应用的所有依赖，完成构建。Docker-Compose 解决了容器与容器之间如何管理编排的问题。
-
下载安装
官网：https://docs.docker.com/compose/install/standalone/
# 以curl方式安装docker-compose curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose # 将可执行权限应用于二进制文件 chmod +x /usr/local/bin/docker-compose # 创建软链： sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose # 测试 docker-compose --version -
卸载
# 仅针对以curl方式安装的docker-compose sudo rm /usr/local/bin/docker-compose
6.2 Compose核心概念
-
一文件
docker-compose.yml
-
两要素
服务：一个个应用容器实例，比如订单微服务、库存微服务、mysql容器、redis容器等
工程：由一组关联的应用容器组成的一个完整业务单元，在docker-compose.yml文件中定义
6.3 Compose使用的三个步骤
- 编写Dockerfile定义各个微服务应用并构建出对应的镜像文件
- 使用 docker-compose.yml ，定义一个完整业务单元，安排好整体应用中的各个容器服务
- 最后，执行 docker-compose up 命令，来启动并运行整个应用程序，完成一键部署上线
6.4 Compose常用命令
# Compose常用命令
docker-compose -h # 查看帮助
docker-compose up # 启动所有docker-compose服务
docker-compose up -d # 启动所有docker-compose服务并后台运行
docker-compose down # 停止并删除容器、网络、卷、镜像。
docker-compose exec yml里面的服务id # 进入容器实例内部 docker-compose exec docker-compose.yml文件中写的服务id /bin/bash
docker-compose ps # 展示当前docker-compose编排过的运行的所有容器
docker-compose top # 展示当前docker-compose编排过的容器进程
docker-compose logs yml里面的服务id # 查看容器输出日志
docker-compose config # 检查配置
docker-compose config -q # 检查配置，有问题才有输出
docker-compose restart # 重启服务
docker-compose start # 启动服务
docker-compose stop # 停止服务
6.5 使用Compose
-
上传jar包至/mycompose目录
-
编写dockerfile
# 基础镜像使用java FROM java:8 # 作者 MAINTAINER xxxx # VOLUME 指定临时文件目录为/tmp，在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp VOLUME /tmp # 将jar包添加到容器中并更名为springboot_docker.jar ADD springboot_docker-0.0.1-SNAPSHOT.jar springboot_docker.jar # 运行jar包 RUN bash -c 'touch /springboot_docker.jar' ENTRYPOINT ["java","-jar","/springboot_docker.jar"] #暴露6001端口作为微服务 EXPOSE 6001 -
生成镜像文件
docker build -t springboot_docker:7.18 . # 查看镜像 [root@localhost myCompose]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE springboot_docker 7.18 df451770dbbd 6 minutes ago 751MB -
编写docker-compose.yml
version: "3" services: microService: image: springboot_docker:7.18 container_name: springboot_docker ports: - "6001:6001" volumes: - /app/microService:/data networks: - docker_net depends_on: - redis - mysql redis: image: redis:6.0.8 ports: - "6379:6379" volumes: - /app/redis/redis.conf:/etc/redis/redis.conf - /app/redis/data:/data networks: - docker_net command: redis-server /etc/redis/redis.conf mysql: image: mysql:5.7 environment: MYSQL_ROOT_PASSWORD: '123456' MYSQL_ALLOW_EMPTY_PASSWORD: 'no' MYSQL_DATABASE: 'springboot_docker' MYSQL_USER: 'xxx' MYSQL_PASSWORD: '123456' ports: - "3306:3306" volumes: - /app/mysql/data:/var/lib/mysql - /app/mysql/log:/var/log/mysql - /app/mysql/conf:/etc/mysql/conf.d - /app/mysql/init:/docker-entrypoint-initdb.d networks: - docker_net command: --default-authentication-plugin=mysql_native_password #解决外部无法访问 networks: docker_net: -
执行
docker-compose up -d -
停止
docker-compose stop
7、Docker轻量可视化工具Portainer
7.1 下载及安装
-
概念
Portainer 是一款轻量级的应用，它提供了图形化界面，用于方便地管理Docker环境，包括单机环境和集群环境。
-
官网：
官网：https://www.portainer.io/
-
下载及安装
docker run -d -p 8000:8000 -p 9000:9000 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer # 登录 ip:9000 即可