docker学习笔记

传统虚拟机和docker的区别

  • 虚拟机是在物理资源层面实现的隔离,相对于虚拟机,Docker是你APP层面实现的隔离,并且省去了虚拟机操作系统(Guest OS)),从而节省了一部分的系统资源;

  • Docker守护进程可以直接与主操作系统进行通信,为各个Docker容器分配资源;它还可以将容器与主操作系统隔离,并将各个容器互相隔离。

  • 虚拟机启动需要数分钟,而Docker容器可以在数毫秒内启动。由于没有臃肿的从操作系统,Docker可以节省大量的磁盘空间以及其他系统资源。

  • 虚拟机与容器docker的区别,在于vm多了一层guest OS,虚拟机的Hypervisor会对硬件资源也进行虚拟化,而容器Docker会直接使用宿主机的硬件资源。 因为虚拟机对物理环境操作系统也进行了虚拟,所以它隔离的更加彻底。而docker只是通过namespce使容器与主机隔离,容器与容器隔离,但仍然使是直接使用主机的操作系统资源。

  • 容器只是运行在宿主机上的一种特殊的进程,那么多个容器之间使用的就还是同一个宿主机的操作系统内核。 如果想要运行不同操作系统的环境容器,docker做不到。

docker隔离性

  1. 文件系统隔离: 每个Docker容器都有自己的文件系统根目录,这意味着一个容器中的文件对其他容器不可见。这样就可以避免不同容器之间的文件冲突和干扰。

  2. 网络隔离: 每个Docker容器都有自己的网络命名空间,因此每个容器可以具有不同的网络配置。这样就可以防止容器之间互相干扰,并且容器可以更好地控制容器访问外部网络的方式。

  3. 进程隔离: 每个Docker容器都有自己的进程命名空间,这意味着一个容器中的进程对其他容器不可见。这样就可以防止容器之间的进程互相干扰,也可以更好地控制进程资源的使用。

  4. 用户隔离: 每个Docker容器都有自己的用户命名空间,这意味着一个容器中的用户对其他容器不可见。这样就可以防止容器之间的用户干扰,从而提高容器的安全性。

run命令执行

首先会在本地查找运行的镜像,找到镜像,以该镜像为模板生成容器实例运行,未找到该对象,会去dockerhub远程仓库查找该镜像,找到了会下载到本地,并以该镜像为模板生产容器实例运行,未找到报错。

docker常用命令

docker image      # 罗列本地镜像  TAG:镜像的版本号  
  
docker search  name     #从dockerhub仓库查找某一镜像  
  
docker pull name     #从dockerhub 拉去某一镜像  
  
docker system df     #查看docker数据卷的使用情况  
  
docker rmi name/id   #删除某一个镜像   
docker run [OPTIONS] IMAGE [COMMAND] [ARG...] //启动docker  
// options 说明  
//--name=容器名字   为容器指定一个启动名字  
//-d  后台运行容器,并返回容器id  
//-i  以交互模式运行容器,与-t配合使用  
//-t   为容器重新分配一个为输入终端  
//-p   小写p,指定端口号映射  
//-P   大写P,随机端口映射  
//启动交互式容器后,输入exit退出并关闭容器,ctrl+p+q退出终端,但不关闭  
  
  
docker rm 容器id //删已经关闭的容器  
docker stop id/name  //停止容器  
docker start/restart  id/name  //开启/重启 容器  
docker kill id/name  //强制停止容器  
  
docker logs id  //查看某一容器的日志  
docker top id  //查看某一容器运行的进程  
docker inspect id //查看某一容器内部运行细节  
  
  
docker exec -it id /bin/bash  //在容器中打开新的终端,并且可以启动新进程,用exit是退出当前终端,不会导致容器关闭  
  
docker attach  id//直接进入容器启动命令的终端,exit会让容器关闭  
  
docker cp id:容器上的文件路径 主机路径 //将容器上的文件拷贝到主机  

docker导入导出

docker export id > name.tar  //导出  
  
docker import name.tar :TAG  //导入  

遇到的坑

我尝试使用export导出一个redis容器,再通过import导入,但是出现了问题,导入的镜像无法启动。

大概原因:export 导出(import 导入)是根据容器拿到的镜像,再导入时会丢失镜像所有的历史记录和元数据信息(即仅保存容器当时的快照状态),所以无法进行回滚操作。

正确做法:我们可以将存有数据的redis容器commit成一个新的镜像,再通过save将镜像保存为tar文件,然后通过load加载tar文件,获得新镜像,使用该镜像启动的容器会保留原有数据。

docker 镜像加载原理

分层文件系统

docker 在下载镜像时是很明显的分层下载的,因为docker使用的是分层文件系统。

UnionFS(联合文件系统)

  • docker的镜像是一层一层叠加形成的,我们可以在基础镜像生成的实例化容器上添加自己的配置后,打包成新的镜像,此时这个新镜像就挂载了原先镜像的文件目录,但有在此基础上新增了一些内容。
  • docker的镜像文件是不可写的,容器是可写的。

镜像加载

docker镜像加载

Docker的镜像实际上由一层一层的文件系统组成,这种层级的文件系统UnionFS(联合文件系统)。

分为两个部分:

  • bootfs(boot file system):主要包含bootloader和kernel(Linux内核),bootloader主要是引导加载kernel,Linux刚启动时会加载bootfs文件系统,而在Docker镜像的最底层也是bootfs这一层,这与我们典型的Linux/Unix系统是一样的,包含boot加载器和内核。当boot加载完成之后,整个内核就都在内存中了,此时内存的使用权已由bootfs转交给内核,此时系统也会卸载bootfs。

    即:系统启动时需要的引导加载,这个过程会需要一定时间。就是黑屏到开机之间的这么一个过程。电脑、虚拟机、Docker容器启动都需要的过程。在说回镜像,所以这一部分,无论是什么镜像都是公用的。

  • rootfs(root file system):rootfs在bootfs之上。包含的就是典型Linux系统中的/dev/proc/bin/etc等标准目录和文件。rootfs就是各种不同的操作系统发行版,比如Ubuntu,Centos等等。

    即:镜像启动之后的一个小的底层系统,这就是我们之前所说的,容器就是一个小的虚拟机环境,比如Ubuntu,Centos等,这个小的虚拟机环境就相当于rootfs。

bootfsrootfs关系如下图:

docker学习笔记_第1张图片

docker容器数据卷

大致概念:映射本机目录与容器目录,实现两个数据的互通,防止重要数据的丢失。

卷是文件目录的意思,通过设置容器数据卷,容器就会绕过联合文件系统,将数据存储到指定的文件目录中

数据卷挂载命令
在docker运行时加上-v参数 进行 文件的映射,-v参数如下:

-v   主机目录: 容器目录 :参数

参数可以是 rw 或者 ro,-v也可以有多组

  • rw 表示容器可读可写,也是默认参数
  • ro 表示容器只能读

数据卷挂载后,若容器崩了,数据不会丢失。
容器数据卷的继承

在启动容器时,可以通过数据卷的继承来使用其他容器的目录映射关系。

docker run -it --volumnes-from 父类  镜像

继承后,父类数据卷容器挂掉,不会影响继承数据卷的新容器。

常用软件的下载

mysql

  1. 启动时需要设置密码。
-e MYSQL_ROOT_PASSWORD='密码'
  1. 需要进行数据卷的映射。
    这里需要映射三处,如下:
-v 主机目录:/var/log/mysql
-v 主机目录:/var/lib/mysql
-v 主机目录: /etc/mysql/conf.d
  1. 需要改配置文件,解决中文乱码问题。

在conf文件夹下创建my.cnf,并添加如下内容

[client]
default_character_set=utf8
[mysqlId]
collation_server = utf8_general_ci
character_set_server = utf8

使用如下:

docker run -d  -p 3306:3306  -e  MYSQL_ROOT_PASSWORD=111111 
-v /home/gtl/docker_data/mysql/data:/var/lib/mysql 
-v /home/gtl/docker_data/mysql/log:/var/log/mysql 
-v /home/gtl/docker_data/mysql/conf:/etc/mysql/conf.d  --name mysql mysql

redis

  • 添加redis配置文件 需要在容器的/etc/redis/目录下添加redis.conf文件,我们可以通过数据卷映射该目录。

使用如下:

docker run  -d -p 6379:6379 --name redis 
-v /home/gtl/docker_data/redis/redis.conf:/etc/redis/redis.conf  
-v /home/gtl/docker_data/redis/data:/data   redis redis-server /etc/redis/redis.conf  

mysql主从复制

  1. 启动两个docker 的mysql容器,分别代表主服务器和从服务器,两个容器要有各自的数据卷映射。
docker run -d  -p 3307:3306  -e  MYSQL_ROOT_PASSWORD=111111 
-v /home/gtl/docker_data/mysql/mysql_master/data:/var/lib/mysql 
-v /home/gtl/docker_data/mysql/mysql_master/log:/var/log/mysql 
-v /home/gtl/docker_data/mysql/mysql_master/conf:/etc/mysql/conf.d  --name mysql_master mysql



docker run -d  -p 3308:3306  -e  MYSQL_ROOT_PASSWORD=111111 
-v /home/gtl/docker_data/mysql/mysql_slave/data:/var/lib/mysql 
-v /home/gtl/docker_data/mysql/mysql_slave/log:/var/log/mysql 
-v /home/gtl/docker_data/mysql/mysql_slave/conf:/etc/mysql/conf.d  --name mysql_slave mysql

2 .为master容器添加配置文件。
在conf目录下添加 my.cnf

[mysqld]
## 设置server_id,同一局域网中需要唯一

server_id=101

## 指定不需要同步的数据库名称

binlog-ignore-db=mysql

## 开启二进制日志功能

log-bin=mysql-test-bin

## 设置二进制日志使用内存大小(事务)

binlog_cache_size=1M

## 设置使用的二进制日志格式(mixed,statement,row)

binlog_format=mixed

## 二进制日志过期清理时间。默认值为0,表示不自动清理。

expire_logs_days=7

## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。

## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致

slave_skip_errors=1062
  1. 重启master容器,并且在容器实例中创建数据同步用户并授予权限。
create user 'slave'@'%' identified  with mysql_native_password by '111111'; 

grant replication slave ,replication client on *.* TO 'slave'@'%';
  1. 为slave容器添加配置文件。
    在conf目录下添加my.cnf配置文件
[mysqld]

## 设置server_id,同一局域网中需要唯一

server_id=102

## 指定不需要同步的数据库名称

binlog-ignore-db=mysql

## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用

log-bin=mall-mysql-slave1-bin

## 设置二进制日志使用内存大小(事务)

binlog_cache_size=1M

## 设置使用的二进制日志格式(mixed,statement,row)

binlog_format=mixed

## 二进制日志过期清理时间。默认值为0,表示不自动清理。

expire_logs_days=7

## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。

## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致

slave_skip_errors=1062

## relay_log配置中继日志

relay_log=mall-mysql-relay-bin

## log_slave_updates表示slave将复制事件写进自己的二进制日志

log_slave_updates=1

## slave设置为只读(具有super权限的用户除外)

read_only=1

5.启动slave容器,根据master容器状态(show master status)来配置slave,如下:

change master to 
master_host='222.24.34.220', 
master_user='slave2',
master_password='111111',
master_port=3307,
master_log_file='mysql-bin.000003',
master_log_pos=1239,
master_connect_retry=30;

参数说明

master_host:主数据库的IP地址;

master_port:主数据库的运行端口;

master_user:在主数据库创建的用于同步数据的用户账号;

master_password:在主数据库创建的用于同步数据的用户密码;

master_log_file:指定从数据库要复制数据的日志文件,通过查看主数据的状态,获取File参数;

master_log_pos:指定从数据库从哪个位置开始复制数据,通过查看主数据的状态,获取Position参数;

master_connect_retry:连接失败重试的时间间隔,单位为秒。
  1. 启动slave,start slave 。查看运行slave状态,show slave status,下面是开启成功。
Slave_IO_Running: Yes
Slave_SQL_Running: Yes  

遇到的坑

  1. 配置文件名叫my.cnf,最开始写成了my.conf`
  2. 从机报错2061。因为mysql8.0使用了caching_sha2_password 加密算法,该加密算法是非对称加密。我们在master创建复制用户时,默认采用的就是这种加密算法,从机在请求连接时,发现对方采用的是该种加密算法,但是自己有不知道对方公钥,所以就会报错,这里的解决办法是创建用户时放弃使用非对称加密算法,但这并不是最优解决办法。
    可以参考文章:主从复制报错2061

redis集群配置(六个redis节点)

  1. 启动六个redis容器
docker run -d --name redis-node-1 --net host -v  /home/gtl/docker_data/redis/redis-node-1:/data  redis --cluster-enabled yes --appendonly yes --port 6380

docker run -d --name redis-node-2 --net host -v  /home/gtl/docker_data/redis/redis-node-2:/data  redis --cluster-enabled yes --appendonly yes --port 6379

docker run -d --name redis-node-3 --net host -v  /home/gtl/docker_data/redis/redis-node-3:/data  redis --cluster-enabled yes --appendonly yes --port 6381

docker run -d --name redis-node-4 --net host -v  /home/gtl/docker_data/redis/redis-node-4:/data  redis --cluster-enabled yes --appendonly yes --port 6382

docker run -d --name redis-node-5 --net host -v  /home/gtl/docker_data/redis/redis-node-5:/data  redis --cluster-enabled yes --appendonly yes --port 6383

docker run -d --name redis-node-6 --net host -v  /home/gtl/docker_data/redis/redis-node-6:/data  redis --cluster-enabled yes --appendonly yes --port 6384
  1. 进入一个redis容器,配置主从关系。
redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6381 
127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 192.168.179.139:6380 --cluster-replicas 1

此时就已经配置好了三主三从的redis集群。

  1. 查看集群状态
    集群环境下,我们可以在任何容器下进入任意一个redis,redis-cli -c -p 6381 这里我们从6381端口进入,-c表示以集群方式进入。
    查看集群状态
cluster info
cluster nodes
redis-cli --cluster  check 127.0.0.1:6379 # 查看的信息最具体
  1. set 和key的使用
    在集群环境下,当我们使用set命令时,会自动进行hash,匹配到相应哈希槽对应的redis节点,get也同样如此。

  2. 主从容错

当我们将一个主节点容器stop后,它的从节点会自动晋升为主节点。如果主节点和从节点都被stop后,集群状态就转为fail。

当我们重启被stop的节点后,集群又能自动恢复。

6.集群扩容

启动新的节点容器,执行下面命令将新节点加入集群

redis-cli --cluster add-node 新节点ip 集群任意节点ip

此时新加入的节点是没有槽位的,执行下面命令重新分配槽位
redis-cli --cluster reshard 集群ip
执行该命令分别要进行三次输入:
要分配的槽位数,槽位要分配给哪个节点,这些被分配的节点来自于哪些节点

在重新分配节点时并不是全盘重洗,而是按需重洗。

dockerFile

Dockerfile是用来构建Docker镜像文件的文本文件,是一条条构建镜像所需的指令和参数构成的脚本。

Docker常用命令
常见命令参考菜鸟Dockerfile

下面是使用dockerfile构建golang语言环境的Dockerfile文件

#基础镜像
FROM ubuntu
#作者
MAINTAINER  gtl<[email protected]>
ENV MYPATH /home/gtl
#进入容器的默认所在目录
WORKDIR $MYPATH
#叠加镜像,安装所需软件
RUN  apt-get update --fix-missing && apt-get install -y  vim --fix-missing && apt-get install -y  net-tools --fix-missing

#将主机目录下的go压缩包解压到容器目录中
ADD  go1.20.3.linux-amd64.tar.gz /usr/local/

#配置go环境
ENV PATH /usr/local/go/bin:$PATH
ENV  GOROOT  /usr/local/go
ENV GOPATH  $MYPATH/go
ENV GOPROXY  goproxy.cn

EXPOSE 80
CMD echo $MYPATH
CMD echo "success"

构建命令
docker build -t Name:tag .

构建命令最后有一个点,表示需要打包的上下文路径,docker是cs架构,在构建镜像时会将需要的文件打包发送给docker引擎。上面的Dockerfile文件中需要使用go1.20.3.linux-amd64.tar.gz ,该文件要放到与Dockerfile同一文件夹下。

Docker 网络

docker学习笔记_第2张图片

docker有三种网络模式,如上图,除此之外还有可以使用其它容器的网络模式,被称为container模式

bridge — 网桥模式

在下载Docker之后会为主机分配一个默认的虚拟网桥Docker0,在该主机上使用该网络(默认)启动docker容器时,Docker0就会为它专门分配一个子网IP,容器也会将Docker0当作默认网关。

启动一个容器后,该容器的ip如下:
docker学习笔记_第3张图片

Docker 将 veth pair 设备的一端放在新创建的容器中,并命名为eth0(容器的网卡),另一端放在主机中,以vethxxx这样类似的名字命名,并将这个网络设备加入到 docker0 网桥中。可以通过brctl show命令查看。
docker学习笔记_第4张图片

使用bridge模式的容器(也时默认使用的模式),主机上的不同容器可以借助网桥相互连接,同样也可以借助网桥访问互联网。

我认为这里的网桥类似于一个NAT路由器,为子网内的ip分配一个私有IP,子网内的主机可以互相连接,同样也可以借助路由器访问互联网,但是互联网无法直接访问子网内主机。

在使用默认的网桥模式时,不同容器之间需要通过IP才能互相连接,但是如果使用自定义的网桥模式,可以直接通过容器名连接。

创建网络:docker network create -d bridge my-net -d 表示指定网络模式

指定网络创建容器docker run -it --network my-net images

Host模式

如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的Network Namespace,而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡,配置自己的 IP 等,而是使用宿主机的 IP 和端口。但是,容器的其他方面,如文件系统、进程列表等还是和宿主机隔离的。

None模式

使用none模式,Docker 容器拥有自己的 Network Namespace,但是,并不为Docker 容器进行任何网络配置。也就是说,这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。

Container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的 IP,而是和一个指定的容器共享 IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。 如果被共享的容器被stop,他就会转为None模式。

你可能感兴趣的:(docker,容器,go)