1，宿主机系统与docker版本选型
从现有的系统来看centos7对虚拟化的支持相对来说更完美，对于docker的版本当然是最新的版本功能更完善；
故选择 Centos7+docker最新版本
2，kernel升级
现象描述：系统死机
原因描述：centos7.1默认安装的内核为3.10版本，对于运行少量的容器来说不存在任何问题，当运行容器的数量增多时(比如100台)就会发现容器运行一段时间后操作系统会死机，导致整个物理机不可用，经研究发现将系统内核升级到4.2即可解决此问题。
解决方案：
查看系统当前内核版本
yum升级kernel至4.x
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
yum install http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install kernel-ml
grub2-set-default 0
cat /boot/grub2/grub.cfg |grep menuentry
grub2-set-default "CentOS Linux (3.10.0-327.el7.x86_64) 7 (Core)" 设置第一个内核选项为默认启动项
grub2-editenv list 查看是否设置成功
重启操作系统
reboot
再次查看nerker版本
如需卸载可使用:yum remove kernel-ml
repo.org
3，内核调优
现象描述：网络高延时、丢包
原因描述：单台宿主机运行百台以上容器时，对宿主机的压力相应增加，其中网络方面表现最为明显；
以ARP为例：容器使用br0的网络与外面通信，这样每台容器都会将arp信息缓存下来，如果100台容器分别将网关、宿主机这两条信息存入ARP缓存表，那么物理机上的arp缓存表就有200条；而系统默认的arp缓存条目为128条，所以将导致一部分arp信息被覆盖掉。如果容器间进行频繁的网络通信，就会表现出大量的延时甚至丢包。
cat /proc/sys/net/ipv4/neigh/default/gc_thresh1 #系统默认的ARP缓存条目
cat /proc/sys/net/ipv4/neigh/default/gc_thresh2 #系统ARP条目值的软限制
cat /proc/sys/net/ipv4/neigh/default/gc_thresh3 #系统ARP条目值的硬限制
解决方案：
修改系统内核参数
vim /etc/sysctl.conf
# System default settings live in /usr/lib/sysctl.d/00-system.conf.
# To override those settings, enter new settings here, or in an /etc/sysctl.d/
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.ip_forward=1
net.ipv4.neigh.default.gc_thresh1=25600
net.ipv4.neigh.default.gc_thresh2=51200
net.ipv4.neigh.default.gc_thresh3=102400
net.core.rmem_default = 2097152
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.core.wmem_default = 2097152
net.ipv4.neigh.default.base_reachable_time = 172800
net.ipv4.neigh.default.gc_stale_time = 172800
kernel.msgmax=65536
kernel.msgmnb=65536
kernel.pid_max=65535
sysctl -p
/etc/security/limits.d/20-nproc.conf
* soft nproc 65535
ulimit -n 65535
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc 65535" >> /etc/security/limits.conf
4，设置桥接网卡
1） 安装包
yum install bridge-utils -y
2）设置bond网卡
[root@docker011 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0
BOOTPROTO=none
DEVICE=bond0
ONBOOT=yes
BONDING_OPTS='mode=1 miimon=100' (mode=1,网卡绑定模式为主备)
BRIDGE=br0
3）设置 ifcfg-br0 网卡文件
[root@docker011 ~]# cat /etc/sysconfig/network-scripts/ifcfg-br0
DEVICE=br0
TYPE=Bridge
ONBOOT=yes
BOOTPROTO=none
IPADDR=21.68.26.247
PREFIX=23
GATEWAY=21.68.27.254
结尾 Service network restart 重启网卡
5，安装docker
1)配置yum源
cd /etc/yum.repos.d/
vim docker.repo
[docker-epel]
name=docker-epel
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=0
2)配置http代理，如果宿主机能直接链接外网请跳过此步骤
export http_proxy=http://10.59.19.251:48080
3）yum安装docker-io
yum install docker-io
安装完成后修改docker服务的启动参数
vim /etc/sysconfig/docker
修改other_args=""为other_args="-b br0 --insecure-registry=rocshen.io"
-b=br0 #容器启动时的网络地址池
--insecure-registry=rocshen.io #支持使用HTTP协议从仓储rocshen.io下载镜像
Stg1 :OPTIONS='--insecure-registry=1qianbao.com -b=br0 --storage-driver=devicemapper --storage-opt dm.basesize=80G --selinux-enabled=false -H unix:///var/run/docker.sock -H tcp://0.0.0.0:9999'
/etc/sysconfig/docker-storage-setup
CONTAINER_THINPOOL=docker-pool
目前我的docker环境：OPTIONS='--selinux-enabled=false --storage-driver=devicemapper --storage-opt dm.basesize=100G --insecure-registry=mrroy.io -b br0'
Rm -rf /var/lib/docker/*
cd /var/lib/docker -----清除全部内容
mkdir -p /var/lib/docker/devicemapper/devicemapper/ ---创建两个devicemappe目录
然后再进入devicemappe目录下创建：
dd if=/dev/zero of=data bs=1G count=0 seek=1500
dd if=/dev/zero of=metadata bs=1G count=0 seek=2
启动docker服务
systemctl start docker.service
查看docker版本
[root@docker3 ~]# docker -v
Docker version 1.13.1, build 774336d/1.13.1
6，拉取docker镜像
添加hosts主机名信息
添加 10.59.41.251 rocshen.io 至/etc/hosts
拉取镜像
docker pull rocshen.io/centos6_base
l
至此，docker服务器搭建完
7：私有仓储搭建：
#[root@docker5 ~]# yum install docker-registry
#[root@docker5 ~]# vim /etc/sysconfig/docker-registry
# Port to bind the registry to
REGISTRY_PORT=80 --->修改端口号未本机80，支持http
#[root@docker5 ~]# service docker-registry start
下载or 创建基础镜像
1）将基础镜像打 tag 并传到本地image
docker tag roy-web roy.com/jboss-test
2)通过dockerfile文件定制镜像文件（命令后.表示当前目录加载dockerfile文件）
docker build -t roy.com/jboss-test .
# docker histry --no-trunc
3)将定制好的镜像push到目前docker私有仓库中。
docker push roy.com/jboss-test
#到此可以通过docker客户端通过以上私有仓库进行pull镜像文件，（需要修改docker客户端/etc/sysconfig/docker OPTIONS='--insecure-registry= roy.com）
4.docker run -id --name cip-web --privileged roy.com/jboss-test /init.sh -h cip-web
启动刚build的镜像系统，并-id在后台运行，--name 启动时添加的别名。
5.docker exec -it cip-web /bin/bash 进入到cip-web系统
6docker stop cip-web 停止刚启动的系统，可以使用docker ps查看哪些系统在启动
7.docker rmi b989f592aed2 删除镜像文件
脚本方法：
1.bash dockerbuild.sh -v 1224 -h cip-web --build --push 使用dockerbuild.sh脚本构建cip-web子系统镜像文件
2.rundocker -v 0121 -h abp-web -v 指定本次需要启动的版本，-h 系统名称
docker导出镜像
docker save -o 文件名 镜像名
docker导入镜像
docker load < 文件名
docker images 查看当前机器所有镜像
docker inspect 容器名字 获取容器/镜像的元数据。
docker stop 容器名字
docker rm 容器名字
docker stats $(docker ps --format={{.Names}}) --no-stream
docker exec -i 容器ID bash ps -a
docker tag 66ee80d59a68 1qianbao.com/centos7
docker磁盘动态扩容
重启docker后会无法启动容器
需要先启动docker start centos7 忽略报错
在运行一遍扩容脚本disk.sh centos 250（大于等于之前的容量）
在启动dcoker start centos7 就好了
#!/bin/bash
#This script is dynamic modify docker container disk
if [ -z $1 ] || [ -z $2 ]; then
echo "Usage: container_name increase_capacity"
echo "Example: I want increase 11G to test"
echo "The command is: sh `basename $0` test 11"
exit 1
fi
if [ `docker inspect $1 &>>/dev/null && echo 0 || echo 1` -eq 1 ];then
echo "The container $1 is no exist!"
exit 1
fi
#container_id=`docker inspect -f '{{ .Id }}' $1`
container_id=`docker inspect $1 | grep DeviceName | awk -F '"' '{print $4}'`
now_disk=`dmsetup table /dev/mapper/$container_id|awk '{print $2}'`
disk=$(($2*1024*1024*1024/512))
if [ $disk -lt $now_disk ];then
echo "I can't shink container $1 from $(($now_disk*512/1024/1024/1024))G to ${2}G!I only modify contanier increase disk!"
exit 1
fi
dmsetup table /dev/mapper/$container_id|sed "s/0 [0-9]* thin/0 $disk thin/"|dmsetup load /dev/mapper/$container_id
dmsetup resume /dev/mapper/$container_id
xfs_growfs /dev/mapper/$container_id
if [ $? -eq 0 ];then
echo "dynamic container $1 disk to ${2}G is success!"
else
echo "dynamic container $1 disk to ${2}G is fail!"
fi