gitlab + drbd 实现高可用性服务

使用 drbd 来实现两台服务器同时写入，实现 gitlab 的自动备份(主要是备份git仓库和gitlab数据库)。当主服务器挂掉后，如果不能及时修复主机，则启用从机，把从机转为主机。当之前的主机修复好后，再切换回来，数据依然会自动同步到最新的状态。

192.168.0.123 主机gitlab1
192.168.0.124 从机gitlab2

drbd 配置要求

drbd 需要使用单独的磁盘设备来实现同步，因此两台服务器都需要单独一个的磁盘(或用分区代替)；

操作步骤

1. 由于两台电脑均 ubuntun-server 16.04 系统，所有的磁盘空间全部给了根目录，根目录无法缩减出一个新的分区，因此需要重装系统，在装系统时单独创建一个新的分区 drbd0 作为 gialab 备份用；

2. 目前 ubuntu-server 内核已集成 drbd(8.4.5) 功能，只需要安装管理工具 drbd8-utils 来操作 drbd，参考官网；

3. drbd 用到的分区有特殊保护机制，两台电脑要分别取消 drbd0 分区的挂载，否则开机时会进入急救模式，电脑无法正常开机。编辑/etc/fstab文件，注释掉 drbd0 的挂载；

4. 修改两台电脑的 host ，方便后面两台电脑互通。在两台机器的 hosts 文件里加入例如以下的内容:

   192.168.0.123 gitlab1
   192.168.0.124 gitlab2
   

5. 在主机上生成ssh-key，并使用 ssh-copy-id 复制密钥到从机上，实现两台服务器 SSH 无密码登录；

6. 两台服务器均配置 drbd (/etc/drbd.conf)，资源名取名为 r0，后面的操作都是针对 r0 的：

   global {
       usage-count yes;
   }
   common {
       protocol C;
       syncer { rate 10M; }
   }
   
   resource r0 {
       net {
           cram-hmac-alg sha1;
           shared-secret "abc123456";
       }
       on gitlab1 {
           device    /dev/drbd0;
           disk      /dev/sda9;
           address   192.168.0.123:7898;
           meta-disk internal;
       }
       on gitlab2{
           device    /dev/drbd0;
           disk      /dev/sda9;
           address   192.168.0.124:7898;
           meta-disk internal;
       }
   }
   
   

7. 分别启动 drbd。(/etc/init.d/drbd start)；

8. 设置 gitlab1 为主，gitlab2 为从。只有主机才能挂载 drbd0 分区，这里我们挂载到/var/gitlab-data目录下;

9. 测试下在 gitlab1 中 /var/gialab-data 目录下写入一个文件是否会同步到 gitlab2 下，先取消主机的挂载，并设置为从，然后切换到从机，设置为主，挂载目录到/var/gitlab-data目录下，正常情况下会看到文件已同步过来，之后再把主从切回去。

10. 分别安装 bitnami-gitlab(8.7) ，安装完后先不要启动，先做下配置的修改，包括修改gitlab的仓库的存储位置、postgresql的数据存储位置、gitalb的端口号、postgresql的密码等操作。我们把数据存储都放到 /var/gitlab-data 目录下，这样主机所有的写操作都能同步到从机上。

以下是具体的操作

	gitlab 的代码仓库位置配置在如下两个文件中，修改 repos_path 为 `/var/gitlab-data/repositories`:  
	gitlab/apps/gitlab/htdocs/config/gitlab.yml  
	gitlab/apps/gitlab/gitlab-shell/config.yml
	
	postgresql的配置在如下文件中， 对应修改 data_directory 为`/var/gitlab-data/postgresql/data`,hba_file、ident_file也同步修改:
	gitlab/postgresql/data/postgresql.conf  
	另外还需要做以下修改：  
	gitlab/postgresql/data/postgresql.conf 修改 ipaddress 为星号，允许监听所有地址  
	gitlab/postgresql/data/pg_hba.conf 修改是否允许外部访问数据库，用来外部修改数据库密码  
	gitlab/apps/gitlab/htdocs/config/database.yml 修改密码为abc123456(切记在登录数据库修改完密码后才能修改这里的配置为新密码)  

主从切换

gitbal1:$ unmout /var/gitlab-data
gitbal1:$ drbdadm secondary r0

gitbal2:$ drbdadm primary r0
gitbal2:$ mount /dev/drbd0 /var/gitlab-data

如果要修改 gitlab 服务器的 ip ，需要修改 dbrd 配置和 gitlab 配置，然后重启网络服务、 drbd 和 gitlab。

dbrd 修改 ip 的位置：
/etc/drbd.conf

gitlab 修改 ip 的位置：
apps/gitlab/gitlab-shell/config.yml
apps/gitlab/htdocs/config/gitlab.yml 

drbd 其他命令

1. 重启服务：/etc/init.d/drbd restart
2. 查看运行详细信息: cat /proc/drbd
3. 查看主从更新状态: drbdadm dstate r0

gitlab 的备份恢复操作参考 gitlab_backup_restore 文档

参考资料

1. gitlab 官方高可用介绍文档：https://about.gitlab.com/solutions/high-availability/
2. drbd 参考文档：https://gitlab.com/chenzhiwei/linux/tree/master/drbd