grokmirror的搭建和配置

即使是Git这样的分布式版本控制工具,在日常的使用中,也通常会有一个集中的server供所有人访问,在公司开发环境中尤其是这样。既然每个Git用户都在本地有一个完整的版本库,是否还有必要做server端的数据备份呢?当然需要。虽然每个git client都有版本拷贝,但并不是每个拷贝都及时更新了;有些比较旧或者使用比较少的版本库已经没有用户备份了;当server出问题时,需要有另一台机器可以马上担当临时server的角色,并且可以为server的恢复提供可靠的数据。


笔者所在的项目组有的使用gitolite,有的使用gerrit,最好针对两个工具有统一的备份方案。最简单的方案是在mirror机器上用命令git clone --mirror url:repo生成版本库的镜像,然后设定一个cron job定时对每个mirror库运行git remote update做更新。这个方案有两个缺点,首先不能对新生成的repo自动做镜像,必须手工在Mirror server上运行mirror clone的命令,而且,当版本库的数量增加时,频繁的连接server做update,对server的性能有很大影响。

gitolite有一套master-slave的mirror机制,master每收到一个提交,就会对每个slave做git push --mirror操作。这个方案也有弱点。如果slave重启或者暂时down机,它就会错过这个期间master推送过来的更新。管理员必须对mirror server上每个repository手工运行"git remote update"。而且,必须在gitolite的配置文件中严格定义master/slave,不能随时指定任一台机器进行mirror备份。如果要指定两台server分别保存几个git版本库,并且两台机器互做备份,而不是传统意义上的一台是主server另一台只做mirrror备份,配置起来就更加麻烦。


grokmirror是镜像(mirror)kernel.org上repositories的工具,(grok is a mirror of korg),它允许世界上任何人的任何机器对kernel.org做镜像,而且更新方式也非常有效:通过一个静态文件Manifest.js.gz,server上有任何更新,都会将更新的时间戳写入这个manifest文件。mirror server持续不断的获取server的这个清单文件,并与本地的镜像做对比,如果发现更新,就对相应的git镜像库做git remote update。


安装grokmirror

1.获取grokmirror源码https://git.kernel.org/cgit/utils/grokmirror/grokmirror.git/或者https://github.com/mricon/grokmirror。

2.先安装gitpython在https://pypi.python.org/pypi/GitPython。下载tar包,解压缩,运行sudo python setup.py install

3.安装anyjson模块 https://pypi.python.org/pypi/anyjson

4. cd grokmirror, sudo python setup.py install。从安装结果可以看到,相关脚本被安装到了/usr/local/bin或者/usr/bin

5. 运行下面的命令行生成manifest.js.gz文件

/usr/local/bin/grok-manifest -m path-to-manifest.js.gz -t /home/git/repositories
其中,-m参数表示manifest文件的生成路径,-t用来trim根目录。比如,git用户的clone地址是ssh://git@git-server:my.git,而my.git的实际硬盘路径为/home/git/repositories/my.git,那么-t参数的值就应该是 /home/git/repositories

6. 然后为每个需要做mirror的版本库创建post-receive文件,放在*.git/hooks目录下,里面需要调用下面的命令:

/usr/local/bin/grok-manifest -m path-to-manifest.js.gz -t /home/git/repositories -n `pwd`
The  -n  flag tells grokmirror to use the current timestamp instead of the exact timestamp of the commit (much faster this way).这样,该版本库每收到一个推送,就会改写manifest文件。
注: 对于已经存在的repo,只好一个一个添加hook,不过可以让gitolite自动为以后新创建的repo增加hook,方法是查看.gitolite.rc文件,看hook存放在哪里($GL_PACKAGE_HOOKS),在此位置的hooks\common子目录里,添加空文件gitolite-hooked,并添加post-receive文件包含上面的命令。
7. 在mirror server上安装grokmirror,重复以上步骤1-4

8. 因为grokmirror是通过Last-Modified and If-Modified-Since http headers来决定是否在本地做update,所以需要通过http将文件manifest.js.gz发布出来,这需要在apache2上创建一个虚拟目录,方法如下:手工创建文件/etc/apache2/conf.d/manifest,内容为:

Alias /manifest /home/git/manifest

<Directory /home/git/manifest>

Options Indexes FollowSymLinks

AllowOverride None

Order allow,deny

Allow from all

</Directory>

这样,通过http://server/manifest/manifest.js.gz就可以访问manifest文件了。

9. 在mirror server上修改grokmirror/repos.conf文件。这个文件里缺省内容是对kernel.org的设置,因为grokmirror最初是用来Mirror kernel.org的,将[kernel.org]换成[your-server-name],并按需设置其他字段。

10. 添加crob job做mirror, 命令为: 

/usr/local/bin/grok-pull -c /etc/grokmirror/repos.conf

11. grokmirror也同样可以应用于gerrit系统:在gerrit根目录下添加子目录hooks,并在其中添加文件ref-updated,其内容详见https://github.com/mricon/grokmirror/blob/master/contrib/ref-updated。之后需要对其中的内容进行更改,主要是四行:

GERRIT_HOME=/home/gerrit/gerrit

GERRIT_GIT=/home/gerrit/gerrit/git

GROK_MANIFEST_BIN=/usr/local/bin/grok-manifest

GROK_MANIFEST=/home/gerrit/manifest/manifest.js.gz

另:必须注意re-updated文件的属性,必须含有可执行属性x



你可能感兴趣的:(grokmirror的搭建和配置)