Facebook scribe部署实践

基于scribe来收集众多服务器的日志已经在许多公司应用,但是部署scribe确是一个令人纠结的过程,本人也做过一些相关工作,现在将scribe部署方式同大家分享一下:


环境:centos 5.4 或者 suse

准备阶段:

1. apache ant,这个主要是用到java的库的时候需要安装,因为编译java的访问接口的时候需要用到ant,如果用不到java,那么可以不装,在编译thrift的时候将java去掉

2. python,推荐装2.7,scribe自己带的几个脚本都是用python写的,装python特别推荐安装

3. php,这个也是可选的,如果要在php中用scribe的话,推荐php5.3.8

4. boost,1.44,版本问题很重要,好像新版本的boost的文件系统库的版本有变化,scribe不兼容,这点要特别注意

5. autoconf automake bison flex中,前两个有版本要求,用最新的吧!

6. libtool,我装的是2.4.2

7. libevent,我装的是1.4.14b稳定版

8. 一些系统还可能 要装libxml2,libxml2-devel,这点查一下就好了

9. thrift 我用的还是0.5

10. sciribe用的是git上的master


部署的方式是这样的:我们所有的服务器环境都是一样的,比如都是centos5.4,那么我们将上面所有的库和工具和scribe的配置文件都装在一个目录下,然后我们写一个管理脚本,这个脚本执行之前会临时加载环境变量,以适应scribe的运行。最终我们会将这个目录打包,直接拷贝到其它服务器上的固定目录,这样部署速度飞快。。。



export LD_LIBRARY_PATH=/usr/local/services/biutility/lib
export PATH=/usr/local/services/biutility/bin:$PATH

export LANG=en_US.UTF-8 # 这个在suse上设置,否则会启动出错

你可能感兴趣的:(facebook,centos,python,suse,java,服务器,Scribe,统计)