淘宝TFS（三）

 安装淘宝TFS记录

1.需要确保安装了automake autoconfig 和 libtool,使用auotmake --version查看，一般情况下已安装

（ 1.4以上版本需要安装libuuid-devel，zlib-devel，mysql-devel三个开发包）

yum –y install automake autoconfig libtool zlib-devel mysql-devel uuid*

其中(autoconfig需在网站http://www.gnu.org/software/autoconf/下载)http://ftp.gnu.org/gnu/autoconf/autoconf-latest.tar.gz

 

2.TFS依赖于底层开发包tbnet，需要下载tbsys和tbnet源代码(svn checkout http://code.taobao.org/svn/tb-common-utils/trunk/ tb-common-utils)

yum -y install libtool mysql-devel readline readline-devel zlib*

 

[root@localhost home]# cd tb-common-utils

[root@localhost tb-common-utils]# vi /etc/profile

# /etc/profile

export TBLIB_ROOT="/usr/local/tb/lib"    //定于tbsys和tbnet的安装目录

 

（ps:建议将这行命令直接写入~/.bash_profile，然后执行“. ~/.bash_profile”）。 进入tb-common-utils文件夹, 执行build.sh进行安装.

 

[root@localhost tb-common-utils]# chmod a+x build.sh

[root@localhost tb-common-utils]# ./build.sh

安装在 /usr/local/tfs_lib 目录下了

 

 

3.获得tfs源代码:( svn checkout http://code.taobao.org/svn/tfs/trunk/ tfs)

 

4.安装gtest库:  http://code.google.com/p/googletest/downloads/list

 

a、下载，解压，进入该目录，按REAME说明 

 

b、g++ -I./include -I./ -c ./src/gtest-all.cc （注意，-I后没有空格，直接加./）

 

c、ar -rv libgtest.a gtest-all.o

 

这步之后会生成两个文件，libgtest.a和gtest-all.o作用不是很清楚，总之是库。。。

 

d、g++ -I./include mytest.cpp libgtest.a -o mytest -lpthread （注意mytest为自己写的简单测试代码，编译时注意加-lpthread,不然编译会报错：undefined reference to ...）

 

 

如果搭建单台ds，请在ns.conf中将

#Block 最大备份数, default: 2

max_replication = 2

#Block 最小备份数, default: 2

min_replication = 2 改为1，否则集群将无法正常运行。

ds.conf中关于Nameserver的三个配置项必须和ns.conf中的一致，

[dataserver]

#!NameServer vip地址

ip_addr = 192.168.0.1

#!nameserver IP地址列表(master, salve的ip地址，只能以'|'分隔)

ip_addr_list = 192.168.0.1|192.168.0.2

#!NameServer 监听的端口, 1024 ~ 55535

port = 9999 否则ds将无法和ns通信。

ns.conf中block_max_size一般设为和mainblock_size相同或略大于mainblock_size，这样可以尽量少使用扩展块。

 

 

 

 

 

gcc编译tfs c++客户端

1.指定相关路径(详见tfs_demo.cpp 跟官方网例子一样)

gcc tfs_demo.cpp -o tfs_demo.o -I/usr/local/tfs-2.0.3/include -I/usr/local/tb/lib/include/tbsys -I/usr/local/tb/lib/include/tbnet/ -L/usr/lib -L/usr/bin -L/usr/local/tb/lib  -L/usr/local/tb/lib/lib -ltfsclient  -ltbsys  -ltbnet -lz

 

gcc tfs_data_fetcher.cpp -o tfs_data_fetcher.o -I/usr/local/tfs-2.0.3/include -I/usr/local/tb/lib/include/tbsys -I/usr/local/tb/lib/include/tbnet/

 

tfs C++编译通过：

gcc -c tfs_data_fetcher.cpp -o tfs_data_fetcher.o -I/usr/local/tfs-2.0.3/include -I/usr/local/tb/lib/include/tbnet/ -I/usr/local/tb/lib/include/tbsys

 

2.在/etc/ld.so.conf.d/

/usr/local/tfs-2.0.3/lib

/usr/local/tb/lib/lib

 

#tfs_data_fetcher.cpp

 

#include <stdio.h>
#include <string>
#include <func.h>
#include <tfs_client_api.h>
#include "image_data_block.h"
#include "tfs_data_fetcher.h"

using namespace std;
using namespace tfs::client;
using namespace tfs::common;

const char* nsip = "10.168.100.240:8108";

TfsDataFetcher::TfsDataFetcher()
{}

TfsDataFetcher::~TfsDataFetcher()
{}

static TfsClient* tfsclient = TfsClient::Instance();

image_data_t TfsDataFetcher::fetch_image_data(const char* tfs_file_name) {
  image_data_t rtn;
  int ret = 0;
  int fd = -1;

  tfsclient->initialize(nsip);
  // 打开待读写的文件
  fd = tfsclient->open(tfs_file_name, NULL, T_READ);
  if (ret != TFS_SUCCESS)
  {
    printf("open remote file %s error", tfs_file_name);
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  // 获得文件属性
  TfsFileStat fstat;
  ret = tfsclient->fstat(fd, &fstat);
  if (ret != TFS_SUCCESS || fstat.size_ <= 0)
  {
    printf("get remote file info error");
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  char* buffer = new char[fstat.size_];
  int read = 0;
  uint32_t crc = 0;

  // 读取文件
  while (read < fstat.size_)
  {
    ret = tfsclient->read(fd, buffer + read, fstat.size_ - read);
    if (ret < 0)
    {
      break;
    }
    else
    {
      crc = Func::crc(crc, buffer + read, ret); // 对读取的文件计算crc值
      read += ret;
    }
  }

  if (ret < 0 || crc != fstat.crc_)
  {
    printf("read remote file error!\n");
    delete []buffer;
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  ret = tfsclient->close(fd);
  if (ret < 0)
  {
    printf("close remote file error!");
    delete []buffer;
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  rtn.data = (u_char *)buffer;
  rtn.len = (int)fstat.size_;
  //delete []buffer;
  return rtn;
}

extern "C"
image_data_t invoke_tfsFetcher_fetchImageData(empty_struct * p, const char * tfs_file_name)
{
    TfsDataFetcher * fetcher = (TfsDataFetcher *)p;
    return fetcher->fetch_image_data(tfs_file_name);
}