集群中运行Tachyon(译)

集群中运行Tachyon

单机集群

首先下载 Tachyon tar 文件,并且解压:

$ wget https://github.com/amplab/tachyon/releases/download/v0.7.1/tachyon-0.7.1-bin.tar.gz
$ tar xvfz tachyon-0.7.1-bin.tar.gz

在 tachyon/conf 目录中, 复制tachyon-env.sh.template 为 tachyon-env.sh. 确保JAVA_HOME 指向有效的 Java 6/7 安装。给tachyon/conf/workers 文件中增加所有 worker 节点的IP地址。最后,同步所有的配置信息给worker节点(译者注:这里的意思就是配置所有的Worker,并将配置好的所有文件进行同步,不过,还需要配置好ssh环境,否则后面无法正常启动)

现在,你可以启动Tachyon:

$ cd tachyon
$ ./bin/tachyon format
$ ./bin/tachyon-start.sh # use the right parameters here. e.g. all Mount

为了验证Tachyon是正常运行的,你可以访问: http://tachyon.master.hostname:19999,在tachyon/logs 目录中检查日志,或者运行一个示例程序:

$ ./bin/tachyon runTests

注意:如果你使用 EC2,确保在master节点设置安全组运行链接Tachyon web UI 端口。 If you are using EC2。

在 bin/tachyon脚本中使用bootstrap-conf 参数

tachyon 脚本还包含逻辑来创建一个基本配置的集群,如果你运行:

$ cd tachyon
$ ./bin/tachyon bootstrap-conf <tachyon_master_hostname>

这不存在 tachyon/conf/tachyon-env.sh 文件,接着,该脚本将创建一个适当的设置与 master 节点集群运行在< tachyon_master_hostname >。

这个脚本需要运行在每个节点上运行你希望的配置信息。

该脚本将配置你的worker在每个worker使用总内存的2/3。通过在worker 节点创建编辑 tachyon/conf/tachyon-env.sh 文件可以改变这个数量。

EC2 集群 和 Spark

如果你使用Spark 运行在 EC2集群,Tachyon将通过默认安装和配置。


你可能感兴趣的:(Tachyon)