tachyon

Tachyon：Spark生态系统中的分布式内存文件系统

Tachyon是Spark生态系统内快速崛起的一个新项目。本质上，Tachyon是个分布式的内存文件系统，它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。
cloud-coder·2015-07-07 09:00

成功format tachyon，底层是hdfs

一定要自己编译mvncleanpackage-DskipTests-Dhadoop.version=2.5.0这个version是>hadoopversion里看到的hdfs里加上http://tachyon-project.org
guotong1988·2015-06-25 16:00

Tachyon 读写类型设置

读类型：CACHE–读取数据并缓存在本地内存NO_CACHE–读取数据但不缓存在本地内存写类型：MUST_CACHE–只写本地内存，空间不足时报ERRORTRY_CACHE–只写本地内存，空间不足时报WARNINGTHROUGH–只写UFSCACHE_THROUGH–同时写本地内存和UFS（TRY_CACHE+THROUGH）ASYNC_THROUGH–先写本地内存，异步备份到UFS使用方法见上文
guotong1988·2015-06-23 14:00

tachyon 实例

packagetest; importjava.io.IOException; importtachyon.TachyonURI; importtachyon.client.FileOutStream
guotong1988·2015-06-23 10:00

Spark（十二） -- Spark On Yarn & Spark as a Service & Spark On Tachyon

SparkOnYarn：从0.6.0版本其，就可以在在Yarn上运行Spark通过Yarn进行统一的资源管理和调度进而可以实现不止Spark，多种处理框架并存工作的场景部署SparkOnYarn的方式其实和Standalone是差不多的，区别就是需要在spark-env.sh中添加一些yarn的环境配置，在提交作业的时候会根据这些配置加载yarn的信息，然后将作业提交到yarn上进行管理首先请确保
qq1010885678·2015-05-29 22:00

tachyon build出错

mvn-Dhadoop.version=2.3.0cleaninstall一般是maven下载失败，断了再敲一遍继续下载相应的库
guotong1988·2015-05-25 15:00

Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解

前言本文在安装前已经配置好了spark1.3和hadoop2.6，因项目需求需要搭建tachyon，但是搭建过程中遇到了很多很多很多的问题，写下本文用来记录这一路上所踩过的坑吐槽一句:tachyon的官方文档不是很完善啊
wzq294328238·2015-05-20 11:00

Running Hadoop MapReduce on Tachyon

ThisguidedescribeshowtogetTachyonrunningwithHadoopMapReduce,sothatyoucaneasilyuseyourMapReduceprogramswithfilesstoredonTachyon.PrerequisitesTheprerequisiteforthispartisthatyouhave
Rayn-瑞恩·2015-04-08 17:00

分布式内存文件系统：Tachyon

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
yangshangchuan·2015-04-06 02:00

分布式内存文件系统：Tachyon

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
yangshangchuan·2015-04-06 02:00

分布式内存文件系统：Tachyon

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
yangshangchuan·2015-04-06 02:00

分布式内存文件系统：Tachyon

阅读更多Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
yangshangchuan·2015-04-06 02:00

分布式内存文件系统：Tachyon

阅读更多Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
yangshangchuan·2015-04-06 02:00

分布式内存文件系统：Tachyon

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
yangshangchuan·2015-04-06 02:00

Tachyon源码结构分析（四）

发布人：南京大学PASA大数据实验室前言在上一篇《Tachyon源码结构分析（三）》中，我们分析了Master模块的源码结构，本篇接着介绍Worker模块的源码结构分析。
u014252240·2015-03-31 12:00

Tachyon：一个高性能、高容错、基于内存的开源分布式存储系统

从Tachyon的官网得知，Tachyon是一个高性能、高容错、基于内存的开源分布式存储系统，并具有类Java的文件API、插件式的底层文件系统、兼容HadoopMapReduce和ApacheSpark
李小兵·2015-03-26 00:00

Tachyon：一个高性能、高容错、基于内存的开源分布式存储系统

从Tachyon的官网得知，Tachyon是一个高性能、高容错、基于内存的开源分布式存储系统，并具有类Java的文件API、插件式的底层文件系统、兼容HadoopMapReduce和ApacheSpark
李小兵·2015-03-26 00:00

Tachyon源码结构分析（三）

发布人：南京大学PASA大数据实验室前言在上一篇《Tachyon源码结构分析（二）》中，我们具体分析了Common模块和Client模块的源码结构，本篇接着上一篇内容介绍Master模块的源码结构分析。
u014252240·2015-03-24 00:00

Tachyon简介及目前可用性分析

简介翻译tachyonwiki上的介绍“Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和MapReduce那样。
kobe_gino·2015-03-21 15:00

Tachyon简介及目前可用性分析

简介翻译tachyonwiki上的介绍“Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和MapReduce那样。
chaun·2015-03-21 15:00

Tachyon源码结构分析（二）

发布人：南京大学PASA大数据实验室顾荣前言在上一篇《Tachyon源码结构分析（一）》中，我们介绍了Tachyon的四大模块（Client模块、Master模块、Worker模块以及Common模块）
u014252240·2015-03-16 21:00

Tachyon设计思想

Tachyon的设计思想主要有两个，第一个是基于内存的OffHeap的分布式存储，就是一定要把数据存储在JVM堆空间之外，这样的话能够避免GC。
guotong1988·2015-03-11 14:00

Tachyon源码结构分析（一）

发布人：南京大学PASA大数据实验室舒鹏前言在上一篇博客中，我们介绍了Tachyon的安装、配置和使用，用户已经对Tachyon有了初步的了解。
u014252240·2015-03-09 21:00

Hadoop 之 技术未来

当然也有一些分布式文件存储技术值得关注，如GlusterFS,Tachyon等等。但对HDFS尚不构成实质性的威胁。相比文件存储的一家独大，结构化数据的存储，目前呈现出的是百花
彤庆·2015-02-26 22:05

Tachyon的安装、配置和使用

0.前言在上一篇博文《Tachyon简介》中，我们简要地介绍了Tachyon，一个以内存为中心的分布式文件系统，及其一些基本工作原理。
tjbklx33·2015-02-12 10:53

Tachyon的安装、配置和使用

0.前言在上一篇博文《Tachyon简介》中，我们简要地介绍了Tachyon，一个以内存为中心的分布式文件系统，及其一些基本工作原理。
tjbklx33·2015-02-12 10:53

Tachyon简介

1.Tachyon是什么Tachyon（/'tki:n/意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务
tjbklx33·2015-02-12 10:17

Tachyon简介

1.Tachyon是什么Tachyon（/'tki:n/意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务
tjbklx33·2015-02-12 10:17

分布式内存文件系统：Tachyon

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
杨尚川·2015-02-11 22:00

分布式内存文件系统：Tachyon

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。
·2015-02-11 14:00

Tachyon的安装、配置和使用

发布人：南京大学PASA大数据实验室董乾豪0.前言在上一篇博文《Tachyon简介》中，我们简要地介绍了Tachyon，一个以内存为中心的分布式文件系统，及其一些基本工作原理。
u014252240·2014-12-29 14:00

Hadoop系列之三：技术未来

当然也有一些分布式文件存储技术值得关注，如GlusterFS, Tachyon等等。但对HDFS尚不构成实质性的威胁。相比文件存储的一家独大，结构化数据的存储，目前呈现出的是
tongqingqiu·2014-12-25 03:00

[置顶] Tachyon简介

发布人：南京大学PASA大数据实验室顾荣1.Tachyon是什么Tachyon（/'tæki:ˌɒn/意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、
u014252240·2014-12-08 22:00

分布式内存文件系统Tachyon

UCBerkeley研发的Tachyon(超光子['tækiːˌɒn]，名字要不要这么太嚣张啊：)是一款为各种集群并发计算框架提供内存数据管理的平台，也可以说是一种内存式的文件系统吧。
dc_726·2014-11-27 20:00

Spark学习笔记-Tachyon运行Spark

Tachyon版本：tachyon-0.5.0-bin.tar.gzSpark版本：spark-1.1.0-bin-hadoop2.4.tgzTachyon的安装部署可以参考：Tachyon学习笔记-安装部署与运行实例修改
wulinshishen·2014-11-22 00:00

Tachyon学习笔记-安装部署与运行实例

Tachyon版本：tachyon-0.5.0-bin.tar.gz[hadoop@centossoftware]$tar-xzvf tachyon-0.5.0-bin.tar.gz修改/etc/profile
wulinshishen·2014-11-21 00:00

在Tachyon上面运行Spark

兼容性默认的,Spark1.0.x版本绑定的是Tachyon0.4.1版本.如果你的Tachyon版本不同,那需要在这个文件: spark/core/pom.xml 中指定Tachyon的版本,然后重新编译正确的版本的
颠覆luck·2014-10-19 01:44

在Tachyon上面运行Spark

兼容性默认的,Spark1.0.x版本绑定的是Tachyon0.4.1版本.如果你的Tachyon版本不同,那需要在这个文件:spark/core/pom.xml中指定Tachyon的版本,然后重新编译正确的版本的
颠覆luck·2014-10-19 01:44

Pivotal和EMC谈下一代数据湖技术：Tachyon + Spark将极为重要

在纽约举办的2014年Strata+HadoopWorld大会开幕的前一天，Pivotal在官方博客上发布了一篇名为《数据湖（DataLake）的未来架构：基于Tachyon和ApacheSpark的In-memory
杨赛·2014-10-18 00:00

Pivotal和EMC谈下一代数据湖技术：Tachyon + Spark将极为重要

在纽约举办的2014年Strata+HadoopWorld大会开幕的前一天，Pivotal在官方博客上发布了一篇名为《数据湖（DataLake）的未来架构：基于Tachyon和ApacheSpark的In-memory
杨赛·2014-10-17 00:00

Tachyon基本使用10-----Running Shark on Tachyon

一、安装Hive1.下载并解压Hive[root@node1 soft]# tar -zxf apache-hive-0.13.1-bin.tar.gz -C /usr/local/[root@node1 soft]# ln -s /usr/local/apache-hive-0.13.1-bin/ /usr/local/hive[root@node1 soft]#2.配置hive环境变量[roo
hfhywj·2014-10-15 11:07

Tachyon基本使用10-----Running Shark on Tachyon

一、安装Hive1.下载并解压Hive[root@node1 soft]# tar -zxf apache-hive-0.13.1-bin.tar.gz -C /usr/local/ [root@node1 soft]# ln -s /usr/local/apache-hive-0.13.1-bin/ /usr/local/hive [root@node1 soft]#2.配置hive环境变量[r
hfhywj·2014-10-15 11:07

Tachyon基本使用09-----Running Spark on Tachyon

一、配置scala环境1.实验环境Node1      192.168.1.1     master Node2      192.168.1.2     worker Node3      192.168.1.3     worker2.检查java环境（每个节点）# java -version  java version "1.7.0_05" Java(TM) SE Runtime Envir
hfhywj·2014-10-15 10:04

Tachyon基本使用08-----Running Hadoop MapReduce on Tachyon

一、修改Hadoop配置文件1.修改core-site.xml文件添加如下属性，让MapReduce作业可以使用Tachyon文件系统作为输入和输出  fs.tachyon.impl  tachyon.hadoop.TFS
hfhywj·2014-10-15 10:10

Tachyon基本使用07-----Tachyon集群容错2

四、配置Master容错1.修改Tachyon配置[root@node1 conf]# pwd /usr/local/tachyon/conf [root@node1 conf]# tailtachyon-env.sh
hfhywj·2014-10-15 10:00

Tachyon基本使用07-----Tachyon集群容错1

一、安装zookeeper集群1.下载并解压zookeeper[root@node1 soft]# tar -zxf zookeeper-3.4.5.tar.gz -C /usr/local/ [root@node1 soft]# ln -s /usr/local/zookeeper-3.4.5/ /usr/local/zookeeper [root@node1 soft]#2.创建zookeep
hfhywj·2014-10-15 10:21

Tachyon基本使用06-----Tachyon 命令行接口

一、tachyon命令介绍# tachyon Usage: tachyon COMMAND  where COMMAND is one of:   format [-s]         格式化Format
hfhywj·2014-10-15 09:24

Tachyon基本使用05-----Tachyon集群模式安装

环境配置1.集群环境主机名                     IP                      角色 Node1              192.168.1.1          TachyonMaster
hfhywj·2014-10-14 17:58

Tachyon基本使用04-----Tachyon配置项

一、Tachyon配置说明Tachyon配置参数分为4类：Master,Worker,Common(MasterandWorker),andUserconfigurations。
hfhywj·2014-10-14 17:27

Tachyon基本使用02-----Tachyon本地模式安装

一、配置系统环境1.清除默认防火墙规则# service iptables save iptables：将防火墙规则保存到 /etc/sysconfig/iptables：     [确定]2.关闭Selinux# cat /etc/sysconfig/selinux |grep SELINUX|grep -v ^# SELINUX=disabled  SELINUXTYPE=targeted 
hfhywj·2014-10-14 16:27
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他