Tachyon

去哪儿网大数据流处理系统：如何使用Alluxio（前 Tachyon）实现10倍性能提升

Alluxio（前Tachyon）作为一个以内存为中心的虚拟分布式存储系统，在大数据系统性能提升以及生态系统多组件整合的进程中扮演着重要角色。
ccjhdopc·2016-05-31 09:43

去哪儿网大数据流处理系统：如何使用Alluxio（前 Tachyon）实现300倍性能提升

Alluxio（前Tachyon）作为一个以内存为中心的虚拟分布式存储系统，在大数据系统性能提升以及生态系统多组件整合的进程中扮演着重要角色。
唐门教主·2016-05-30 17:13

在Tachyon运行Spark应用程序

我们在《Tachyon0.7.0伪分布式集群安装与测试》文章中介绍了如何搭建伪分布式Tachyon集群。
Wei-L·2016-05-23 09:27

Spark Sort-based Shuffle

一般包含两阶段任务：第一部分，产生shuffle数据的阶段（map阶段，额外补充，需要实现ShuffleManager中getWriter来写数据，数据可以利用BlockManager写到memory，disk，tachyon
sundujing·2016-05-15 15:00

Spark的RDD简单操作

{SparkConf,SparkContext} /** *hadoop *spark *tachyon *hadoop *hbase *spark */ /** *CreatedbyAdministratoron2016
baolibin528·2016-05-14 13:00

Alluxio1.0.1最新版(Tachyon为其前身)介绍,+HDFS分布式环境搭建

Alluxio（之前名为Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。
浙江小麦·2016-05-11 22:00

第2课:通过案例对 spark streaming 透彻理解三板斧之二：spark streaming运行机制

SparkStreaming架构2.SparkStreaming运行机制Spark大数据分析框架的核心部件：sparkCore、sparkStreaming流计算、GraphX图计算、MLlib机器学习、SparkSQL、Tachyon
kaden·2016-05-09 20:12

Spark生态之Tachyon学习7---Tachyon的优点

1.Spark的不同Job之间，两个不用的application需要从HDFS中加载两次同样的数据，而使用tachyon就不用了：   当两个Spark作业需要共享数据时，必须通过写磁盘操作。
bob601450868·2016-05-05 21:00

Spark生态之Tachyon学习6---集群版搭建问题之集群无法全部启动

/bin/tachyonformat ConnectingtoMcnode1ashadoop...
bob601450868·2016-05-05 20:00

Spark生态之Tachyon学习7--下载源码通过maven安装成功

更多代码请见：https://github.com/xubo245/SparkLearning1.环境hadoop2.6.0spark1.5.2java1.72.下载：https://github.com/Alluxio/alluxio/archive/v0.7.1.tar.gz3.编译：mvncleanpackage-Djava.version=1.7-Dhadoop.version=2.6.0
bob601450868·2016-05-05 19:00

Spark集群搭建与测试

1.虚拟机与LinuxSpark+Tachyon+HDFS（HDFS擅长迭代运算，Tachyon基于内存分布式系统）Spark是一个计算框架，需要相应的存储框架。
sundujing·2016-05-05 18:00

Spark生态之Tachyon学习6---集群版搭建和运行（Alluxio）

更多代码请见：https://github.com/xubo245/SparkLearning环境：hadoop-2.6.0spark-1.5.2scala-1.71解释完成tachyon的集群配置与运行前提
bob601450868·2016-05-05 17:00

Spark生态之Tachyon学习5--tachyon的几个问题（待解决）

1.tachyon是否会占用额外的空间？当tachyon将数据存储在内存中时，spark读取的时候是copy还是使用lineage？
bob601450868·2016-05-05 15:00

Linux学习7之linux下使用alias设置指令别名并使其永远生效

1.在用户目录下打开文件：xubo@xubo:~$vi.bashrc2.在文件下面位置写入：待写入指令：aliastachyon="/home/xubo/cloud/tachyon-0.7.1-bin/
KeepLearningBigData·2016-05-05 15:41

Linux学习7之linux下使用alias设置指令别名并使其永远生效

1.在用户目录下打开文件：xubo@xubo:~$vi.bashrc 2.在文件下面位置写入：待写入指令：aliastachyon="/home/xubo/cloud/tachyon-0.7.1-bin
bob601450868·2016-05-05 15:00

Spark生态之Tachyon学习4---下载源码通过maven install安装失败记录

mvncleanpackage-Djava.version=1.7-Dhadoop.version=2.6.0-Dspark.version=1.5.2-DskipTests （1）xubo@xubo:~/cloud/tachyon
bob601450868·2016-05-05 14:00

Spark生态之Tachyon学习3---机器重启后数据存储位置的变化

1.重启后数据没有在内存里了，由于安装时用的是bin，而且设置的是local，及其重启后需要重启tachyon：xubo@xubo:~/cloud/tachyon-0.7.1/bin$.
bob601450868·2016-05-05 14:00

Spark生态之Tachyon学习2---Spark从tachyon中读取文件（Alluxio）

1.启动spark-shell2.上传文件到tachyon：xubo@xubo:~/cloud/test/tachyon$../..
bob601450868·2016-05-04 22:00

Spark生态之Alluxio学习2---Spark从tachyon中读取文件

1.启动spark-shell2.上传文件到tachyon：xubo@xubo:~/cloud/test/tachyon$../..
KeepLearningBigData·2016-05-04 22:00

Spark生态之Tachyon学习1---单机版搭建和运行（Alluxio）

环境ubuntu14.04Spark-1.5.2Tachyon-0.7.11．由于最近用的Spark-1.5.2系统默认的tachyon为0.7.1，在Spark-core的pom.xml可以查看另外虽然现在
bob601450868·2016-05-04 22:00

博客模版

/github.com/xubo245/SparkLearning1解释2.代码：3.结果：参考【1】 http://alluxio.org/documentation/v0.7.1/Running-Tachyon-Locally.html
bob601450868·2016-05-03 19:00

25.Spark Sort-Based Shuffle内幕彻底解密

一般包含两个阶段任务：第一部分：产生Shuffle数据的阶段(Map阶段，额外补充，需要实现ShuffleManager中的getWriter来写数据(数据可以通过BlockManager写到Memory，Disk，Tachyon
zhou_yuefei·2016-04-26 20:00

分布式配置 tachyon 并运行Hadoop例子 MapReduce

----------此文章，笔者按着tachyon官网教程进行安装并记录。
u012587561·2016-04-01 23:00

Tachyon安装：本地安装

----------此文章，笔者按着tachyon官网教程进行安装并记录。
u012587561·2016-04-01 22:00

Hadoop的FileStatus简单使用

@hadoop1:/home/blb/blb$hdfsdfs-text/user/blb/libin/input/inputpath1.txt hadoopa sparka hivea hbasea tachyona
baolibin528·2016-04-01 10:00

hadoop的FileSplit简单使用

hadoop:/home/hadoop/blb$hdfsdfs-text/user/hadoop/libin/input/inputpath1.txt hadoopa sparka hivea hbasea tachyona
baolibin528·2016-03-30 09:00

hadoop的Context简单使用

hadoop:/home/hadoop/blb$hdfsdfs-text/user/hadoop/libin/input/inputpath1.txt hadoopa sparka hivea hbasea tachyona
baolibin528·2016-03-29 18:00

New Technique: Tachyon (used memory instead of disk for HDFS)

2814947-welcome-to-berkeley-where-hadoop-isnt-nearly-fast-enoughCopiedfrom http://www.oschina.net/p/tachyonAlluxio
Firehotest·2016-03-24 22:00

alluxio介绍与作用

  一、介绍Alluxio   Tachyon正式改名为alluxio，并发布v1.0.0版本，alluxio是内存高速虚拟分布式存储系统。  
Lokihjl·2016-03-23 14:29

alluxio介绍与作用

一、介绍AlluxioTachyon正式改名为alluxio，并发布v1.0.0版本，alluxio是内存高速虚拟分布式存储系统。
Lokihjl·2016-03-23 14:29

Alluxio简介

Alluxio的前身为Tachyon。    二、Alluxio应用场景     Alluxio居于传统大数据存储（如：AmazonS3，ApacheHDFS和O
lipeng_bigdata·2016-03-21 17:00

Alluxio简介

Alluxio的前身为Tachyon。二、Alluxio应用场景Alluxio居于传统大数据存储（如：AmazonS
weixin_34347651·2016-03-21 17:00

Spark生态圈的分布式文件系统－Tachyon

Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，类似Spark和MapReduce。
openthings·2016-03-09 13:00

day25：Spark Sort-Based Shuffle内幕工作机制、案例实战、源码剖析、优缺点及改进方式

个阶段任务：第一部分，产生Shuffle数据的阶段（Map阶段，需要实现ShuffleManager中的getWriter来写数据，可以通过blockManager将数据写入、Memory，Disk，Tachyon
·2016-03-06 22:00

第25课：Spark Sort-Based Shuffle内幕工作机制

一般包含两个阶段任务：第一部分：产生Shuffle数据的阶段(Map阶段，额外补充，需要实现ShuffleManager中的getWriter来写数据(数据可以通过BlockManager写到Memory，Disk，Tachyon
snail_gesture·2016-03-05 08:00

大数据时代的杀手锏----Tachyon

一、Tachyon系统的简介Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。
arrendondo·2016-03-04 15:51

Tachyon更名为 Alluxio，并发布1.0版本

【摘要】近日，人气开源分布式内存文件系统Tachyon正式更名为Alluxio，并发布了1.0版本。
jiangshouzhuang·2016-02-25 21:00

Tachyon更名为 Alluxio，并发布1.0版本

【摘要】近日，人气开源分布式内存文件系统Tachyon正式更名为Alluxio，并发布了1.0版本。
codemosi·2016-02-24 13:39

Tachyon更名为 Alluxio，并发布1.0版本

详细参考    http://www.alluxio.org/releases/alluxio-1-0-0-release.html  http://geek.csdn.net/news/detail/57243  http://www.alluxio.org/Alluxio介绍Alluxio1.0版本，作为世界上首款以内存为中心的虚拟分布式存储系统，它能够统一数据访问并成为连接计算框架和底层存储
cloud-coder·2016-02-24 11:00

数据按列排序

hadoop|234|2346|sdfasdgadfgdfg spark|534|65745|fhsdfghdfgh hive|65|6585|shsfghfgh hbase|98|456|jhgjdfghj tachyon
baolibin528·2016-02-23 15:00

Hadoop join 关联提升版 开发代码调整解决 reduce时候 OOM问题

1、数据文件[root@masterIMFdatatest]#catmembers.txt1Spark12Hadoop13flink34Kafka15Tachyon2[root@masterIMFdatatest
段智华·2016-02-20 20:13

Hadoop join 关联提升版 开发代码调整解决 reduce时候 OOM问题

masterIMFdatatest]#catmembers.txt1      Spark  12      Hadoop 13      flink  34      Kafka  15      Tachyon2
duan_zhihua·2016-02-20 20:00

分布式内存文件系统Tachyon介绍

1、Tachyon介绍1.1 Tachyon简介随着实时计算的需求日益增多，分布式内存计算也持续升温，怎样将海量数据近乎实时地处理，或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点。
莫问viva·2016-02-16 11:00

zookeeper注册服务与netty的简单结合应用

简单介绍一下zookeeper和nettyNetty:流行的NIOSocket通信框架，很多开源软件如hadooptachyonspark都使用Netty作为底层通信框架Zookeeper:分布式的，开放源码的分布式应用程序协调服务
zhao_rock·2016-02-15 20:21

zookeeper注册服务与netty的简单结合应用

阅读更多简单介绍一下zookeeper和nettyNetty:流行的NIOSocket通信框架，很多开源软件如hadooptachyonspark都使用Netty作为底层通信框架Zookeeper:分布式的
zhao_rock·2016-02-15 10:00

zookeeper注册服务与netty的简单结合应用

阅读更多简单介绍一下zookeeper和nettyNetty:流行的NIOSocket通信框架，很多开源软件如hadooptachyonspark都使用Netty作为底层通信框架Zookeeper:分布式的
zhao_rock·2016-02-15 10:00

How to running hadoop mapreduce on tachyon

一、修改Hadoop配置文件1.修改core-site.xml文件添加如下属性，让MapReduce作业可以使用Tachyon文件系统作为输入和输出  fs.tachyon.impl  tachyon.hadoop.TFS
wtq1993·2016-01-18 09:00

获取Tachyon上的数据去执行Hadoop的MapReduce程序

本文档介绍如何获取Tachyon上的数据去执行Hadoop的MapReduce程序。
Free World·2016-01-10 15:21

获取Tachyon上的数据去执行Hadoop的MapReduce程序

本文档介绍如何获取Tachyon上的数据去执行Hadoop的MapReduce程序。1.   
jiangshouzhuang·2016-01-10 15:00

Spark概述

、Memoryb)通用：集成SparkSQL、Streaming、Graphic、R、BatchProcessc)运行方式：StandAloneYARNMesosAWSd)数据来源：HdfsHbaseTachyonCassandraHiveandAnyHadoopDataSource2
ilinux_one·2016-01-10 10:00
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他