E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Tachyon
DT大数据梦工厂- 第6课 精通Spark集群搭建与测试
20160106课程笔记Spark上流行的存储框架:Hadoop的HDFS和S3云存储未来三至五年黄金组合框架:Spark+
Tachyon
+HDFS
Tachyon
:基于内存的分布式文件系统,不同来源的数据
chinsun_1
·
2016-01-06 23:09
DT大数据梦工厂- 第6课 精通Spark集群搭建与测试
20160106课程笔记Spark上流行的存储框架: Hadoop的HDFS和 S3云存储 未来三至五年黄金组合框架:Spark+
Tachyon
+HDFS
Tachyon
: 基于内存的分布式文件系统,不同来源的数据
chinsun_1
·
2016-01-06 23:00
解析Spark大数据分析框架的核心部件
Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言、
Tachyon
文件系统
勿忘初心321
·
2015-12-23 13:00
[置顶]
Tachyon
部署与使用指南
Tachyon
部署与使用指南
Tachyon
美[‘tæki:ˌɒn]安装1、目前
tachyon
的最新版本为0.8.2,目标spark版本是1.6,可以到http://
tachyon
-project.org
xuanyuansen
·
2015-12-18 15:00
spark
Tachyon
王家林每日大数据语录Spark篇0008(2015.10.31于北京)
持久化(包含Memory、Disk、
Tachyon
等类型)是Spark构建迭代算法和快速交互式查询的关键,当通过persist对一个RDD持久化后,每一个节点都将把计算的分片结果保存在内存或者磁盘或者
Tachyon
王家林学院
·
2015-12-15 23:19
王家林
王家林spark
王家林语录
大数据平台安装测试(1)centos7.1 docker mesos
tachyon
hadoop (myriad? yarn?)spark hbase speaksql 选型分析
在下大数据的新手,该系列文章会记录我所有的思考和遇到的问题,各位看官如果有什么想法希望多多指教!我尽量快速回复。谢谢。最近公司需要跑大数据,网上找来各种文章分析,平台结构基本定型公司的需求大概是一个数据包是1.5-3g左右,生成大概6g以下的中间数据。初步可能需要1000-10000个数据包进行综合分析(字串系列比较),生成报告输出到外网mysql数据库。配置大概是至强e52630v3*2华硕z1
jinhao82
·
2015-12-08 10:00
spark
yarn
docker
mesos
Tachyon
记一次Spark集群查询速度变慢的问题调查
现象:针对某张表(下文中用A表代替)的查询速度慢了6s 简单介绍一下系统的架构:Spark+
Tachyon
+glusterfs+mesos,其中glusterfs负责
tachyon
数据的持久化,Spark
zhao_rock
·
2015-11-24 10:00
spark
sparksql
Spark问题调查
spark
tachyon
搭建 配置
spark1.5.1支持
tachyon
0.7.1 jdk需要1.7 1.spark下载sparksourcehttp://spark.apache.org/downloads.html 编译spark
blackproof
·
2015-11-19 18:00
spark
Tachyon
Tachyon
Cluster: 基于Zookeeper的Master High Availability(HA)高可用配置实现
1.
Tachyon
简介
Tachyon
是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。
·
2015-11-12 22:24
zookeeper
Spark大数据处理技术
原理和架构,以及部署模式、调度框架、存储管理及应用监控等重要模块 Spark生态圈深度检阅:SQL处理Shark和Spark SQL、流式处理Spark Streaming、图计算Graphx及内存文件系统
Tachyon
·
2015-11-12 10:36
spark
高性能、高容错、基于内存的开源分布式存储系统
Tachyon
的简单介绍
Tachyon
是什么?
·
2015-11-11 10:15
分布式存储
Tachyon
框架的Worker心跳及Master高可用性分析
0 概述 分布式框架中的Master-Slave类型,Slave节点负责工作的具体执行,Master负责任务的分发或者相关元数据的存储等。一般情况下,一个Master节点都会对应多个Slave节点,Master在分配任务时需要知道当前有哪些Slave节点是可以接受自己所发的命令的(Slave节点有可能因为各种原因挂掉),因此需要在其内部维持一个链表来保存所有
·
2015-11-11 07:06
master
34个漂亮的应用程序后台管理系统界面
http://themeforest.net/item/ http://preview.walkingpixels.com/
tachyon
http://jsfiddle.net/hleinone/
·
2015-10-28 08:46
应用程序
模块部署(译)
模块部署概述在
Tachyon
源代码树中, deploy/vagrant 目录包含一些工具可以协助你在AWSEC2或virtualbox搭建
Tachyon
集群。
Rayn-瑞恩
·
2015-10-21 17:00
Tachyon
整合
Tachyon
运行 Hadoop MapReduce(译)
整合
Tachyon
运行HadoopMapReduce本指南描述如何使
Tachyon
与HadoopMapReduce结合运行,这样你可以很容易运行hadoop MapReduce程序文件存储在
Tachyon
Rayn-瑞恩
·
2015-10-20 15:00
Tachyon
整合
Tachyon
运行Shark(译)
整合
Tachyon
运行Shark前提是已经有Shark,我们也假设你已经安装了
Tachyon
和 Hadoop 根据 LocalMode or ClusterMode。
Rayn-瑞恩
·
2015-10-20 11:00
Tachyon
集群中运行
Tachyon
(译)
集群中运行
Tachyon
单机集群首先下载
Tachyon
tar文件,并且解压:$ wget https://github.com/amplab/
tachyon
/releases/download/v0.7.1
Rayn-瑞恩
·
2015-10-20 10:00
Tachyon
整合
Tachyon
运行 Apache Flink(译)
整合
Tachyon
运行ApacheFlink本人详述了如何基于
Tachyon
运行 ApacheFlink,这样在
Tachyon
中可以很便捷的处理文件存储。前提首先,得存在Java环境。
Rayn-瑞恩
·
2015-10-20 10:00
Tachyon
集群中运行
Tachyon
(译)
集群中运行
Tachyon
单机集群首先下载
Tachyon
tar文件,并且解压:$wgethttps://github.com/amplab/
tachyon
/releases/download/v0.7.1
Rayn-瑞恩
·
2015-10-19 17:00
Tachyon
命令行接口(译)
命令行接口(CommandLineInterface)
Tachyon
‘s命令行接口提供给用户基础的文件系统操作,调用命令使用工具和脚本:$ .
Rayn-瑞恩
·
2015-10-19 17:00
Tachyon
整合
Tachyon
运行 Spark(译)
整合
Tachyon
运行Spark兼容性如果你计划运行Spark结合使用
Tachyon
,以下版本的搭配将共同开箱即用。如果你计划使用不同版本而不是默认支持版本。
Rayn-瑞恩
·
2015-10-19 17:00
Tachyon
本地运行
Tachyon
(译)
本地运行
Tachyon
单机运行
Tachyon
在一台机器上.这部分的先决条件数已经安装Java(JDK6或者以上版本)下载
Tachyon
0.7.1二进制发行版本:$ wget https://github.com
Rayn-瑞恩
·
2015-10-19 16:00
Tachyon
Tachyon
概述(译)
Tachyon
概述
Tachyon
是一个以内存为中心的分布式存储系统,能够可靠的在跨集群框架之间以内存速度进行共享,比如Spark和MapReduce。
Rayn-瑞恩
·
2015-10-15 17:00
Tachyon
的单机部署以及操作等
Tachyon
官网:http://www.
tachyon
-project.org/官网描述:
Tachyon
isamemory-centricdistributedstoragesystemenablingreliabledatasharingatmemory-speedacrossclusterframeworks
jiangshouzhuang
·
2015-10-07 22:00
Tachyon
:Spark生态系统中的分布式内存文件系统
Tachyon
是Spark生态系统内快速崛起的一个新项目。本质上,
Tachyon
是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。
jiangshouzhuang
·
2015-10-04 09:00
分布式内存文件系统
Tachyon
UCBerkeley研发的
Tachyon
(超光子['tækiːˌɒn],名字要不要这么太嚣张啊:)是一款为各种集群并发计算框架提供内存数据管理的平台,也可以说是一种内存式的文件系统吧。
stark_summer
·
2015-09-27 16:00
分布式
内存管理
存储系统
数据管理
Tachyon
tachyon
与hdfs,以及spark整合
阅读更多
Tachyon
0.7.1伪分布式集群安装与测试:http://blog.csdn.net/stark_summer/article/details/48321605从官方文档得知,Spark1.4
Stark_Summer
·
2015-09-22 15:00
spark
tachyon
hdfs
分布式
测试
tachyon
与hdfs,以及spark整合
Tachyon
0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark1.4.
Stark_Summer
·
2015-09-22 15:00
spark
测试
分布式
hdfs
Tachyon
tachyon
与hdfs,以及spark整合
Tachyon
0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark1.4.
stark_summer
·
2015-09-22 15:00
spark
分布式
测试
hdfs
Tachyon
Spark入门实战系列--10.分布式内存文件系统
Tachyon
介绍及安装部署
1
Tachyon
介绍1.1
Tachyon
简介随着实时计算的需求日益增多,分布式内存计算也持续升温,怎样将海量数据近乎实时地处理,或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点。
yirenboy
·
2015-09-16 14:00
spark
大数据
内存
Tachyon
Spark入门实战系列--10.分布式内存文件系统
Tachyon
介绍及安装部署
【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、
Tachyon
介绍1.1
Tachyon
简介随着实时计算的需求日益增多,分布式内存计算也持续升温,怎样将海量数据近乎实时地处理
shishanyuan
·
2015-09-16 08:00
tachyon
与hdfs,以及spark整合
Tachyon
0.7.1伪分布式集群安装与测试:http://blog.csdn.net/stark_summer/article/details/48321605从官方文档得知,Spark1.4.x和
stark_summer
·
2015-09-14 17:00
spark
分布式
测试
hdfs
Tachyon
Tachyon
0.7.1伪分布式集群安装与测试
Tachyon
是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,
Tachyon
获得了高性能。
stark_summer
·
2015-09-10 18:00
spark
安装
分布式
Tachyon
Tachyon
0.7.1伪分布式集群安装与测试
Tachyon
是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,
Tachyon
获得了高性能。
Stark_Summer
·
2015-09-10 18:00
spark
安装
分布式
Tachyon
Tachyon
0.7.1伪分布式集群安装与测试
阅读更多
Tachyon
是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,
Tachyon
获得了高性能。
Stark_Summer
·
2015-09-10 18:00
spark
分布式
tachyon
安装
Tachyon
0.7.1伪分布式集群安装与测试
Tachyon
是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,
Tachyon
获得了高性能。
stark_summer
·
2015-09-09 20:00
spark
安装
分布式
Tachyon
上海Spark Meetup第六次聚会
主讲题目:
Tachyon
:内存为中心可容错的分布式存储系统摘要: 在越来越多的大数据应用场景诸如机器学习,数据分析等,内存成为保证和提升性能的关键.
Tachyon
正是以内存为中心而构建的可容错的分布式存储系统
stark_summer
·
2015-08-29 15:00
英特尔
上海
Tachyon
dataFrame
SequoiaDB
tachyon
1.7.1安装
tachyon
1.7.1+hadoop2.6.0说明:采用两个节点分别hmaster、slave1下载安装包:
tachyon
-0.7.1-bin.tar.gz下载地址:http://www.
tachyon
-project.org
ddjj1990
·
2015-08-28 16:20
profile
package
Export
Tachyon
tachyon
1.7.1安装
tachyon
1.7.1+hadoop2.6.0说明:采用两个节点分别hmaster、slave1下载安装包:
tachyon
-0.7.1-bin.tar.gz下载地址:http://www.
tachyon
-project.org
ddjj1990
·
2015-08-28 16:20
profile
package
Export
Tachyon
tachyon
1.7.1安装
tachyon
1.7.1+hadoop2.6.0说明:采用两个节点分别hmaster、slave1下载安装包:
tachyon
-0.7.1-bin.tar.gz下载地址:http://www.
tachyon
-project.org
ddjj1990
·
2015-08-28 16:20
package
export
profile
tachyon
Tachyon
在Spark中的作用(
Tachyon
: Reliable, Memory Speed Storage for Cluster Computing Frameworks 论文阅读翻译)
但看了这篇文章感觉非常不错,我不晓得这篇文章是否是此人原创翻译的,但给点个赞吧,加油转载于:http://blog.csdn.net/hust_sheng/article/details/47614925摘要:
Tachyon
stark_summer
·
2015-08-14 08:00
fault-tolerance
Tachyon
OffHeap
异步检查
lineage
Tachyon
在Spark中的作用(
Tachyon
: Reliable, Memory Speed Storage for Cluster Computing Frameworks 论文阅读翻译)
摘要:
Tachyon
是一种分布式文件系统,可以借助集群计算框架使得数据以内存的速度进行共享。
hust_sheng
·
2015-08-13 16:00
性能
spark
Spark大数据分析框架的核心部件
大数据分析框架的核心部件Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言、
Tachyon
openthings
·
2015-08-07 11:00
spark
RDD
GraphX
MLlib
Streaming
Tachyon
sparkr
Linux64位操作系统(CentOS6.6)上如何编译spark1.3
/make-distribution.sh --tgz --skip-java-test --with-
tachyon
-Dhadoop.version=2.4.0 -Djava.version=1.7
liyong0802
·
2015-07-28 13:03
spark
Linux64位操作系统(CentOS6.6)上如何编译spark1.3
/make-distribution.sh --tgz --skip-java-test --with-
tachyon
-Dhadoop.version=2.4.0 -Djava.version=1.7
liyong0802
·
2015-07-28 13:03
spark
Linux64位操作系统(CentOS6.6)上如何编译spark1.3
/make-distribution.sh --tgz --skip-java-test --with-
tachyon
-Dhadoop.version=2.4.0 -Djava.version=1.7
liyong0802
·
2015-07-14 15:00
spark
Tachyon
:Spark生态系统中的分布式内存文件系统
Tachyon
是Spark生态系统内快速崛起的一个新项目。本质上,
Tachyon
是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。
余财源
·
2015-07-12 09:54
Tachyon
Spark
Spark
Tachyon
:Spark生态系统中的分布式内存文件系统
Tachyon
是Spark生态系统内快速崛起的一个新项目。本质上,
Tachyon
是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。
余财源
·
2015-07-12 09:54
spark
Tachyon
生态系统能
Tachyon
:Spark生态系统中的分布式内存文件系统
Tachyon
是Spark生态系统内快速崛起的一个新项目。本质上,
Tachyon
是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。
余财源
·
2015-07-12 08:33
spark
生态系统
Tachyon
Tachyon
:Spark生态系统中的分布式内存文件系统
Tachyon
是Spark生态系统内快速崛起的一个新项目。本质上,
Tachyon
是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。
余财源
·
2015-07-12 08:33
Tachyon
Spark
Spark
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他