ALLUXIO

Alluxio不同存储层(mem,ssd,hdd)的测试

Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。
HappyBearZzz·2020-08-14 20:30

Alluxio环境搭建

Alluxio环境搭建1.简介Alluxio（之前名为Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。
冒冒大虾·2020-08-14 19:45

Alluxio、Presto 集成Kerberos

一、Kerberos安装与配置kerberos简介：Kerberos是一个安全的网络认证协议，支持客户端和服务端不需要在网络上传输密码就可以进行认证。Kerberos采用通过对称加密算法生成时间敏感的票据。在安全范式中Kerberos的三个脑袋是指：尝试认证的用户是谁。客户端要认证哪个服务。Kerberos安全服务中心作为密钥分发中心（KeyDistributionCenter，KDC），值得用户
唐予之_·2020-08-14 17:43

Alluxio简介 & 在Alluxio上运行Spark与MapReduce

Alluxio简介Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务应用场景在大数据领域
疯狂呼呼呼·2020-08-14 17:44

Alluxio源码本地调试

首先，请确保调试alluxio源码的环境是一个类Unix的系统环境后台验证启动在${ALLUXIO_HOME}目录下进行操作在后台启动alluxio:$.
尤小硕·2020-08-14 17:05

Alluxio 1.5集群搭建

一、依赖文件安装1.1JDK参见博文：http://www.cnblogs.com/liugh/p/6623530.html二、文件准备2.1文件名称alluxio-1.5.0-hadoop-2.7-bin.tar.gz2.2
an7800666·2020-08-14 16:31

ambari2.6安装alluxio2.1.0

ambari2.6安装alluxio2.1.0准备的文件：alluxio-2.1.0-bin.tar.gz(自己去下载)ranger-hive-plugin-0.7.0.2.6.5.0-292.jar（
喜剧之皇·2020-08-14 15:37

Spark Storage之ExternalBlockStore

Tachyon(Alluxio)简介ExternalBlockStore底层使用Tachyon(现更名为Alluxio)，Tachyon是一个分布式文件系统，提供内存级别的访问速度，通常作用于分布式计算框架
Mr_JieLQ·2020-08-14 11:45

王家林大咖清华新书预发布：《企业级AI技术内幕：深度学习框架开发+机器学习案例+Alluxio解密》之盘古人工智能框架多层次神经网络的实现

本文是王家林大咖清华大学新书《企业级AI技术内幕：深度学习框架开发+机器学习案例+Alluxio解密》第2.1章节的内容，清华大学出版社将于9月份出版新书。
段智华·2020-08-14 01:43

专访范斌，谈开源三年后的Alluxio

在Alluxio（前Tachyon）项目开源三年后的今天，全世界已经有超过300名贡献者参与到项目当中，其中包括Intel，百度，去哪儿等100多家公司。仅仅在去年，它的代码贡献人数就比以往翻了三倍。
csdn郭芮·2020-08-07 14:58

Spark生态之Alluxio学习25--spark从HDFS和Alluxio读取时间比较

更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习版本：alluxio-1.3.0（tachyon），spark-1.5.2
KeepLearningBigData·2020-08-07 12:40

Spark生态之Alluxio学习24--分别读取HDFS和Alluxio的数据进行line count比较分析

更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习版本：alluxio-1.3.0（tachyon），spark-1.5.2
KeepLearningBigData·2020-08-07 12:39

Spark生态之Alluxio学习2---Spark从tachyon中读取文件

1.启动spark-shell2.上传文件到tachyon：xubo@xubo:~/cloud/test/tachyon$../../tachyon-0.7.1/bin/tachyontfscopyFromLocal1.txt/Copied1.txtto/xubo@xubo:~/cloud/test/tachyon$../../tachyon-0.7.1/bin/tachyontfscat/1.t
KeepLearningBigData·2020-08-07 12:39

New Technique: Tachyon (used memory instead of disk for HDFS)

2814947-welcome-to-berkeley-where-hadoop-isnt-nearly-fast-enoughCopiedfromhttp://www.oschina.net/p/tachyonAlluxio
Firehotest·2020-08-07 11:19

Alluxio整合MapReduce报错 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

查看YarnNodeManager日志，发现以下信息：Causedby:org.apache.hadoop.util.DiskChecker$DiskErrorException:Couldnotfinduser/cache/hadoop/appcache/application_15...inanyoftheconfiguredlocaldirectories解决方法：在yarn-site.xm
温文尔雅的流氓·2020-08-06 12:38

Alluxio(Tachyon) 作为京东计算框架的容错可插拔优化组件

离线集群总规模18000+,用户6000+计算能力离线数据日处理40PB+，日运行Job数100万+存储能力总数据量400PB+，日增数据量500TB+业务能力业务主题40+，数据模型450+大数据平台架构Alluxio
scottzcw·2020-07-29 13:41

使用 Alluxio 统一结构化大数据

本文原文：https://zhuanlan.zhihu.com/p/34973460（点击下面阅读原文即可进入）理解在分析存储于数据仓库的结构化大数据时Alluxio所带来的益处。
Hadoop技术博文·2020-07-29 04:16

深入云原生 AI：基于 Alluxio 数据缓存的大规模深度学习训练性能优化

作者|车漾（阿里云高级技术专家）、顾荣（南京大学副研究员）导读：Alluxio项目诞生于UCBerkeleyAMP实验室，自开源以来经过7年的不断开发迭代，支撑大数据处理场景的数据统一管理和高效缓存功能日趋成熟
alisystemsoftware·2020-07-29 04:37

SP-Cache: 基于选择性热点数据分割策略，实现分布式内存系统负载均衡

编者按：在Alluxio开源社区，越来越多高校研究人员使用Alluxio作为研究载体。本博客将介绍一系列基于Alluxio的前沿研究工作。
Alluxio·2020-07-29 04:46

Alluxio基于冷热数据分离的元数据管理策略

文章目录前言Alluxio内部元数据管理架构Alluxio的支持异步写出功能的自定义Cache实现引用前言上篇文章末尾，笔者聊到了一种叫做分层元数据管理模式。
Android路上的人·2020-07-29 04:42

Alluxio 1.6.1 与Spark SQL结合使用踩坑总结

1、扫表问题表不存在hdfs，但在元数据中java.lang.RuntimeException:seriousproblematorg.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021)atorg.apache.hadoop.hive.ql.io.orc.OrcInputF
xwc35047·2020-07-29 01:02

Alluxio Paper

原文:http://people.eecs.berkeley.edu/~haoyuan/papers/2014_EECS_tachyon.pdfReliable,MemorySpeedStorageforClusterComputingFrameworksAbstractTachyonisadistributedfilesystemenablingreliabledatasharingatmemo
「已注销」·2020-07-28 11:49

Ranger架构

一、Ranger介绍随着大数据技术生态不断发展壮大，为了抢占企业级市场，各厂商都迭代出自己的一套访问控制体系，不管是老牌系统（比如HDFS、HBase），还是生态新贵（比如Kafka、Alluxio），
andyguan01_2·2020-07-27 18:32

Apache Ranger剖析：Hadoop生态圈的安全管家

然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、HBase)，还是生态新贵(比如Kafka、Alluxio)，ACL(AccessControlList
天外有菌·2020-07-27 17:32

Alluxio层次化存储简介

一、分层存储种类1、MEM(内存)2、SSD(固态硬盘)3、HDD(硬盘驱动器)二、分层存储参数1、alluxio.worker.tieredstore.levels，缺省值1AlluxioWorker
scottzcw·2020-07-27 16:38

Ranger架构剖析

然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、HBase)，还是生态新贵(比如Kafka、Alluxio)，ACL(AccessControlList
木木与呆呆·2020-07-27 11:38

生态 | Apache Hudi集成Alluxio实践

原文链接：https://mp.weixin.qq.com/s/sT2-KK23tvPY2oziEH11Kw1.什么是AlluxioAlluxio为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问
leesf·2020-07-20 20:00

快速开始使用Spark和Alluxio

2019独角兽企业重金招聘Python工程师标准>>>原文[英]：http://www.alluxio.com/2016/04/getting-started-with-alluxio-and-spark
weixin_34279061·2020-07-13 18:22

Alluxio结构化数据服务之概念篇

本文介绍了最新Alluxio2.2.0版本所提供的结构化数据管理功能，这项新功能旨在优化Alluxio上SQL查询和结构化数据的工作负载。
Alluxio·2020-07-12 23:42

基于Google Dataproc+Alluxio加速本地Hadoop数据湖计算处理

处理该问题的方法之一就是使用Alluxio配合GoogleDataprco加速作业负载。Alluxio是一个为分析型任务和人工智能
Alluxio·2020-07-12 23:42

开箱即用——Alluxio-Presto沙盒使用指南

Alluxio-Presto沙盒是一个已经安装配置好了MySQL、Hadoop、Hive、Presto和Alluxio的docker应用。
Alluxio·2020-07-12 23:11

我一不小心删掉了Alluxio 34万行代码

毛宝龙热爱开源技术，并积极投入开源社区，Alluxio开源社区PMC成员。故事引子如果你删除了一个软件的34万行代码，心里慌不慌？是不是突然想跑路？Noworries！
Alluxio·2020-07-12 23:11

在AWS环境下基于EMR、Alluxio和S3构建高效数据分析流水线

一、目的如今，由于以AWS为代表的公有云的可扩展性，弹性和成本效益，许多公司正在将它们的数据分析流水线从本地数据仓库迁移到AWS等公共云上。但是，这个过程绝不仅仅是简单地将数据从HDFS移至S3，然后将ApacheHadoop的程序运行到EMR等技术堆栈上。对于数据工程师来说，要在云环境的技术堆栈上高效地运行原有的数据密集型工作负载存在许多隐患和挑战。本文介绍了我们从先前一个项目迁移到云环境中获得
Alluxio·2020-07-12 23:11

阿里云原生实践：基于 Alluxio 数据缓存的大规模深度学习训练性能优化

导读：Alluxio项目诞生于UCBerkeleyAMP实验室，自开源以来经过7年的不断开发迭代，支撑大数据处理场景的数据统一管理和高效缓存功能日趋成熟。
Alluxio·2020-07-12 23:11

Alluxio 2.2版本的新功能！

我们非常高兴地宣布Alluxio2.2.0的正式发布！
Alluxio·2020-07-12 23:11

基于AWS一键部署运行Spark + Alluxio + S3技术栈与TPC-DS查询基准测试

常用链接Alluxio项目官网AlluxioInc网站Alluxio在各大厂用例关注Alluxio微信公众号：Alluxio_ChinaSpark+Alluxio+S3组合是当前非常流行的数据分析技术栈
Alluxio·2020-07-12 21:07

Alluxio 简单使用

文章目录一、AlluxioHA二、HDFS集成Alluxio2.1、Configuringcore-site.xml2.2、ConfiguringHADOOP_CLASSPATH三、Spark集成Alluxio3.1
w1992wishes·2020-07-12 04:46

Ranger架构剖析

然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、HBase)，还是生态新贵(比如Kafka、Alluxio)，ACL(AccessControlList
木木与呆呆·2020-07-12 04:41

Spark 一文读懂

ApacheSpark诞生于大名鼎鼎的AMPLab（这里还诞生过Mesos和Alluxio），从创立之初就
小晓酱手记·2020-07-11 23:19

一文读懂 Spark 和 Spark Streaming

ApacheSpark诞生于大名鼎鼎的AMPLab（这里还诞生过Mesos和Alluxio），从创立之初就
360linker·2020-07-10 16:49

分布式系统概述

扩展数据库继续扩展陷阱去中心化与分布式分布式系统类型分布式数据存储CAP定理Cassandra共识分布式计算MapReduce更好的技术分布式文件系统HDFSIPFSAlluxio分布式消息中间件分布式应用
Studious_Li·2020-07-10 12:55

漫谈分布式系统(17) -- 决战 Shuffle

然后引出了基于内存的分布式计算框架Spark和基于内存的分布式存储中间件Alluxio，来减少IO。这两个框架确实很大程度上减轻
秦夏·2020-07-09 07:27

大数据PAZR集成ldap实操！what？

1.说明p:prestoa:allixopz:zeppelinr:rancher分为三部分讲解1.什么是presto+Alluxio，大数据presto+Alluxio集成详细部署说明2.大数据zeppelin
大数据陈浩·2020-07-07 17:03

陌陌:使用Spark SQL和Alluxio加速Ad Hoc查询

星球里经常有人问，如何保存sparkstreaming状态，回答的时候也会说道Alluxio。可能很多公司并没有去做Alluxio相关的使用。
大数据星球-浪尖·2020-07-05 11:13

360&Alluxio联合Meetup——分布式存储与Alluxio应用实践

时间地点2019/09/01北京朝阳酒仙桥360公司总部B座一层发布厅主办方Alluxio社区360大数据TC360大学360系统部活动日程13:10--13:30入场签到13:30--14:15AlluxioIntroduction
qihoo_tech·2020-07-05 02:53

Spark问题12之kryoserializer shuffle size 不够,出现overflow

更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习版本：alluxio（tachyon）0.7.1，spark-1.5.2,
KeepLearningBigData·2020-07-04 12:00

Spring与Akka的集成

概述近年来随着Spark的火热，Spark本身使用的开发语言Scala、用到的分布式内存文件系统Tachyon（现已更名为Alluxio）以及基于Actor并发编程模型的Akka都引起了大家的注意。
泰山不老生·2020-07-04 11:59

大数据学习路线（完整详细版）

清洗：Spark、HiveSQL/SparkSQL、MapReduce（已经过时）存储：HDFS、Alluxio（分布式内存存储）、Redis（高速缓存）
✾ ͡冷೨夏ʚɞ͜✿·2020-07-04 01:19

大数据平台技术栈——技术全貌（一）

大数据平台技术栈——技术全貌（一）一、采集层&传输层1.Sqoop2.Flume3.Canal4.Logstash5.Kafka6.RocketMQ二、存储层1.HBase2.Alluxio/Redis
HW_870754395·2020-07-01 09:21

为什么企业需要关注深度学习

Nguyen和Arimo是ApacheSpark、Alluxio和其他一些开源技术的早期采用者和推广者。最近，Arimo的分析产品套件依靠深度学习来解决一系列商业问题。
OReillyData·2020-06-30 18:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他