Alluxio

深入云原生 AI：基于 Alluxio 数据缓存的大规模深度学习训练性能优化

简介：阿里云容器服务团队与Alluxio开源社区和南京大学顾荣老师等人通力合作寻找相关解决方案，当前已经提供K8s上运行模型训练数据加速的基础方案，包括容器化部署、生命周期管理以及性能优化（持续中），从而降低数据访问高成本和复杂度
阿里技术·2020-06-30 14:51

Alluxio简介及安装

一.Alluxio概述Alluxio（前身Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。
weixin_40954107·2020-06-29 00:45

Presto 使用 Alluxio

本指南介绍了如何使用Alluxio作为分布式缓存层运行Presto进行查询，其中数据源可以是AWSS3、AzureBlobStore、HDFS和许多其他数据源。
weixin_40954107·2020-06-29 00:45

spark程序优化总结

期间，我们用了大部分的时间对程序做优化，现将对程序的优化方法总结如下：1.数据存储优化在数据存储上，经过了从hdfs切换到cassandra，再从cassandra换到内存文件系统alluxio上。
ZPPenny·2020-06-28 13:38

Apache Ignite

是Alluxio（前身Tachyon）的挑战者。缺点很明显：未见生产级应用，实操资料很少，近乎只有源码和API。1、AdvancedClustering通过心跳服务自动发现。从而：（1）
textboy·2020-06-26 18:45

大数据技术简介

数据采集技术数据存储技术离线数据分析技术实时数据分析技术数据可视化技术数据采集技术离线采集数据库数据sqoopdatax实时采集数据库数据canelOracleGoldenGate日志采集FlumeLogstashScribe数据存储技术分布式文件系统hdfsalluxio
EricLihuifeng·2020-06-25 04:28

Alluxio 1.6.1的安装部署

Alluxio1.6.1下载下载地址：https://www.alluxio.org/download选择版本：Alluxio1.6.1(Nov32017)AlluxioDistribution(pre-builtforHadoop2.7
Mote Malone·2020-06-24 06:52

采访了14位技术公司的创始人，他们如何看待2020年的AI行业？

Alluxio创始人兼CTO李浩源：一个机器学习框架适合任何场景带有模型的机器学习已经到了一个转折点，各种
人工智能学家·2020-06-22 20:21

Kubernetes, Alluxio 以及解耦的数据分析技术栈

摘要：首先是要闻——Alluxio现在支持K8sHelmcharts啦！K8s是Alluxio的一种经过认证的运行环境了。
Alluxio·2020-06-21 16:38

深入云原生 AI：基于 Alluxio 数据缓存的大规模深度学习训练性能优化

作者|车漾（阿里云高级技术专家）、顾荣（南京大学副研究员）导读：Alluxio项目诞生于UCBerkeleyAMP实验室，自开源以来经过7年的不断开发迭代，支撑大数据处理场景的数据统一管理和高效缓存功能日趋成熟
阿里系统软件技术·2020-05-13 11:36

Alluxio (前身为Tachyon) 加速 Spark 数据分析

今天解读的内容是来自SparkSummitEU2016关于Alluxio的一个介绍：EffectiveSparkwithAlluxio（视频：https://v.qq.com/x/page/w03736irdtp.html
大数据技术峰会解读·2020-04-14 12:29

Alluxio后端存储（HDFS）

版本Alluxio：alluxio-1.3.0-hadoop2.7HDFS：2.7.1配置创建alluxio-site.properties文件cp-aalluxio-site.properties.templatealluxio-site.properties
puroc·2020-04-14 08:34

Spark+Alluxio性能调优参考

#refer:http://www.raincent.com/content-85-12931-1.html由于统一访问对象存储(如S3)和HDFS数据的场景的出现和普及，ApacheSpark结合Alluxio
liuzx32·2020-04-11 23:45

当SparkSQL遇上Alluxio

前言Alluxio官方文档介绍了Hive的配置方法，也介绍了Spark的配置方法，重点介绍了Spark程序如何访问Alluxio上的文件，但是没有介绍如何配置SparkSQL（这里指纯SQL方式，不是DataFrame
dingyuanpu·2020-03-30 05:32

Spark OFF_HEAP

在文章的开头，安利一下我自己的github上的一个项目：AlluxioBlockManager，同时还有我的github上的博客：blog这个项目的作用是替代Spark2.0以前默认的TachyonBlockManager
AlbertCheng·2020-03-29 07:45

Zeppelin交互式分析/分析的可视化/

CSDN.NEThttp://blog.csdn.net/wzy0623/article/details/52370045当前的Zeppelin已经支持很多翻译器，如Zeppelin0.6.0版本自带的翻译器有alluxio
葡萄喃喃呓语·2020-03-29 02:22

[转]Apache Ranger剖析：Hadoop生态圈的安全管家

然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、Hbase)，还是生态新贵(比如Kafka、Alluxio)，ACL(AccessControlList
Austin_Brant·2020-03-28 03:09

Alluxio的安装

一、文件下载和解压1）下载地址：http://www.alluxio.org/download2）解压命令如下：$wgethttp://alluxio.org/downloads/files/1.2.0
明翼·2020-03-20 04:44

Kyligence使用Alluxio加速云上OLAP分析

本文介绍了大数据智能科技公司Kyligence如何在云上利用Alluxio提升
Kyligence·2020-03-17 20:02

2017王洋的OKR

1.现工作辞职1.1Alluxio工作完成1.2提出离职申请1.3总结工作，找出工作失败原因和收获1.4输出书面化交接文档2完成新工作初学期任务2.1完成快递打印控件和集成2.2梳理电商工具体系，明确公司发展方向
王洋8786·2020-02-22 10:36

聊一聊所谓的alluxio

1:alluxio是什么Alluxio:开源分布式内存文件系统，简而言之就是，你不用每次都从原始文件去读，如果你的文件在alluxio内存中，可以直接从内存去读。
星星之火在心中·2020-02-19 06:39

蚂蚁金服大数据团队持续招人

拥有丰富的分布式计算和存储实战经验；有多位Apache核心开源项目的Committor和Contributor，包括ApacheSpark/Hadoop/Kudu/Kylin/Calcite/Kafka/Alluxio
牛肉圆粉不加葱·2020-02-08 06:24

初识alluxio

AlluxioTachyon前身的名字超光速粒子以内存为中心的分布式文件系统HDFS、S3....介于计算层和存储层之间计算层：Spark、Flink、MapReduce存储层在内存中的一个Cache系统
lixiangbetter·2020-01-12 15:00

Alluxio集成MapReduce

前提在前文已经部署好了alluxio集群以及集成了hdfshttps://www.jianshu.com/p/f417806156cfhttps://www.jianshu.com/p/2823bcd1cef71
虫儿飞ZLEI·2020-01-06 11:37

【转载】Apache Ranger剖析：Hadoop生态圈的安全管家

然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、HBase)，还是生态新贵(比如Kafka、Alluxio)，ACL(AccessControlList
木木与呆呆·2020-01-03 01:51

Spark 2017欧洲技术峰会摘要（Engineering 分类）

下载全部视频和PPT，请关注公众号(bigdata_summit)，并点击“视频下载”菜单ApacheSparkPipelinesintheCloudwithAlluxiobyGenePang,Alluxio
大数据技术峰会解读·2019-12-30 00:41

Alluxio集成Hive和Presto

mapreducehttps://www.jianshu.com/p/ee641a3d90d81.配置hiveconf/hive-env.shexportHIVE_AUX_JARS_PATH=/opt/alluxio
虫儿飞ZLEI·2019-12-16 03:39

CDH版hbase目录由hdfs改为alluxio

1.环境基础alluxio环境（及其所依赖的环境）hbase环境（及其所依赖的环境）关于alluxio及hbase等安装部署什么的可以参考本人其他博客2.修改配置官方的介绍是修改hbase的hbase-site.xml
虫儿飞ZLEI·2019-12-06 16:13

Alluxio集群使用HDFS作为文件系统

说明Alluxio默认使用本地文件作为文件系统alluxio.master.mount.table.root.ufs=${alluxio.work.dir}/underFSStorage可以通过设置修改
虫儿飞ZLEI·2019-09-27 17:12

在Alluxio和HDFS之间保持文件同步的两种方法

Alluxio为Spark或Presto等应用程序提供分布式数据访问层，以通过统一文件系统命名空间中的单一API访问不同的底层文件系统（或UFS）。
Alluxio·2019-08-27 23:18

Spark & Alluxio在网易严选架构演进中的实践和探索

本文来自于2019年7月27日网易严选&Alluxio联合举办的Meetup。
Hadoop技术博文·2019-08-12 08:00

ALLUXIO学习笔记1-概述

1.ALLUXIO的应用场景由于Alluxio的设计以内存为中心，并且是数据访问的中心，所以Alluxio在大数据生态圈里占有独特地位，它居于大数据存储（如：AmazonS3，ApacheHDFS和OpenStackSwift
代码足迹·2019-07-04 21:14

ALLUXIO学习笔记1-概述

1.ALLUXIO的应用场景由于Alluxio的设计以内存为中心，并且是数据访问的中心，所以Alluxio在大数据生态圈里占有独特地位，它居于大数据存储（如：AmazonS3，ApacheHDFS和OpenStackSwift
代码足迹·2019-07-04 21:14

基于Presto+Alluxio的adhoc查询方案在网易游戏的实践

编者按：本文是由网易游戏的大数据工程师撰写的基于Presto+Alluxio的adhoc查询方案在网易游戏的实践分享（作者详情见文末）业务背景作为全球领先的游戏开发与发行公司，网易游戏不仅自主研发了《梦幻西游
Alluxio·2019-07-03 23:24

Alluxio RPC框架的深度实践总结

作为Alluxio2.0发布版本的一部分，我们将RPC框架从ApacheThrift变为gRPC。在本文中，我们将讨论这一变化背后的原因以及我们在此过程中学到的一些经验。
Alluxio·2019-06-13 22:47

Alluxio

alluxio【1】是一个分布式文件系统，主要用来做大数据处理，和数据源之间的中间层。它本身支持内存和SSD，HDD的tiering，但实践中主要感兴趣的是它的内存缓存。
向标杆直跑·2019-06-10 23:09

ALLuxio

一、什么是AlluxioAlluxio（之前名为Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。
灬点点·2019-05-18 22:00

Spark和Alluxio

目前SparkDataFrame和SparkSQL更加成熟，而作为普通文件存储方案的Tachyon升级成为Alluxio，在成熟度和性能上都得到了进一步的提升，方便非结构化的文件处理，如影像、视频文件等
老猿说说·2019-05-16 09:11

Alluxio 效果测试

urandom|head-c10000000>examplebase64/dev/urandom>examplehadoopfs-put-fexamplehdfs://192.168.33.101:8020/alluxio
旺旺dong·2019-04-29 10:00

Spark+Alluxio性能调优十大技巧

由于统一访问对象存储（如S3）和HDFS数据的场景的出现和普及，ApacheSpark结合Alluxio的大数据栈越来越受欢迎。此外，越来越流行的计算与存储分离的架构导致计算端查询延迟增大。
Alluxio·2019-04-22 21:18

邀您参加 | BigData & Alluxio 交流会-成都站

4月27日，在天府之国，与你共享大数据与Alluxio的技术魅力。
腾讯云+社区·2019-04-19 15:00

邀您参加 | BigData & Alluxio 交流会-成都站

4月27日，在天府之国，与你共享大数据与Alluxio的技术魅力。
腾讯云加社区·2019-04-19 00:00

Alluxio初识

Alluxio是一个分布式内存文件系统，类似于linux的VFS，可以把HDFS或者其它文件系统挂载到Alluxio根目录或者子目录下，通过访问Alluxio子目录时，会先读HDFS或者其它文件系统的数据
亚历山大的陀螺·2019-04-04 21:42

FineBI分布式引擎——专为海量数据计算分析而生

（1）更先进：FineBI分布式引擎整合了现下先进流行的hadoop、spark、alluxio等大数据
老A不折腾·2019-03-28 14:00

FineBI分布式引擎——专为海量数据计算分析而生

（1）更先进：FineBI分布式引擎整合了现下先进流行的hadoop、spark、alluxio等大数据
老A不折腾·2019-03-28 14:00

Presto+Alluxio性能调优五大技巧

常用链接Alluxio项目官网AlluxioInc网站Alluxio在各大厂用例关注Alluxio微信公众号：Alluxio_ChinaPresto是一个开源的分布式SQL引擎，因其查询具有低延迟、高并发性和原生支持多数据源的特点而广受认可
Alluxio·2019-03-23 22:03

基于分布式分层存储10倍提速S3上Spark和Hive作业性能

常用链接Alluxio项目官网AlluxioInc网站Alluxio在各大厂用例关注Alluxio微信公众号：Alluxio_China在本文中，来自Bazaarvoice的ThaiBui介绍了Bazaarvoice
Alluxio·2019-03-17 23:20

TwoSigma, Uber Seattle, Alluxio HQ: Alluxio meetup三连

3月25日,Alluxio将在纽约曼哈顿下城和TwoSigma的数据科学家们举办一次meetup活动来介绍TwoSigma里基于Spark/Alluxio/HDFS的数据软件栈。
apc999·2019-03-05 01:09

基于Alluxio系统的Spark DataFrame高效存储管理技术

介绍越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。
阿里云云栖社区·2019-01-31 00:00

Spark+Alluxio性能调优十大技巧

由于统一访问对象存储（如S3）和HDFS数据的场景的出现和普及，ApacheSpark结合Alluxio的大数据栈越来越受欢迎。此外，越来越流行的计算与存储分离的架构导致计算端查询延迟增大。
CSDN云计算·2019-01-10 10:20
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他