alluxio

使用 Alluxio 优化 EMR 上 Flink Join

业务背景&痛点流式处理的业务场景，经常会遇到实时消息数据需要与历史存量数据关联查询或者聚合，比如电商常见的订单场景，订单表做为实时事实表，是典型的流式消息数据，通常会在kafka中，而客户信息，商品SKU表是维度表，通常存在业务数据库或者数仓中，是典型的离线数据。实时订单数据在实时处理时通常需要事实表与维度表join做reference补全，以便拿到订单详情并实时统计当天或截至当天的所有订单的商品
亚马逊云开发者·2023-04-01 19:04

使用Alluxio和Intel® Optane™持久内存加速和扩展大数据分析

国际数据公司（InternationalDataCorporation,IDC）报告称，全球数据容量将从2018年的33ZB(zettabytes)增长到2025年的175ZB。随着数据增长的多样性和快速性，这种趋势变得越来越复杂，并且它还不断改变着数据收集，存储，处理和分析的方式。基于机器学习、深度学习、人工智能（AI）、新架构、新工具等方法的新分析解决方案正在开发中，以便从庞大的数据领域中提取
Alluxio·2023-04-01 04:54

【大数据架构】-- 开源框架技术汇总

BigTop2.监控管理CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle3.文件系统HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio4
high2011·2023-03-30 18:07

Alluxio安装部署

简介Alluxio是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。
weixin_47924795·2023-03-30 14:20

Alluxio简介

Alluxio简介Alluxio概览-Alluxiov2.6.1(stable)Documentation1.介绍Alluxio是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。
气运联盟·2023-03-30 14:17

Alluxio的安装部署

Alluxio的安装部署快速上手指南-Alluxiov2.6.2(stable)Documentation开发指南-Alluxiov2.6.2(stable)Documentation部署Alluxio
气运联盟·2023-03-30 14:17

Alluxio原理和应用场景随笔

上周末有幸参加了Alluxio(之前也叫Tachyon)，七牛云和示说网举办的Alluxio上海Meetup，之前我并没有在真实应用场景中使用过Alluxio，对其适用的应用场景一直报怀疑态度。
青色的海牛·2023-03-30 14:09

命名空间 键值 存储_Alluxio中可扩展的元数据服务：存储数十亿个文件

Alluxio提供统一的命名空间，您可以在其中安装多个不同的存储系统并通过相同的API访问它们。
weixin_39536728·2023-03-30 14:05

Alluxio-基于内存的虚拟分布式存储系统

什么是AlluxioAlluxio是世界上第一个虚拟的分布式存储系统，它为计算框架和存储系统构建了桥梁，使计算框架能够通过一个公共接口连接到多个独立的存储系统,使计算与存储隔离。
机器爱上学习·2023-03-30 13:53

Alluxio部署实践与性能调优

1.Alluxio基本介绍1.1Alluxio架构Alluxio主要有三个角色：master、worker和client。
约翰-117·2023-03-30 13:12

你不知道的开源分布式存储系统 Alluxio 源码完整解析（下篇）

在《Alluxio-源码简述-上》主要讲述了Alluxio本地环境搭建，源码项目结构，服务进程的启动流程和服务间RPC调用。
腾源会·2023-03-30 13:09

Alluxio架构、场景与部分配置参数详解

Alluxio架构、场景与部分配置参数Alluxio：架构及数据流-简书(jianshu.com)Alluxio-基于内存的虚拟分布式存储系统_机器爱上学习的博客-CSDN博客_alluxio1架构1.1
气运联盟·2023-03-30 13:59

Apache Flink 不止于计算，数仓架构或兴起新一轮变革

作者|蔡芳芳采访嘉宾|王峰（莫问）维基百科的“ApacheFlink”词条下，有这么一句描述：“Flink并不提供自己的数据存储系统，但为AmazonKinesis、ApacheKafka、Alluxio
Apache Flink·2023-03-29 05:45

Apache Flink不止于计算，数仓架构或兴起新一轮变革

作者|蔡芳芳采访嘉宾|王峰（莫问）维基百科的“ApacheFlink”词条下，有这么一句描述：“Flink并不提供自己的数据存储系统，但为AmazonKinesis、ApacheKafka、Alluxio
zhisheng_blog·2023-03-29 04:28

从“少林寺”毕业后，我当上了开源社区“区长”

本期名人堂我们有幸邀请到了Alluxio创始成员兼开源社区副总裁范斌先生。范斌先生讲述了自己的求学、工作、加入开源社区的经历，以及对未来十年数据编排发展的展望，和对开发贡献者的一些建议。
Alluxio·2023-03-25 00:09

Alluxio 2022技术干货年终大赏

2022，我们积累了很多应用案例，邀请了很多嘉宾参与了我们的社区直播活动17场主题活动（AlluxioDay、Meetup、DatafunSummit等）44位嘉宾44个主题（来自一线大厂的实战者）2000
Alluxio·2023-03-25 00:09

如何借力Alluxio推动大数据产品性能提升与成本优化？

存算分离将存储系统和计算框架拆分为独立的模块，Alluxio作为如今主流云数据编排软件之一，为计算型应用（如ApacheSpark、Presto）和存储系统（如AmazonS3、AlibabaOSS）的数据访问构建了桥梁
Alluxio·2023-03-25 00:09

Alluxio跨集群同步机制的设计与实现

一、Alluxio应用场景和背景Alluxio跨集群同步机制的设计和实现确保了在运行多个Alluxio集群时，元数据是一致的。
Alluxio·2023-03-25 00:36

关于Alluxio 2.0，你要知道的都在这里了

2019-02-12，Alluxio团队奋战了快半年的一个重大的里程碑：2.0.0预览版的第一个候选版本（ReleaseCandidate1或RC1)发布了！
apc999·2023-03-11 09:01

Alluxio on Amazon EMR 集成实践

背景Alluxio是大数据技术堆栈的分布式缓存，对于S3,hdfs等数据的warmup有显著的性能提升，且与上层计算引擎如Hive,spark,Trino都有深度的集成，做为大数据领域的查询加速是一个不可多得的功能组件
亚马逊云开发者·2023-01-30 15:21

Alluxio使用初体验（单机版本安装）

1.官网（https://www.alluxio.org）下载我这里下载的是最新版本的alluxio-1.7.1-hadoop-2.62.解压tar-xzfalluxio-1.7.1-hadoop-2.6
代码足迹·2023-01-30 10:53

从“少林寺”毕业后，我当上了开源社区“区长”

本期名人堂我们有幸邀请到了Alluxio创始成员兼开源社区副总裁范斌先生。范斌先生讲述了自己的求学、工作、加入开源社区的经历，以及对未来十年数据编排发展的展望，和对开发贡献者的一些建议。
·2023-01-04 12:57

【蚂蚁】Alluxio在蚂蚁集团大规模训练中的应用

本期内容我们邀请到了来自蚂蚁集团的开发工程师陈传迎老师，给大家分享Alluxio在蚂蚁集团是如何支持大规模模型训练的。首先是关于引入Alluxio的背景：为什么要引入Alluxio？
Alluxio·2022-12-30 09:29

【B站】Presto + Alluxio：B站数据库系统性能提升实践

为了解决这一问题，B站做了诸多的实践探索，采用Presto搭配Alluxio的模式来提高系统性能，具体的探索内容将从以下4个维度进行分享：内容概览：B站离线集群架构>>B站SQLOnHadoop的架
Alluxio·2022-12-30 09:29

大咖分享 | 如何构建 Alluxio 审计日志分析系统

本文作者：耿云涛本文作者：葛大力大数据技术日新月异，数据湖、数据中台、逻辑数据湖、数据编织、数据编排等数据建设理念不断出现、深化，究其根本依然是如何能够将数据规整起来，以统一的规范对数据的脉络进行梳理，形成统一的视图、统一的标准，实现业务层面的数据治理目标。对于任何一种数据建设理念，数据安全都是绕不开的话题，数据安全的保障也是一个数据平台能否真正交付使用的准入门槛。数据安全大体从4个维度展开：认证
Alluxio·2022-12-30 09:59

Alluxio 2.9新版发布 | 重塑架构，支持大规模多租户环境

/Alluxio宣布正式发布数据编排平台2.9版本/Alluxio2.9版本的主要新增功能包括：新增跨环境集群同步功能、增强Alluxio在Kubernetes上的可管理性、提高S3API安全性和用户体验
Alluxio·2022-12-30 09:59

从博士论文到被各大厂应用，Alluxio 如何走过 7 年创业路

今年2月，Alluxio宣布以实现收入同比增长3倍的成绩结束了2022财年。
Alluxio·2022-12-30 09:59

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

此次Alluxio与北京大学计算机学院达成合作框架协议，双方将在学术研究、人才培养、联合实验室、开源社区共建等方面展开深入合作，并将成立“云原生数据编排服务系统联合实验室”。
Alluxio·2022-12-30 09:58

Alluxio Local Cache 监控指南

作者张策：AlluxioPMC&联通大数据工程师01什么是AlluxioLocalCache随着云计算在基础设施领域的市场份额持续上升，主流数据分析引擎纷纷选择独立扩展存储、计算来适配云基础设施，并以此为云提供商降低成本
Alluxio·2022-12-30 09:28

Presto on Alluxio By Alluxio SDS 单节点搭建

目录一、总体架构二、搭建过程三、配置环境变量四、搭建过程五、搭建Presto六、搭建Alluxio七、重配Presto使用AlluxioSDS修改catalog配置重启PrestoServer运行prestocli
Alluxio·2022-12-30 09:28

【Iceberg＋Alluxio】助力加速数据通道（上篇）

作者简介陈寿纬：Alluxio软件工程师，在Alluxio主要负责数据湖方案结合、结构化数据与高可用性优化等相关工作。
Alluxio·2022-12-30 09:28

【Iceberg＋Alluxio】助力加速数据通道（下篇）

作者简介王北南，Alluxio软件工程师，也是PrestoDB的committer。
Alluxio·2022-12-30 09:28

帮助 Meta 解决 Presto 中的数据孤岛问题

本文转载自InfoQ官网作者：Alluxio-钟荣荣；Meta-JamesSun&KeWangRaptor是用来支持Meta（以前的Facebook）中的一些关键交互式查询工作负载的Presto连接器（
Alluxio·2022-12-30 09:58

B站基于Iceberg+Alluxio助力湖仓一体项目落地实践

欢迎来到【微直播间】，2min纵览大咖观点本期分享的题目是B站基于Iceberg+Alluxio助力湖仓一体项目落地实践，内容包含诸多技术细节，主要从以下4个维度进行分享：摘要01.B站湖仓一体项目的背景介绍当前
Alluxio·2022-12-30 09:57

【联通】数据编排技术在联通的应用

本次分享内容将围绕四个方面讲述Alluxio数据编排技术在联通的应用，主要围绕缓存加速、存算分离、混合负载以及轻量级分析四个不同的使用场景进行分享：摘要01.在缓存加速方面的应用为了加速Spark计算，
Alluxio·2022-12-30 09:57

使用 Presto 和 Alluxio 在 AWS 上搭建高性能平台来支持实时游戏服务

本文介绍了在AWS上搭建的基于Presto和Alluxio的数据平台，如何为游戏产业提供即时响应的在线服务。EA的数据与人工智能部门搭建了数百个平台，来管理游戏和用户每天产生的PB级数据。
Alluxio·2022-12-30 09:27

华能 + Alluxio | 数字化浪潮下跨地域数据联邦访问与分析

1.数字化转型与国产化进程推进为了响应国家“十四五”数字经济发展规划的号召，中国企业推动创新资源共建共享，促进创新模式开放化演进，在信息化、数字化、智能化的强烈需求下，中国龙头企业统筹全渠道的技术能力，逐渐形成了一套覆盖集团业务发展、经营管理等核心发展战略需要的战略方向。数字化转型初见成效，数据能力不断挖掘与创新；大数据技术推陈出新，国产化步伐日益加快。无论是互联网企业还是传统行业下的领导企业，有
Alluxio·2022-12-30 09:27

2min速览：从设计、实现和优化角度浅谈Alluxio元数据同步

目录内容速览：01.Alluxio简介02.Alluxio数据挂载1.Alluxio统一的数据命名空间2.Alluxio挂载点3.Alluxio策略化数据管理03.Alluxio底层存储一致性1.Alluxio
Alluxio·2022-12-30 09:27

Alluxio为Presto赋能跨云的自助服务能力

设计数据平台的考虑因素结论本文重点介绍两大流行开源项目Alluxio和Presto之间的协同作用，并展示如何利用两者实现跨云自助服务数据架构。
Alluxio·2022-12-30 09:26

如何用Alluxio加速云上深度学习训练？

微直播间】，2min纵览大咖观点随着企业数据量的不断增加，为了提高深度学习训练的准确性、加快速度并且降低成本，许多企业开始逐步在云上实施分布式训练的方案，本期内容将结合阿里、微软等实际应用案例，分享如何通过Alluxio
Alluxio·2022-12-30 09:55

如何用Alluxio加速云上深度学习训练？

微直播间】，2min纵览大咖观点随着企业数据量的不断增加，为了提高深度学习训练的准确性、加快速度并且降低成本，许多企业开始逐步在云上实施分布式训练的方案，本期内容将结合阿里、微软等实际应用案例，分享如何通过Alluxio
·2022-12-29 15:11

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

此次Alluxio与北京大学计算机学院达成合作框架协议，双方将在学术研究、人才培养、联合实验室、开源社区共建等方面展开深入合作，并将成立“云原生数据编排服务系统联合实验室”。
·2022-12-29 11:46

【蚂蚁】Alluxio在蚂蚁集团大规模训练中的应用

本期内容我们邀请到了来自蚂蚁集团的开发工程师陈传迎老师，给大家分享Alluxio在蚂蚁集团是如何支持大规模模型训练的。首先是关于引入Alluxio的背景：为什么要引入Alluxio？
·2022-12-28 20:22

Alluxio 集群环境配置

花了半天配置了下Alluxio，持久化数据库选用hdfs。
XhranXhran·2022-12-28 16:24

【备忘】《图解Spark 核心技术与案例实战》PDF

2．1SparkCore1．2．2SparkStreaming1．2．3SparkSQL1．2．4BlinkDB1．2．5MLBase/MLlib1．2．6GraphX1．2．7SparkR1．2．8Alluxio1
qq_38472089·2022-12-06 02:46

Spark系列之Spark体系架构

title:Spark系列第四章Spark体系架构4.1Spark核心功能Alluxio原来叫tachyon分布式内存文件系统SparkCore提供Spark最基础的最核心的功能，主要包括：1、SparkContext
落叶飘雪2014·2022-11-29 21:44

Fluid — 云原生环境下的高效“数据物流系统”

简介：为了解决大数据、AI等数据密集型应用在云原生计算存储分离场景下，存在的数据访问延时高、联合分析难、多维管理杂等痛点问题，南京大学PASALab、阿里巴巴、Alluxio在2020年9月份联合发起了开源项目
阿里云云栖号·2022-11-25 08:21

Apache顶级项目Ranger和Alluxio的最佳实践（附教程）

作者简介：GregPalmer（Alluxio首席解决方案工程师）目录介绍一、ApacheRanger二、Alluxio和ApacheRanger三、最佳实践选项一：Ranger管理Alluxio文件系统权限选项二
Alluxio·2022-10-20 22:59

组件

、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio
·2022-10-09 19:08

如何通俗地理解「分布式系统」；Vue是否可以在一个项目中使用多个UI框架；大厂上线流程：先上前端还是后端｜极客观点

话题发起人：Alluxio如何通俗地理解「分布式系统」，它解决了哪些问题，有什么优缺点？有趣的观点：关于“分布
·2022-10-08 12:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他