ALLUXIO

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

此次Alluxio与北京大学计算机学院达成合作框架协议，双方将在学术研究、人才培养、联合实验室、开源社区共建等方面展开深入合作，并将成立“云原生数据编排服务系统联合实验室”。
·2022-09-30 17:46

Presto on Alluxio By Alluxio SDS 单节点搭建

总体架构急性子，想直接实操的，先绕过这个章节，直接看后边的实操步骤。把环境运行起来再看原理。Presto的架构如下图所示，client的请求，会递交给Coordinator进行处理，而元数据信息由HiveMetaStore(HMS)进行管理。那么表或分区的location信息，也在HMS中存放，因此，如果想把表或分区的数据放到其它存储系统里，则不得不修改HMS的信息，这增加了HMS的维护成本，而且
·2022-09-27 20:33

Alluxio Local Cache 监控指南 Alluxio Alluxio

作者张策：AlluxioPMC&联通大数据工程师01什么是AlluxioLocalCache随着云计算在基础设施领域的市场份额持续上升，主流数据分析引擎纷纷选择独立扩展存储、计算来适配云基础设施，并以此为云提供商降低成本
·2022-09-27 17:19

技能速成！教你10分钟内在电脑上配置运行Hive Metastore和Presto

作者：范斌；Alluxio创始成员、开源社区副总裁To初学者：本教程将指导初学者在本地服务器上通过搭建Presto和HiveMetastore来查询S3上的数据。
·2022-09-27 16:15

帮助 Meta 解决 Presto 中的数据孤岛问题

本文转载自InfoQ官网作者：Alluxio-钟荣荣；Meta-JamesSun&KeWangRaptor是用来支持Meta（以前的Facebook）中的一些关键交互式查询工作负载的Presto连接器（
·2022-09-27 15:09

【联通】数据编排技术在联通的应用

本次分享内容将围绕四个方面讲述Alluxio数据编排技术在联通的应用，主要围绕缓存加速、存算分离、混合负载以及轻量级分析四个不同的使用场景进行分享：摘要01.在缓存加速方面的应用为了加速Spark计算，
·2022-09-13 15:54

Apache顶级项目Ranger和Alluxio的最佳实践（附教程）

介绍Alluxio让计算引擎实现在任何云环境中的数据编排。
·2022-08-23 11:14

当内卷风波及代码领域，看Alluxio将会采取怎样的块分配策略

本期分享主题：《Alluxio块分配策略详解》全文主要围绕3个部分进行介绍：【策略详解概述】、【块分配策略介绍】、【代码层面解读】话不多说，直接上干货↓策略详解概述Alluxio的Worker负责存储用户的数据资源
·2022-08-19 14:31

6W+字记录实验全过程 | 探索Alluxio经济化数据存储策略

探索背景随着大数据应用的不断发展，数据仓库、数据湖的大数据实践层出不穷；无论是电信、金融、政府，各个行业的大数据热潮蓬勃发展。在过去的4-5年中，我们不断看到企业用户大数据膨胀问题日益加剧，大数据创新下数据存储成本呈现线性增长，使得企业对于大数据的应用开始变得谨慎、变向放缓了企业内部数据化转型的速度。核心的挑战：如何更加经济地构建数据湖存储体系。大数据存储引擎从2006年发布以来，百花齐放，计算侧
·2022-08-19 12:48

使用 Presto 和 Alluxio 在 AWS 上搭建高性能平台来支持实时游戏服务

本文介绍了在AWS上搭建的基于Presto和Alluxio的数据平台，如何为游戏产业提供即时响应的在线服务。EA的数据与人工智能部门搭建了数百个平台，来管理游戏和用户每天产生的PB级数据。
·2022-08-19 11:13

2min速览：从设计、实现和优化角度浅谈Alluxio元数据同步

内容速览：本期分享的题目是Alluxio元数据和数据的同步，从设计实现和优化的角度进行讨论，包括以下6个方面内容：01.Alluxio简介Alluxio是云原生的数据编排平台，通过解耦计算和存储层，在中间产生了一个数据编排层
·2022-08-18 13:04

华能 + Alluxio | 数字化浪潮下跨地域数据联邦访问与分析

1.数字化转型与国产化进程推进为了响应国家“十四五”数字经济发展规划的号召，中国企业推动创新资源共建共享，促进创新模式开放化演进，在信息化、数字化、智能化的强烈需求下，中国龙头企业统筹全渠道的技术能力，逐渐形成了一套覆盖集团业务发展、经营管理等核心发展战略需要的战略方向。数字化转型初见成效，数据能力不断挖掘与创新；大数据技术推陈出新，国产化步伐日益加快。无论是互联网企业还是传统行业下的领导企业，有
·2022-08-15 14:45

Amazon EMR 上的 Alluxio 集成实践

背景Alluxio的数据引擎性能，并没有与Trino相关的性能为大数据引擎领域提供服务，为S3、hdfs等数据提供温暖的计算层，如Hive、Spark、Spark的集成，做大数据引擎的集成，做大数据引擎的集成加速是一个不可多得的功能组件
·2022-08-12 15:16

Alluxio为Presto赋能跨云的自助服务能力

本文重点介绍两大流行开源项目Alluxio和Presto之间的协同作用，并展示如何利用两者实现跨云自助服务数据架构。
·2022-07-29 11:42

腾讯大咖分享 | 腾讯Alluxio(DOP)在金融场景的落地与优化实践

Alluxio导读近期，腾讯Alluxio团队与CDG金融数据团队、TEGsupersql团队、konajdk团队进行通力协作，解决了金融场景落地腾讯Alluxio(DOP=DataOrchestrationPlatform
·2022-07-15 11:10

【合集- 行业解决方案】如何搭建高性能的数据加速与数据编排平台 Alluxio

在2022年过去的半年时间里，Alluxio一共做过30场面向客户、用户、粉丝、关注者的直播分享。
·2022-06-30 18:28

金山云团队分享 | 关于Presto如何与Alluxio搭配的测试

导语金山云-企业云团队（赵侃、李金辉）在交互查询场景下对Presto与Alluxio相结合进行了一系列测试，并总结了一些Presto搭配Alluxio使用的建议。
·2022-06-23 12:52

什么是一致性哈希？可以应用在哪些场景？

本文作者：钟荣荣PrestoTSCmember/Commiter将Alluxio与Presto结合运行在社区中越来越流行，使用固态硬盘或内存来缓存热数据集，能够实现近Prestoworker的数据本地行
·2022-06-22 11:52

Alluxio 2.8版本重磅发布！3大提升抢先打开数据新世界

Alluxio导读近日，全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.8版本，新版本立即可用。
·2022-05-06 12:06

Linux 下查看内存问题

默认是KB（千字节）[root@VM-0-11-ubuntu/home/ubuntu/alluxio]$free-mtotalusedfreesharedbuff/cacheavailableMem
·2022-03-24 18:25

性能提升40%！阿里云神龙大数据加速引擎获TPCx-BB世界排名第一

简介：神龙大数据加速引擎，针对大数据常用组件，如Spark、Hadoop、Alluxio等,结合阿里云神龙架构的特性，进行软硬一体化优化，形成独一无二的性能优势，最终，使复杂SQL查询场景性能相比社区版
·2022-03-24 15:27

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践（下）

Fluid+Alluxio为集群引入了全新的架构，但是在具体场景适配方面我们还是遇到了一些问题，这些问题我们第一时间与社区反馈，社区都第一时间解决了我们的需求，这里主要讲下几个比较重要的特性支持：hostpath
·2022-03-24 14:26

Alluxio 与金山云达成合作，携手优化存算分离与湖仓一体架构

近日，全球首创的超大规模分布式数据编排软件开发商Alluxio与金山云达成合作，双方将共同探索数据编排技术在存算分离与湖仓一体等大数据应用趋势下的产品集成方案和实践场景，助力企业客户开展更为灵活及高效的大数据业务
·2022-03-24 14:52

性能提升40%！阿里云神龙大数据加速引擎获TPCx-BB世界排名第一

简介：神龙大数据加速引擎，针对大数据常用组件，如Spark、Hadoop、Alluxio等,结合阿里云神龙架构的特性，进行软硬一体化优化，形成独一无二的性能优势，最终，使复杂SQL查询场景性能相比社区版
·2022-03-23 11:09

Linux下 Alluxio 的编译和运行

第一次接触分布式项目，还是在Linux下编程，确实和Windows下编程有一点点不一样。没有一点点防备，就让我了解到不能用在windows上运行的代码，以及除了web开发之外的开发。熟悉了以前在Windows下的开发，用IDEA工具开发，点build编译项目（之前一直翻译成构建项目），点run运行项目，有时甚至都不点build。这个过程好像是肌肉记忆一般，熟练的让我忽略了这么做背后的原因，好像它本
·2022-03-18 09:14

了解分布式缓存系统 Alluxio

从技术上来讲，Alluxio是一个数据编排技术（数据编排，大概类似于一个平台，这个平台是用来管理数据的，主要是管理，对象是数据），它相当于一个数据层，在应用层和存储层之间加了一层，为上下两层搭建了桥梁，
·2022-03-18 09:44

大数据平台搭建-hbase集群的搭建

，包括如下内容：虚拟服务器安装基础环境安装zookeeper集群的搭建kafka集群的搭建hadoop/hbase集群的搭建spark集群的搭建flink集群的搭建elasticsearch集群的搭建alluxio
weixin_30840253·2022-02-28 10:31

揭秘Presto＋Alluxio 的N个核心"黑魔法"

可以给大家先简单介绍一下Presto，因为可能很多人是第一次接触这些大数据平台的技术。那Presto是什么呢？其实它就是能查询大量、海量数据的一个SQL数据库，SQL数据库大家已经见了很多了，MySQL、oracle这些都是SQL数据库。很多人可能也有体会，SQL是个很方便的查询数据的语言。那为什么要有Presto呢？首先如果你使用MySQL，oracle的话，你会发现它查一些小规模的数据,如果可
·2022-02-18 15:23

Alluxio+WeRide｜加速L4级自动驾驶技术开发进程

开源云数据编排软件开发商Alluxio近日宣布，全球领先的L4级自动驾驶技术智能出行公司文远知行WeRide已将Alluxio数据编排软件作为混合云存储网关，用于本地应用程序对AWSS3等公共云存储的访问
·2022-02-18 14:17

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践（下）

Fluid+Alluxio为集群引入了全新的架构，但是在具体场景适配方面我们还是遇到了一些问题，这些问题我们第一时间与社区反馈，社区都第一时间解决了我们的需求，这里主要讲下几个比较重要的特性支持：hostpath
·2022-02-18 14:46

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践（上）

云知声，是一家专注物联网人工智能服务公司。云知声的AI技术栈涵盖了信号、语音、图像、文本的感知和表达能力，知识、理解、分析、决策等认知技术，并朝着多模态人工智能系统方向发展。云知声Atlas超算平台作为底层基础架构，支持着公司在AI各个领域的模型训练与推理服务的开展。云知声很早就开始布局建设业界领先的GPU/CPU异构Atlas计算平台和分布式文件存储系统，该计算集群可为AI计算提供高性能计算和海
·2022-02-18 13:44

Alluxio+NVIDIA GPUs : 加速分析和人工智能

越来越多的数据处理使用NVIDIA计算来实现大规模并行。加速计算的发展意味着无论是在分析、人工智能(AI)还是机器学习(ML)过程中，对存储的访问也需要更快。如果数据访问很大程度影响执行时间，那么GPU加速带来的好处将是有限的。基于GPU的处理与基于CPU的集群相比，可以驱动更高的数据访问吞吐量。随着用于分析和人工智能的处理集群与数据存储系统的分离，加速数据访问将变得更加重要。NVIDIA已经和A
·2022-02-18 13:43

新生代工程师手把手教你玩转Alluxio＋ML（下篇）

上篇中提到了很多Alluxio为了加速读取数据做的各种各样的优化，那么对于用户来说还有一个非常重要的问题——在机器学习训练中使用Alluxio读数据到底有多快？
·2022-02-18 13:43

新生代工程师手把手教你玩转Alluxio＋ML（上篇）

相信很多人都非常熟悉,Alluxio是可以对各种不同的数据源，包括阿里云、腾讯云的数据进行缓存，以提升各种训练的性能，它上面包括了像PyTorch,Tensorflow等一系列训练的软件。
·2022-02-17 19:04

2.7版本发布丨Alluxio数据编排平台进一步深化对人工智能和机器学习工作负载在混合云和多云上的支持

“Alluxio2.7版本进一步巩固了Alluxio在云上人工智能（AI）、机器学习和深度学习方面的重要地位，”Alluxio创始人兼首席执行官李浩源表示。
·2022-02-17 18:03

【Alluxio&大厂】原来BOSS直聘是这样应用的

下面由我介绍Alluxio+Fluid在BOSS直聘算法平台的落地实践，我们本期的分享主要分为以下几个内容:首先，我会介绍一下Alluxio在我们这边使用的背景，另外我会介绍一下我们在使用过程中遇到的挑战
·2022-02-17 18:03

Meta（Facebook）: 基于Alluxio Shadow Cache优化Presto架构决策

Alluxio将其在数据层的创新作为Presto和各种分析应用程序和用例的关键支持技术。
·2022-02-17 17:52

Uber实战案例：基于Alluxio实现Presto缓存

如上图所示，在Uber，所有的决策都与数据有关。Presto以及其他各种查询引擎在Uber是被广泛使用的。例如，运营团队在Dashboard等服务中大量使用了Presto，而UberEats和市场团队也依赖于这些查询结果来确定价格。此外，Presto也在Uber的合规部、增长营销部门、ad-hoc数据分析等场景下使用。上图展示了Uber内部的一些重要数据。总的来说，目前Presto在Uber内部有
·2022-02-17 17:19

架构创新丨《Presto+Alluxio 概览》白皮书发布

为了解决这些挑战，我们提出了一个创新架构，建议搭配部署Presto和Alluxio。Alluxio是一个数据编排平台，连接计算框架和底
·2022-02-17 16:18

【Alluxio&大型银行】科技赋能金融，兴业银行按下“大数据处理加速键”

关于银保监会对银行业，包括保险业在金融科技方面提出的一些要求。我们后续会有几方面的重点建设方向：第一个就是大力推进云化转型，包括云原生的转型和大数据云等一系列云化的转型，对于我们的要求也是越来越高。第二也是比较重要的，持续优化科技与业务融合，用数字化支持企业数字化转型，通过为业务赋能为业务展开提供重要的科技基础。第三就是夯实技术基础，加大数据治理和资产管理体系的建设。第四是深化敏捷转型第五就是强化
·2022-02-17 16:46

【Iceberg＋Alluxio】助力加速数据通道（下篇）

可能很多人用Presto只用HiveConnector，其实Icebergconnector跟Hive差不多，不管从实现，还是从功能上都有互相的参照，尤其是在实现方面使用了非常多的Hiveconnector底层的代码。它创建table也是一样，我们可以从一个TPC-DS数据的customer表里抽几列再创建一个table，你可以指定这个数据的格式，可以是Parquet也可以是ORC格式。也可以同时
·2022-02-16 19:43

【Iceberg＋Alluxio】助力加速数据通道（上篇）

Alluxio是2014年在伯克利AMPLab孵化的一个项目，那时候名叫Tachyon，是跟Spark同一期孵化的分布式存储项目。
·2022-02-16 19:12

Alluxio中的元数据同步：设计、实现和优化

元数据同步（metadatasync）是Alluxio的一个核心功能，它能使文件和目录与底层存储系统中的数据源保持一致，便于用户通过Alluxio获取最新数据。
·2022-02-16 19:11

Alluxio 与金山云达成合作，携手优化存算分离与湖仓一体架构

近日，全球首创的超大规模分布式数据编排软件开发商Alluxio与金山云达成合作，双方将共同探索数据编排技术在存算分离与湖仓一体等大数据应用趋势下的产品集成方案和实践场景，助力企业客户开展更为灵活及高效的大数据业务
·2022-02-16 18:08

Alluxio 与阿里云正式达成技术合作

近日，开源云数据编排软件开发商Alluxio与阿里云达成技术合作，其核心产品Alluxio数据编排平台将与阿里云云原生数据仓库AnalyticDB集成，有效解决存储计算分离场景下从异构数据源读取数据带来的性能损耗
·2022-02-11 09:35

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践

简介：本文主要介绍云知声Atlas超算平台基于Fluid+Alluxio的计算加速实践，以及Fluid是如何为Atlas带来全新的数据集管理方式的。
·2022-02-09 14:15

Apache Flink 不止于计算，数仓架构或兴起新一轮变革

作者|蔡芳芳采访嘉宾|王峰（莫问）维基百科的“ApacheFlink”词条下，有这么一句描述：“Flink并不提供自己的数据存储系统，但为AmazonKinesis、ApacheKafka、Alluxio
·2022-01-10 11:21

性能提升40%！阿里云神龙大数据加速引擎获TPCx-BB世界排名第一

简介：神龙大数据加速引擎，针对大数据常用组件，如Spark、Hadoop、Alluxio等,结合阿里云神龙架构的特性，进行软硬一体化优化，形成独一无二的性能优势，最终，使复杂SQL查询场景性能相比社区版
·2021-12-30 10:18

极客日报：国美通报员工上班摸鱼；小米内部举报最多奖励100万；Epic CEO抨击苹果谷歌“双寡头”

将于AI方向创业国美通报员工上班摸鱼葡萄牙立法禁止雇主非工作时间联系员工EpicCEO抨击苹果谷歌“双寡头”微软部门主管考虑接班人计划苹果自动驾驶汽车测试人数扩大到137人Meta公司正在研发元宇宙手套Alluxio
极客日报·2021-11-17 09:41

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践

简介：本文主要介绍云知声Atlas超算平台基于Fluid+Alluxio的计算加速实践，以及Fluid是如何为Atlas带来全新的数据集管理方式的。
·2021-11-08 15:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他