Alluxio

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践

Fluid是云原生基金会CNCF下的云原生数据编排和加速项目，由南京大学、阿里云及Alluxio社区联合发起并开源。
·2021-11-04 21:59

云知声 Atlas 超算平台: 基于 Fluid + Alluxio 的计算加速实践

Fluid是云原生基金会CNCF下的云原生数据编排和加速项目，由南京大学、阿里云及Alluxio社区联合发起并开源。
阿里巴巴云原生·2021-11-04 20:00

Fluid+Alluxio助力AI与大数据云原生

AlluxioAlluxio是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。
Li_MAX·2021-10-20 17:41

MLSQL：融合 Spark+Ray，让企业低成本落地 Data+AI

近日由Kyligence主办的Data&CloudSummit2021行业峰会在上海成功举办，此次峰会特设「开源有道」分论坛，邀请了来自ApacheKylin，ApacheSpark，Alluxio，Linkis
祝威廉·2021-08-26 10:41

GooseFS助力大数据业务数倍提升计算能力

GooseFS基于开源大数据缓存方案Alluxio进行设计和研发。
·2021-08-11 00:14

Fluid 进入 CNCF Sandbox，加速大数据和 AI 应用拥抱云原生

Fluid是一个由南京大学、阿里云以及Alluxio开源社区联合发起并开源的云原生数据编排和加速系统。
·2021-06-18 21:58

史上最全！大数据开源框架技术扫盲

、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio
华矩数诊台·2021-06-12 19:11

Alluxio：用例

1.对象存储数据加速许多组织中，越来越流行的架构是利用对象存储作为数据分析应用程序（Spark、Presto、Hadoop）的重要数据源。对象存储可以是公共对象存储服务(如AWSS3、Azureblob存储、谷歌云存储、阿里云OSS或腾讯COS)，也可以是内部对象存储(如Ceph或Swift)。虽然对象存储通常更划算、更易于伸缩和维护，但是它们不具有与文件系统相同的功能，即使提供了类似于文件系统的
阿猫阿狗Hakuna·2021-06-09 09:52

Alluxio部署（local模式）

下载（pre-buildforHadoop2.7)http://www.alluxio.org/download`解压tar-xvfalluxio-1.3.0-hadoop2.7-bin.tar生成配置文件
puroc·2021-05-14 16:08

2017年2月大数据精华文章集锦

选个关注热度上升的大数据工具学习下吧下一代大数据处理平台ApacheBeam成为Apache顶级项目大中型企业的天网ApacheGeode，毕业为Apache顶级项目ApacheCarbonData1.0.0发布及其新特性介绍Spark基于Alluxio
司小幽·2021-05-09 04:54

Alluxio+AVA：让深度训练数据上云

为了提高算法工程师训练模型的效率，我们使用Alluxio加速训练任务读取海量视频、图片等样本文件，并针对我们的应用场景，从元数据管理和读写分离等方向入手对Alluxio进行改造，实现了文件读写性能50%
示说网平台·2021-05-07 12:24

推酷《编程狂人》第一一六期

业界新闻Tachyon已支持阿里云OSS，正式改名AlluxioJDK9最终将包含Jigsaw模块系统微软狠挖甲骨文墙脚：从Oracle迁移到SQLServer免费Eclipse基金会发布下一代IDE，
推酷·2021-05-02 12:51

大数据技术体系分类

、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio
七_seven·2021-04-14 23:35

Fluid — 云原生环境下的高效“数据物流系统”

简介：为了解决大数据、AI等数据密集型应用在云原生计算存储分离场景下，存在的数据访问延时高、联合分析难、多维管理杂等痛点问题，南京大学PASALab、阿里巴巴、Alluxio在2020年9月份联合发起了开源项目
·2021-04-07 16:44

Fluid — 云原生环境下的高效“数据物流系统”

简介：为了解决大数据、AI等数据密集型应用在云原生计算存储分离场景下，存在的数据访问延时高、联合分析难、多维管理杂等痛点问题，南京大学PASALab、阿里巴巴、Alluxio在2020年9月份联合发起了开源项目
·2021-04-07 16:44

Fluid 0.5 版本：开启数据集缓存在线弹性扩缩容之路

简介：为了解决大数据、AI等数据密集型应用在云原生场景下，面临的异构数据源访问复杂、存算分离I/O速度慢、场景感知弱调度低效等痛点问题，南京大学PASALab、阿里巴巴、Alluxio在2020年6月份联合发起了开源项目
·2021-04-06 18:32

Fluid 0.5 版本：开启数据集缓存在线弹性扩缩容之路

简介：为了解决大数据、AI等数据密集型应用在云原生场景下，面临的异构数据源访问复杂、存算分离I/O速度慢、场景感知弱调度低效等痛点问题，南京大学PASALab、阿里巴巴、Alluxio在2020年6月份联合发起了开源项目
·2021-04-06 18:32

解读DLA SQL基于Alluxio的数据湖分析加速功能

简介：在存储计算分离的场景下，通过网络从远端存储读取数据是一个代价较大的操作，往往会带来性能的损耗。以OSS为例，OSS数据读取延时通常较本地磁盘大很多，同时OSS对单个用户使用的带宽上限做了限制，这都会对数据分析的延时造成影响。在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-03-30 17:02

解读DLA SQL基于Alluxio的数据湖分析加速功能

简介：在存储计算分离的场景下，通过网络从远端存储读取数据是一个代价较大的操作，往往会带来性能的损耗。以OSS为例，OSS数据读取延时通常较本地磁盘大很多，同时OSS对单个用户使用的带宽上限做了限制，这都会对数据分析的延时造成影响。在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-03-30 16:00

Fluid 0.5 版本发布：开启数据集缓存在线弹性扩缩容之路

简介：为了解决大数据、AI等数据密集型应用在云原生场景下，面临的异构数据源访问复杂、存算分离I/O速度慢、场景感知弱调度低效等痛点问题，南京大学PASALab、阿里巴巴、Alluxio在2020年6月份联合发起了开源项目
·2021-03-29 12:41

Fluid 0.5 版本发布：开启数据集缓存在线弹性扩缩容之路

co-founder来源|阿里巴巴云原生公众号导读：为了解决大数据、AI等数据密集型应用在云原生场景下，面临的异构数据源访问复杂、存算分离I/O速度慢、场景感知弱调度低效等痛点问题，南京大学PASALab、阿里巴巴、Alluxio
·2021-03-25 16:49

Alluxio 助力 Kubernetes，加速云端深度学习

简介：人工智能是近几年非常火热的技术领域，而推动这个领域快速演进的原动力包括以英伟达GPU为代表的异构算力，以TensorFlow，Pytorch为代表的的机器学习框架，以及海量的数据集。除此之外我们也发现了一个趋势，就是以Kubernetes和Docker为代表的容器化基础架构也成为了数据科学家的首选，这主要有两个因素：分别是标准化和规模化。比如TensorFlow，Pytorch的软件发布过程
·2021-03-17 04:05

Alluxio 助力 Kubernetes，加速云端深度学习

简介：人工智能是近几年非常火热的技术领域，而推动这个领域快速演进的原动力包括以英伟达GPU为代表的异构算力，以TensorFlow，Pytorch为代表的的机器学习框架，以及海量的数据集。除此之外我们也发现了一个趋势，就是以Kubernetes和Docker为代表的容器化基础架构也成为了数据科学家的首选，这主要有两个因素：分别是标准化和规模化。比如TensorFlow，Pytorch的软件发布过程
·2021-03-16 17:34

Alluxio 助力 Kubernetes，加速云端深度学习

作者|车漾阿里云高级技术专家范斌Alluxio创始成员，开源社区副总裁来源|阿里巴巴云原生公众号为什么要加速云端深度学习人工智能是近几年非常火热的技术领域，而推动这个领域快速演进的原动力包括以英伟达GPU
·2021-03-09 22:38

Alluxio 助力 Kubernetes，加速云端深度学习

作者|车漾阿里云高级技术专家范斌Alluxio创始成员，开源社区副总裁来源|阿里巴巴云原生公众号为什么要加速云端深度学习人工智能是近几年非常火热的技术领域，而推动这个领域快速演进的原动力包括以英伟达GPU
·2021-03-09 22:07

DLA SQL推出基于Alluxio的数据湖分析加速功能

简介：在存储计算分离的场景下，通过网络从远端存储读取数据是一个代价较大的操作，往往会带来性能的损耗。以OSS为例，OSS数据读取延时通常较本地磁盘大很多，同时OSS对单个用户使用的带宽上限做了限制，这都会对数据分析的延时造成影响。在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-01-27 12:37

DLA SQL推出基于Alluxio的数据湖分析加速功能

简介：在存储计算分离的场景下，通过网络从远端存储读取数据是一个代价较大的操作，往往会带来性能的损耗。以OSS为例，OSS数据读取延时通常较本地磁盘大很多，同时OSS对单个用户使用的带宽上限做了限制，这都会对数据分析的延时造成影响。在云原生数据湖分析（DLA）SQL引擎中，我们通过引入本地缓存机制，将热数据缓存在本地磁盘，拉近数据和计算的距离，减少从远端读取数据带来的延时和IO限制，实现更小的查询延
·2021-01-27 12:37

Alluxio的Raft HA实现

文章目录前言基于Raft实现的要点AlluxioRaftHA实现的相关角色类AlluxioRaftHA部分场景分析Leader重新选举监听处理JournalStateMachine的状态apply处理RaftHA
Android路上的人·2020-12-30 12:51

Fluid 0.4 新版本正式发布：支持数据预热，优化小文件场景

作者|顾荣PhotoCreidt@轻零导读：为了解决大数据、AI等数据密集型应用在云原生计算存储分离场景下，存在的数据访问延时高、联合分析难、多维管理杂等痛点问题，南京大学PASALab、阿里巴巴、Alluxio
阿里巴巴云原生·2020-11-17 18:40

Fluid 0.4 新版本正式发布：支持数据预热，优化小文件场景

作者|顾荣PhotoCreidt@轻零导读：为了解决大数据、AI等数据密集型应用在云原生计算存储分离场景下，存在的数据访问延时高、联合分析难、多维管理杂等痛点问题，南京大学PASALab、阿里巴巴、Alluxio
阿里巴巴云原生·2020-11-17 17:52

Fluid: 让大数据和 AI 拥抱云原生的一块重要拼图

如何驱动大数据、AI应用在云原生场景下高效运行是一个既有理论意义又具应用价值的重要挑战性问题，为系统化解决相关问题，学术界和工业界密切合作，南京大学PASALab副研究员顾荣博士、阿里云容器服务高级技术专家车漾、Alluxio
阿里云云栖号·2020-09-14 21:32

Alluxio介绍与作用

一、介绍AlluxioTachyon正式改名为alluxio，并发布v1.0.0版本，alluxio是内存高速虚拟分布式存储系统。
twj0823·2020-09-13 19:43

Alluxio2.X简要介绍

本文基于将alluxio2.X集成到大数据发行版的经验,从各个方面介绍alluxio什么是alluxio?alluxio是一个以内存为中心的分布式虚拟存储系统为什么需要alluxio?
匆匆z2·2020-09-11 09:40

Fluid: 让大数据和 AI 拥抱云原生的一块重要拼图

如何驱动大数据、AI应用在云原生场景下高效运行是一个既有理论意义又具应用价值的重要挑战性问题，为系统化解决相关问题，学术界和工业界密切合作，南京大学PASALab副研究员顾荣博士、阿里云容器服务高级技术专家车漾、Alluxio
阿里云开发者·2020-09-10 12:17

dubbo2.5-spring4-mybastis3.2-springmvc4-mongodb3.4-redis3.2整合（八）SpringMVC上传文件到FastDFS

其中有Lustre、HDFS、Gluster、Alluxio、Ceph、FastDFS。
请叫我东子·2020-08-24 16:22

Alluxio部署（集群模式）

下载（pre-buildforHadoop2.7)http://www.alluxio.org/download`解压tar-xvfalluxio-1.3.0-hadoop2.7-bin.tar生成配置文件
puroc·2020-08-24 00:12

大数据与云计算技术周报（第156期)

本期会给大家奉献上精彩的：MongoDB、Flink、Kubernetes、kylin、spark、Alluxio、机器学习、Hredis。全是干货，希望大家喜欢！！！
大数据和云计算技术·2020-08-22 20:43

分布式存储引擎 Alluxio 入门指南

01什么是AlluxioAlluxio是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。
大数据技术架构·2020-08-22 18:13

Alluxio介绍

附件参考资料:http://blog.csdn.net/lipeng_bigdata/article/details/50947891
u011180846·2020-08-22 18:03

独家揭秘RISELab实验室

UCBerkeley大学的AMPLab曾是大数据领域世界顶尖的实验室之一，六年来推出了多项主要的科技创新技术，比如ApacheSpark、ApacheMesos和Alluxio，而如今它即将关闭，取而代之的是
腾讯开发者·2020-08-22 17:53

spark 基础篇伯克利数据分析栈

BDAS伯克利数据分析栈1.spark的基础内容2.spark机器学习3.spark图挖掘4.spark深度学习5.alluxio系统介绍1.spark与bdashadoop源于google，时间为2004
keny风清扬·2020-08-19 18:30

分布式Alluxio配置部署

alluxio分布式配置分布式Alluxio：10.87.219.7#master10.87.219.8#worker110.87.219.9#worker21.下载Alluxio发布版本并解压到各个节点
土豆呀大土豆·2020-08-19 09:09

Alluxio与底层存储系统之间的元数据同步机制

文章目录前言Alluxio内部的元数据同步行为基于给定时间，Path粒度的UFSStatusCache引用前言Alluxio作为一套构建于底层存储系统之上的中间层，它必不可少的会涉及到于底层系统之间metadata
Android路上的人·2020-08-18 10:49

linux 鸟哥私房菜 从0到1 笔记（七）-未完待续

磁盘与文件系统——本章非常重要，笔记写得比较单薄，后续会做一个专题，结合hdfs/alluxio的文件/块管理来介绍。
GreatStep·2020-08-17 19:26

linux 鸟哥私房菜 从0到1 笔记（十三）

账号管理和ACL权限设置——非常重要，部署在linux上的分布式系统HDFS/Alluxio等，都需要通过systemcall来完成交互。与前面篇章断节了，重新编号。
GreatStep·2020-08-17 19:26

alluxio简单使用

alluxio简单使用本文是基于alluxio官网和自己实践整理。Alluxio版本：1.8.1CDH1.15.21、介绍以内存为中心的分布式虚拟存储系统。
爪哇者·2020-08-15 07:02

presto+alluxio查询性能分析

Alluxio+Presto查询1、总述主机cpu内存磁盘p1(master)16core64GB100GBP28core32GB100GBP28core32GB100GB之前我基于TPC-DS做了很多轮测试
爪哇者·2020-08-15 06:56

alluxio validateEnv local

#alluxiovalidateEnvlocal2018-03-0103:33:28,177INFOConfiguration-Configurationfile/home/xiaoxu/installSoftware
小徐xfg·2020-08-14 22:29

alluxio的启动

/alluxio-start.shlocalKilled0processesonalpha-cn-01Killed0processesonalpha-cn-01Killed0processesonalpha-cn
小徐xfg·2020-08-14 22:29

Alluxio的安装

配置Alluxio1-1）、修改配置文件在${ALLUXIO_HOME}/conf目录下，根据模板文件创建conf/alluxio-env.sh配置文件cpconf/alluxio-site.properties.templateconf
小徐xfg·2020-08-14 22:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他