JuiceFS

如何借助分布式存储 JuiceFS 加速 AI 模型训练

传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像JuiceFS这样的分布式存储并不是必需品。
·2023-06-13 18:25

JuiceFS 社区版 v1.1- Beta 发布，新增五个实用功能

我们很高兴地宣布JuiceFSv1.1-Beta版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能：目录配额：为目录设置配额限制，控制其大小和文件数目录克隆：快速地复制目录及其内容，节省时间和空间一键恢复回收站文件：一次性地恢复某段时间内所有被删除的文件，无需逐个操作一键收集诊断信息：一键生成诊断报告，方便排查问题和反馈意见快速查看用量信息：快速查
·2023-06-12 15:03

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

豆瓣成立于2005年，是中国最早的社交网站之一。在2009到2019的十年间，豆瓣数据平台经历了几轮变迁，形成了DPark+Mesos+MooseFS的架构。由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋势，也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后，豆瓣数据平台目前形成了Spark+Kubernetes+Juic
Juicedata·2023-06-12 15:57

加速 AI 训练，如何在云上实现灵活的弹性吞吐？

今天，我们将分享苏锐在AWS量化投研行业活动的演讲实录，为大家介绍JuiceFS在AI量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。
Juicedata·2023-06-12 15:27

如何借助分布式存储 JuiceFS 加速 AI 模型训练

传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像JuiceFS这样的分布式存储并不是必需品。
Juicedata·2023-06-12 15:26

JuiceFS 社区版 v1.1- Beta 发布，新增五个实用功能

我们很高兴地宣布JuiceFSv1.1-Beta版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能：目录配额：为目录设置配额限制，控制其大小和文件数目录克隆：快速地复制目录及其内容，节省时间和空间一键恢复回收站文件：一次性地恢复某段时间内所有被删除的文件，无需逐个操作一键收集诊断信息：一键生成诊断报告，方便排查问题和反馈意见快速查看用量信息：快速查
Juicedata·2023-06-12 15:26

JuiceFS 社区版 v1.1- Beta 发布，新增五个实用功能

我们很高兴地宣布JuiceFSv1.1-Beta版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能：-目录配额：为目录设置配额限制，控制其大小和文件数-目录克隆：快速地复制目录及其内容，节省时间和空间-一键恢复回收站文件：一次性地恢
JuiceFS·2023-06-12 14:00

从架构到特性：JuiceFS 企业版首次全面解析

大多数用户是通过社区版初次接触JuiceFS，企业版对大家来说可能比较陌生。与其他开源项目不同的是，JuiceFS企业版比社区版更早发布，社区版的架构设计大量参考了企业版。
Juicedata·2023-06-09 15:36

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-06-09 04:31

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-06-08 13:20

Shopee x JuiceFS：ClickHouse 冷热数据分离存储架构与实践

ShopeeClickHouse的冷热分离存储架构使用JuiceFS客户端mount远端对象存储到本地机器路径，通过编写ClickHouse的存储策略，如同使用多
JuiceFS·2023-04-20 17:24

JuiceFS：读流程源码分析 + 预取 + 淘汰

文章目录引言源码分析读同步线程处理slice读数据异步预取淘汰关键总结参考文献引言juicefs是一款面向云原生设计的高性能分布式文件系统，其有如下特点：数据存储和元数据存储分离，可以适配多种数据和元数据存储引擎
easonwx·2023-04-06 14:27

JuiceFS：写流程源码解析+刷盘+数据一致性分析

引言juicefs是一款面向云原生设计的高性能分布式文件系统，其有如下特点：数据存储和元数据存储分离，可以适配多种数据和元数据存储引擎。
easonwx·2023-04-06 14:57

Fluid-数据编排能力原理解析

建议先了解相关概念，为了便于理解，本文使用JuiceFS作为后端runtime引擎。
hahachenchen789·2023-04-05 08:43

juicefs对接K8S和ceph集群对象存储作为SC后端存储

1ceph启用对象存储1.1安装ceph对象存储ceph管理节点的工作目录下，给Ceph对象网关节点安装Ceph对象所需的软件包。ceph-deployinstall--rgwceph1安装对象存储ceph-deployrgwcreateceph1测试对象存储是否开启#curlhttp://ceph1:7480
cloud_engineer·2023-04-05 02:41

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

01-大数据运营的挑战&升级思考大数据运营面临的挑战中国电信大数据集群每日数据量庞大，单个业务单日量级可达到PB级别，且存在大量过期数据（冷数据）、冗余数据，存储压力大；每个省公司都有自己的集群，以及多个收集全国各省级业务信息的集团大数据集群，导致数据分散冗余，省集群与集团集群数据无法共享，跨地域任务延迟高。电信早在2012年就开始创建各种集群，内部集群由各个厂商或其他内部团队部署，承载的业务由各
Juicedata·2023-04-04 13:59

JuiceFS 在火山引擎边缘计算的应用实践

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。01-边缘场景存储挑战边缘存储主要面向适配边缘计算的典型业务场景，如边缘渲染。火山引擎边缘渲染依托底层海量算力资源，可助力用户实现百万渲染帧队列轻松编排、渲染任务就近调度、多任务多节点并行渲染，极大提升渲染简单介
Juicedata·2023-04-04 13:29

Sidecar-详解 JuiceFS CSI Driver 新模式

近期发布的JuiceFSCSIDriverv0.18版本中，我们提供了一种全新的方式访问文件系统，即JuiceFS客户端以Sidecar方式运行于应用Pod中，且客户端与应用同生命周期。
Juicedata·2023-04-04 13:29

云知声: 基于 JuiceFS 的超算平台存储实践

云知声从一家专注于语音及语言处理的技术公司，现在技术栈已经发展到具备图像、自然语言处理、信号等全栈式的AI能力，是国内头部人工智能独角兽企业。公司拥抱云计算，在智慧医疗、智慧酒店、智慧教育等方面都有相应的解决方案。Atlas是云知声的底层基础技术平台，支撑着云知声所有模型的迭代：第一层是业务层，主要是公司的业务如语音处理、图像处理、自然语言处理等。第二层是控制中心，从数据生产、数据接入到模型发布都
Juicedata·2023-04-04 13:58

如何使用 JuiceFS 创建 WebDAV 共享

WebDAV是一种基于HTTP的文件共享协议，最初被设计用于多用户文档协作编辑的场景，也被广泛应用在基于互联网的文件存储、数据同步等网盘类应用场景。手机端和PC端有大量的应用内置了对WebDAV的支持，比如知名的文献管理工具Zotero、iPad上流行的笔记工具Notability、国产办公软件WPS、跨平台Markdown笔记工具Joplin、ES文件管理器等等，这就意味着，只要拥有自己的Web
Juicedata·2023-04-04 13:58

浅析 SeaweedFS 与 JuiceFS 架构异同

本文将通过对比SeaweedFS与JuiceFS在设计与功能上的差异，以帮助读者进行更适合自己的选择。
Juicedata·2023-04-04 13:58

2022 JuiceFS 社区用户调研结果出炉

为了使JuiceFS的发展更贴合用户的真实需求，我们在三周前向社区发出了一份调研问卷。此次调研面向已经将JuiceFS应用于生产环境的用户，了解其在应用JuiceFS前和使用中的体验与评价。
Juicedata·2023-04-04 13:28

JuiceFS CSI Driver 常见问题排查指南

JuiceFSCSIDriver实现了容器编排系统的存储接口，使得用户可以在Kubernetes中以原生的方式使用JuiceFS。
Juicedata·2023-04-04 13:28

金山云：基于 JuiceFS 的 Elasticsearch 温冷热数据管理实践

01Elasticsearch广泛使用带来的成本问题Elasticsearch（下文简称“ES”）是一个分布式的搜索引擎，还可作为分布式数据库来使用，常用于日志处理、分析和搜索等场景；在运维排障层面，ES组成的ELK（Elasticsearch+Logstash+Kibana）解决方案，简单易用、响应速度快，并且提供了丰富的报表；高可用方面，ES提供了分布式和横向扩展；数据层面，支持分片和多副本。
Juicedata·2023-04-04 13:27

云上大数据存储：探究 JuiceFS 与 HDFS 的异同

JuiceFS是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。
Juicedata·2023-04-04 13:19

JuiceFS 在火山引擎边缘计算的应用实践

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。01-边缘场景存储挑战边缘存储主要面向适配边缘计算的典型业务场景，如边缘渲染。火山引擎边缘渲染依托底层海量算力资源，可助力用户实现百万渲染帧队列轻松编排、渲染任务就近调度、多任务多节点并行渲染，极大提升渲染简单介
·2023-02-17 15:45

JuiceFS 在火山引擎边缘计算的应用实践

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。01-边缘场景存储挑战边缘存储主要面向适配边缘计算的典型业务场景，如边缘渲染。火山引擎边缘渲染依托底层海量
JuiceFS·2023-02-17 14:00

JuiceFS 在火山引擎边缘计算的应用实践

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。边缘存储主要面向适配边缘计算的典型业务场景，如边缘渲染。火山引擎边缘渲染依托底层海量算力资源，可助力用户实现百万渲染帧队列轻松编排、渲染任务就近调度、多任务多节点并行渲染，极大提升渲染效率。边缘场景存储挑战这里简
·2023-02-16 20:59

如何使用 JuiceFS 创建 WebDAV 共享

WebDAV是一种基于HTTP的文件共享协议，最初被设计用于多用户文档协作编辑的场景，也被广泛应用在基于互联网的文件存储、数据同步等网盘类应用场景。手机端和PC端有大量的应用内置了对WebDAV的支持，比如知名的文献管理工具Zotero、iPad上流行的笔记工具Notability、国产办公软件WPS、跨平台Markdown笔记工具Joplin、ES文件管理器等等，这就意味着，只要拥有自己的Web
·2023-02-01 16:34

金山云：基于 JuiceFS 的 Elasticsearch 温冷热数据管理实践

01Elasticsearch广泛使用带来的成本问题Elasticsearch（下文简称“ES”）是一个分布式的搜索引擎，还可作为分布式数据库来使用，常用于日志处理、分析和搜索等场景；在运维排障层面，ES组成的ELK（Elasticsearch+Logstash+Kibana）解决方案，简单易用、响应速度快，并且提供了丰富的报表；高可用方面，ES提供了分布式和横向扩展；数据层面，支持分片和多副本。
·2023-01-27 16:59

元数据性能大比拼：HDFS vs S3 vs JuiceFS

元数据是存储系统的核心大脑，元数据性能对整个大数据平台的性能和扩展能力至关重要。尤其在处理海量文件的时候。在平台任务创建、运行和结束提交阶段，会存在大量的元数据create，open，rename和delete操作。因此，在进行文件系统选型时，元数据性能可谓是首当其冲需要考量的一个因素。目前主流的大数据存储方案中，HDFS是使用最为广泛的方案，已经过十几年的沉淀和积累；以AmazonS3为代表的对
·2023-01-27 16:58

JuiceFS CSI Driver 常见问题排查指南

JuiceFSCSIDriver实现了容器编排系统的存储接口，使得用户可以在Kubernetes中以原生的方式使用JuiceFS。
·2023-01-10 14:03

七款云上共享文件系统 POSIX 兼容性大比拼

JuiceFS一直非常重视对POSIX标准的高度兼容，在持续完善功能、提高性能的同时，尽力保持最大程度的POSIX兼容性。
·2023-01-10 14:32

乾象投资：基于JuiceFS 构建云上量化投研平台

背景乾象投资MetabitTrading成立于2018年，是一家以人工智能为核心的科技型量化投资公司。核心成员毕业于Stanford、CMU、清北等高校。目前，管理规模已突破30亿元人民币。Metabit非常重视基础平台的建设，有一支强大的ResearchInfrastructure团队。团队试图打破在单机上进行研发的壁垒，利用云计算进行更高效、安全的工具链研发。01量化的研究都在做什么作为一家成
·2023-01-10 14:32

云知声: 基于 JuiceFS 的超算平台存储实践

云知声从一家专注于语音及语言处理的技术公司，现在技术栈已经发展到具备图像、自然语言处理、信号等全栈式的AI能力，是国内头部人工智能独角兽企业。公司拥抱云计算，在智慧医疗、智慧酒店、智慧教育等方面都有相应的解决方案。Atlas是云知声的底层基础技术平台，支撑着云知声所有模型的迭代：第一层是业务层，主要是公司的业务如语音处理、图像处理、自然语言处理等。第二层是控制中心，从数据生产、数据接入到模型发布都
·2022-12-22 14:06

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
微服务技术分享·2022-12-21 12:21

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
微服务技术分享·2022-12-21 11:17

互联网摸鱼日报（2022-12-15）

Part2：解构数字能力veImageX演进之路：FPGAHEIF静图编码服务性能优化金山云：基于JuiceFS的Elasticsearch冷热数据管理实践字节跳动kube-apiserver高可用方案
每日摸鱼大王·2022-12-16 17:56

JuiceFS CSI Driver 常见问题排查指南

JuiceFSCSIDriver实现了容器编排系统的存储接口，使得用户可以在Kubernetes中以原生的方式使用JuiceFS。
·2022-12-14 14:12

元数据性能大比拼：HDFS vs S3 vs JuiceFS

元数据是存储系统的核心大脑，元数据性能对整个大数据平台的性能和扩展能力至关重要。尤其在处理海量文件的时候。在平台任务创建、运行和结束提交阶段，会存在大量的元数据create，open，rename和delete操作。因此，在进行文件系统选型时，元数据性能可谓是首当其冲需要考量的一个因素。目前主流的大数据存储方案中，HDFS是使用最为广泛的方案，已经过十几年的沉淀和积累；以AmazonS3为代表的对
Juicedata·2022-11-17 10:36

七款云上共享文件系统 POSIX 兼容性大比拼

JuiceFS一直非常重视对POSIX标准的高度兼容，在持续完善功能、提高性能的同时，尽力保持最大程度的POSIX兼容性。
Juicedata·2022-11-17 10:05

乾象投资：基于JuiceFS 构建云上量化投研平台

背景乾象投资MetabitTrading成立于2018年，是一家以人工智能为核心的科技型量化投资公司。核心成员毕业于Stanford、CMU、清北等高校。目前，管理规模已突破30亿元人民币。Metabit非常重视基础平台的建设，有一支强大的ResearchInfrastructure团队。团队试图打破在单机上进行研发的壁垒，利用云计算进行更高效、安全的工具链研发。01量化的研究都在做什么作为一家成
Juicedata·2022-11-17 10:05

元数据性能大比拼：HDFS vs S3 vs JuiceFS

元数据是存储系统的核心大脑，元数据性能对整个大数据平台的性能和扩展能力至关重要。尤其在处理海量文件的时候。在平台任务创建、运行和结束提交阶段，会存在大量的元数据create，open，rename和delete操作。因此，在进行文件系统选型时，元数据性能可谓是首当其冲需要考量的一个因素。目前主流的大数据存储方案中，HDFS是使用最为广泛的方案，已经过十几年的沉淀和积累；以AmazonS3为代表的对
Juicedata·2022-11-17 10:05

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
微服务技术分享·2022-11-10 10:34

JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践

企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在Elasticsearch与ClickHouse这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。同时，在存储介质方面，随着云计算的发展，对象存储以低廉的价格和弹性伸缩的空间获得了企业的青睐。越来越多的企业将温、冷数据迁移至对象存储。但如
Juicedata·2022-10-11 09:19

存储更弹性，详解 Fluid “ECI 环境数据访问” 新功能

近期，Fluid支持了阿里云ECI应用，并将JuiceFSRuntimeController设置为默认安装；JuiceFS也就此功能与Fluid完成了集成和测试工作。
Juicedata·2022-10-11 09:49

40+倍提升，详解 JuiceFS 元数据备份恢复性能优化之路

JuiceFS支持多种元数据存储引擎，且各引擎内部的数据管理格式各有不同。为了便于管理，JuiceFS自0.15.2版本提供了dump命令允许将所有元数据以统一格式写入到JSON文件进行备份。
Juicedata·2022-10-11 09:48

JuiceFS v1.0 正式发布，首个面向生产环境的 LTS 版本

JuiceFS是为云环境设计的分布式文件系统，同时兼容POSIX、HDFS、S3访问协议，也可以使用CSI方式在Kubernetes中作为PV使用，在大数据、机器学习，和需要共享文件存储的场景中广泛使用
Juicedata·2022-10-11 09:48

理想汽车 x JuiceFS：从 Hadoop 到云原生的演进与思考

理想汽车在Hadoop时代的技术架构首先简单回顾下大数据技术的发展，基于我个人的理解，将大数据的发展分了4个时期：第一个时期：2006年到2008年。2008年左右，Hadoop成为了Apache顶级项目，并正式发布了1.0版本，它的基础主要是基于谷歌的三驾马车，GFS、MapReduce、BigTable去定义的。第二个时期：2009年到2013年阶段。雅虎、阿里、Facebook等企业对大数据
Juicedata·2022-10-11 09:48

JuiceFS 新手必知 24 问

JuiceFS是一个创新性的软件产品，很多初次尝试的小伙伴对产品和用法感到很多疑惑，所以为了帮助大家快速理解并上手JuiceFS，我们整理了24个关于JuiceFS经典的问题答案，相信经过这24问，大家对
Juicedata·2022-10-11 09:18
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他