juicefs

详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化

JuiceFSsync是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。
Juicedata·2024-09-10 05:51

性能、成本与 POSIX 兼容性比较： JuiceFS vs EFS vs FSx for Lustre

JuiceFS是一款为云环境设计的分布式高性能文件系统。AmazonEFS易于使用且可伸缩，适用于多种应用。AmazonFSxforLustre则是面向处理快速和大规模数据工作负载的高性能文件系统。
Juicedata·2024-09-10 05:21

JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能

JuiceFS社区版v1.2今天正式发布，这是自2021年开源以来的第三个大版本。v1.2也是一个长期支持版本（LTS）。我们将持续维护v1.2以及v1.1这两个版本，v1.0将停止更新。
Juicedata·2024-09-06 01:24

千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略

2023年9月，AI领域的权威基准评测MLPerf推出了StorageBenchmark。该基准测试通过模拟机器学习I/O负载的方法，在不需要GPU的情况下就能进行大规模的性能压测，用以评估存储系统的在AI模型训练场景的适用性。目前支持两种模型训练：BERT（自然语言模型）和Unet3D（3D医学成像）。虽然目前不支持大语言模型如GPT、LLaMA，但BERT与大语言模型同为多层transform
·2024-02-28 15:34

用 JuiceFS 备份 Nginx 日志可以这么简单

用JuiceFS来备份可以节省你大量时间，我们会围绕这个主题写一系列的教程，整理出一套最佳实践，方便大家。今天第一篇就写写最常用的Nginx日志备份。
JuiceFS·2024-02-20 00:34

极限挑战：使用 Go 打造百亿级文件系统的实践之旅

JuiceFS企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。
·2024-02-11 18:49

分布式文件系统JuiceFS测试总结

前言2021年开始，开源社区出现了一款名为JuiceFS的云原生分布式文件系统。这是一款由国内公司开源的分布式文件系统，2021年1月在GitHub上开源，支持k8s原生适配及多种应用场景。
啊码·2024-02-06 03:34

【JuiceFS】理解juicefs缓存

文章目录1.简介2.数据一致性3.元数据缓存4.读写缓冲区4.1概念4.2预读和预取4.3写入4.4观测和调优5.数据缓存5.1内核页缓存5.2内核回写模式5.3客户端读缓存5.4客户端写缓存5.5缓存位置6.参考1.简介对于一个由对象存储和数据库组合驱动的文件系统，缓存是本地客户端与远端服务之间高效交互的重要纽带。读写的数据可以提前或者异步载入缓存，再由客户端在后台与远端服务交互执行异步上传或预
Henry Patch·2024-01-25 22:25

macOS 13（本机）golang程序交叉编译成 ARM架构

##背景golang程序（JuiceFS）需要支持ARM64架构，重新编译；本地环境：macOS：13##操作安装交叉编译工具：brewinstallFiloSottile/musl-cross/musl-cross
zmc@·2024-01-17 20:13

机器人行业数据闭环实践：从对象存储到 JuiceFS

JuiceFS社区聚集了来自各行各业的前沿科技用户。本次分享的案例来源于刻行，一家商用服务机器人领域科技企业。商用服务机器人指的是我们日常生活中常见的清洁机器人、送餐机器人、仓库机器人等。
Juicedata·2023-12-14 13:37

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
m0_72864708·2023-12-05 00:49

大数据技术合集（持续更新）

1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS、Lustre2.2分布式缓冲文件系统：Alluxio、JuiceFS2.3
amuseme_lu·2023-12-04 05:39

JuiceFS

在本文中，我们探讨了三种代表性分布式文件系统的设计原则、创新和解决的挑战：Google文件系统(GFS)、Tectonic和JuiceFS。
沃趣数据库管理平台·2023-12-02 00:34

k8s yaml 中如何写 shell 命令

spec:containers:-args:--c-|cd/juicefs/ls-1>/tmp/list.txtforiin`seq`;doecho$i;donecommand:-/bin/bashspec
时空无限·2023-11-16 18:14

必看的11个开源项目

SagooIOT-轻量级的物联网平台管理系统Mars3D-三维地球平台软件系统JuiceFS-为云环境设计，兼容POSIX、HDFS和S3协议的分布式文件系统fsr-集资产管理系统+监控系统+简单自愈系统为一体的运维管理故障自愈系统
少壮不努力老大敲代码·2023-10-20 06:46

JuiceFS 目录配额功能设计详解

JuiceFS在最近v1.1版本中加入了社区中呼声已久的目录配额功能。已发布的命令支持为目录设置配额、获取目录配额信息、列出所有目录配额等。完整的详细信息，请查阅文档。
Juicedata·2023-10-09 19:50

理想汽车 x JuiceFS：从 Hadoop 到云原生的演进与思考

理想汽车在Hadoop时代的技术架构首先简单回顾下大数据技术的发展，基于我个人的理解，将大数据的发展分了4个时期：第一个时期：2006年到2008年。2008年左右，Hadoop成为了Apache顶级项目，并正式发布了1.0版本，它的基础主要是基于谷歌的三驾马车，GFS、MapReduce、BigTable去定义的。第二个时期：2009年到2013年阶段。雅虎、阿里、Facebook等企业对大数据
JuiceFS·2023-09-28 22:41

Clickhouse存算分离的思考

ExploringstorageandcomputingseparationforClickHouse-JuiceFSBlogClickHouse存算分离改造：小红书自研云原生数据仓库实践唯品会翻牌ClickHouse后，实现百亿级数据自助分析_语言&开发_dbaplus社群_InfoQ精选文章在思考如何实现存算分离，感觉可以像JuiceFS
ELI_He999·2023-09-20 06:02

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-08-31 07:37

juicefs源码format命令阅读

之前博文中介绍过在windows下安装GO和vscodewindows下安装go环境和vscode中go扩展+调试1、获取源码gitclone https://github.com/juicedata/juicefs.git
guaizaiguaizai·2023-08-30 20:13

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-08-30 10:50

浅析 GlusterFS 与 JuiceFS 的架构异同

本文旨在通过对比分析的方式，介绍GlusterFS与JuiceFS的区别，为您的团队在技
Juicedata·2023-08-26 15:14

使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎

概览JuiceFS是一款面向云原生设计的高性能共享文件系统，在Apache2.0开源协议下发布。
·2023-08-26 00:31

浅析 GlusterFS 与 JuiceFS 的架构异同

本文旨在通过对比分析的方式，介绍GlusterFS与JuiceFS的区别，为您的团队在技
·2023-08-25 11:03

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-08-23 09:38

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-08-21 13:30

使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎

概览JuiceFS是一款面向云原生设计的高性能共享文件系统，在Apache2.0开源协议下发布。
·2023-08-19 18:52

实现无限存储：基于JuiceFS 创建 Samba 和 NFS 共享

本文将以Linux系统为例，介绍如何将JuiceFS（云原生分布式文件系统）作为Samba和NFS的底层存储，为企业提供高度可扩展的无限云存储解
Juicedata·2023-08-17 22:49

构建易于运维的 AI 训练平台：存储选型与最佳实践

我们尝试过文件系统包括有NFS、GlusterFS、Lustre和CephFS，最终选择了JuiceFS。在这个案例中，我们将为大家介绍工业A
Juicedata·2023-08-17 22:19

JuiceFS 在大搜车数据平台的实践

大搜车已经搭建起比较完整的汽车产业互联网协同生态。在这一生态中，不仅涵盖了大搜车已经数字化的全国90%中大型二手车商、9000+家4S店和70000+家新车二网，还包括大搜车旗下车易拍、车行168、运车管家、布雷克索等具备较强产业链服务能力的公司，与大搜车在新零售解决方案上达成深度战略合作的长城汽车、长安汽车、英菲尼迪等主机厂商，以及与中石油昆仑好客等产业链上下游的合作伙伴。基于这样的生态布局，大
·2023-08-16 18:34

使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎

概览JuiceFS是一款面向云原生设计的高性能共享文件系统，在Apache2.0开源协议下发布。
亚马逊云开发者·2023-08-14 17:21

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-08-12 06:53

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-08-10 16:44

湖仓一体存储架构的演进

对象存储的特征02不同类型存储系统比较1.HDFS的阿喀琉斯之踵-NameNode2.对象存储的阿喀琉斯之踵-元数据3.对象存储元数据性能及API限制03探索湖仓一体架构未来的存储选型1.技术关键点2.JuiceFS04
充电君·2023-07-31 17:16

深“扒”云原生高性能分布式文件系统JuiceFS

JuiceFS是一款面向云原生设计的高性能分布式文件系统，在Apache2.0开源协议下发布。
力哥讲技术·2023-07-26 05:36

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-07-21 06:50

juicefs使用glusterfs卷

并且juicefs要使用1.1.0以上版本。
时空无限·2023-07-19 18:43

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-07-18 14:47

JuiceFS-K8s部署

目录1、部署JuiceFS-CSI驱动2、创建OBS认证信息Secret3、创建存储类4、创建PVC--PVC创建时会自动创建PV5、创建测试Pod--测试Pod创建容器内是否挂载成功官网文档地址：https
IsIands·2023-07-14 04:29

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-06-20 18:28

如何使用 JuiceFS 创建 WebDAV 共享

WebDAV是一种基于HTTP的文件共享协议，最初被设计用于多用户文档协作编辑的场景，也被广泛应用在基于互联网的文件存储、数据同步等网盘类应用场景。手机端和PC端有大量的应用内置了对WebDAV的支持，比如知名的文献管理工具Zotero、iPad上流行的笔记工具Notability、国产办公软件WPS、跨平台Markdown笔记工具Joplin、ES文件管理器等等，这就意味着，只要拥有自己的Web
·2023-06-19 16:25

JuiceFS 在多云存储架构中的应用 | 深势科技分享

为何会选择JuiceFS？背景深势科技成立于2018年，是“AIforScience”科学研
2301_77700816·2023-06-16 13:34

之江实验室： 如何基于 JuiceFS 为超异构算力集群构建存储层 ？

今天，高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展，在医药领域快速分析分子与蛋白之间的相互作用，发现潜在的能够有效干预疾病发生的药物分子。之江实验室就是上述科研创新的推动者，实验室由浙江省政府主导、浙江大学等院校支持、企业参与的事业单位性质的新型研发机构，为材料、基因、制药、天文、育种等科学领域的研究提供新的方法、工具和手段。由于
Juicedata·2023-06-14 22:09

存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用

01-大数据运营的挑战&升级思考大数据运营面临的挑战中国电信大数据集群每日数据量庞大，单个业务单日量级可达到PB级别，且存在大量过期数据（冷数据）、冗余数据，存储压力大；每个省公司都有自己的集群，以及多个收集全国各省级业务信息的集团大数据集群，导致数据分散冗余，省集群与集团集群数据无法共享，跨地域任务延迟高。电信早在2012年就开始创建各种集群，内部集群由各个厂商或其他内部团队部署，承载的业务由各
·2023-06-14 18:13

之江实验室： 如何基于 JuiceFS 为超异构算力集群构建存储层 ？

今天，高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展，在医药领域快速分析分子与蛋白之间的相互作用，发现潜在的能够有效干预疾病发生的药物分子。之江实验室就是上述科研创新的推动者，实验室由浙江省政府主导、浙江大学等院校支持、企业参与的事业单位性质的新型研发机构，为材料、基因、制药、天文、育种等科学领域的研究提供新的方法、工具和手段。由于
·2023-06-14 18:24

之江实验室： 如何基于 JuiceFS 为超异构算力集群构建存储层 ？

>今天，高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展，在医药领域快速分析分子与蛋白之间的相互作用，发现潜在的能够有效干预疾病发生的药物分子。之江实验室就是上述科研创新的推动者，实验室由浙江省政府主导、浙江大学等院校支持、企业参与
JuiceFS·2023-06-14 17:00

如何借助分布式存储 JuiceFS 加速 AI 模型训练

传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像JuiceFS这样的分布式存储并不是必需品。
·2023-06-13 18:25

JuiceFS 社区版 v1.1- Beta 发布，新增五个实用功能

我们很高兴地宣布JuiceFSv1.1-Beta版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能：目录配额：为目录设置配额限制，控制其大小和文件数目录克隆：快速地复制目录及其内容，节省时间和空间一键恢复回收站文件：一次性地恢复某段时间内所有被删除的文件，无需逐个操作一键收集诊断信息：一键生成诊断报告，方便排查问题和反馈意见快速查看用量信息：快速查
·2023-06-12 15:03

从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储

豆瓣成立于2005年，是中国最早的社交网站之一。在2009到2019的十年间，豆瓣数据平台经历了几轮变迁，形成了DPark+Mesos+MooseFS的架构。由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋势，也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后，豆瓣数据平台目前形成了Spark+Kubernetes+Juic
Juicedata·2023-06-12 15:57

加速 AI 训练，如何在云上实现灵活的弹性吞吐？

今天，我们将分享苏锐在AWS量化投研行业活动的演讲实录，为大家介绍JuiceFS在AI量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。
Juicedata·2023-06-12 15:27
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他