E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
JuiceFS
详解
JuiceFS
sync 新功能,选择性同步增强与多场景性能优化
JuiceFSsync是一个强大的数据同步工具,支持在多种存储系统之间进行并发同步或迁移数据,包括对象存储、
JuiceFS
、NFS、HDFS、本地文件系统等。
Juicedata
·
2024-09-10 05:51
性能优化
性能、成本与 POSIX 兼容性比较:
JuiceFS
vs EFS vs FSx for Lustre
JuiceFS
是一款为云环境设计的分布式高性能文件系统。AmazonEFS易于使用且可伸缩,适用于多种应用。AmazonFSxforLustre则是面向处理快速和大规模数据工作负载的高性能文件系统。
Juicedata
·
2024-09-10 05:21
云原生
人工智能
运维
JuiceFS
社区版 v1.2 发布,新增企业级权限管理、平滑升级功能
JuiceFS
社区版v1.2今天正式发布,这是自2021年开源以来的第三个大版本。v1.2也是一个长期支持版本(LTS)。我们将持续维护v1.2以及v1.1这两个版本,v1.0将停止更新。
Juicedata
·
2024-09-06 01:24
云原生
运维
千卡利用率超98%,详解
JuiceFS
在权威AI测试中的实现策略
2023年9月,AI领域的权威基准评测MLPerf推出了StorageBenchmark。该基准测试通过模拟机器学习I/O负载的方法,在不需要GPU的情况下就能进行大规模的性能压测,用以评估存储系统的在AI模型训练场景的适用性。目前支持两种模型训练:BERT(自然语言模型)和Unet3D(3D医学成像)。虽然目前不支持大语言模型如GPT、LLaMA,但BERT与大语言模型同为多层transform
·
2024-02-28 15:34
机器学习人工智能运维
用
JuiceFS
备份 Nginx 日志可以这么简单
用
JuiceFS
来备份可以节省你大量时间,我们会围绕这个主题写一系列的教程,整理出一套最佳实践,方便大家。今天第一篇就写写最常用的Nginx日志备份。
JuiceFS
·
2024-02-20 00:34
极限挑战:使用 Go 打造百亿级文件系统的实践之旅
JuiceFS
企业版是一款为云环境设计的分布式文件系统,单命名空间内可稳定管理高达百亿级数量的文件。构建这个大规模、高性能的文件系统面临众多复杂性挑战,其中最为关键的环节之一就是元数据引擎的设计。
·
2024-02-11 18:49
go运维人工智能
分布式文件系统
JuiceFS
测试总结
前言2021年开始,开源社区出现了一款名为
JuiceFS
的云原生分布式文件系统。这是一款由国内公司开源的分布式文件系统,2021年1月在GitHub上开源,支持k8s原生适配及多种应用场景。
啊码
·
2024-02-06 03:34
Java
java
maven
学习
jar
c4java
【
JuiceFS
】理解
juicefs
缓存
文章目录1.简介2.数据一致性3.元数据缓存4.读写缓冲区4.1概念4.2预读和预取4.3写入4.4观测和调优5.数据缓存5.1内核页缓存5.2内核回写模式5.3客户端读缓存5.4客户端写缓存5.5缓存位置6.参考1.简介对于一个由对象存储和数据库组合驱动的文件系统,缓存是本地客户端与远端服务之间高效交互的重要纽带。读写的数据可以提前或者异步载入缓存,再由客户端在后台与远端服务交互执行异步上传或预
Henry Patch
·
2024-01-25 22:25
juiceFS
缓存
分布式
macOS 13(本机)golang程序交叉编译成 ARM架构
##背景golang程序(
JuiceFS
)需要支持ARM64架构,重新编译;本地环境:macOS:13##操作安装交叉编译工具:brewinstallFiloSottile/musl-cross/musl-cross
zmc@
·
2024-01-17 20:13
macos
golang
交叉编译
机器人行业数据闭环实践:从对象存储到
JuiceFS
JuiceFS
社区聚集了来自各行各业的前沿科技用户。本次分享的案例来源于刻行,一家商用服务机器人领域科技企业。商用服务机器人指的是我们日常生活中常见的清洁机器人、送餐机器人、仓库机器人等。
Juicedata
·
2023-12-14 13:37
大数据
人工智能
运维
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
m0_72864708
·
2023-12-05 00:49
架构
科技
人工智能
大数据技术合集(持续更新)
1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统:HDFS、Ceph、GlusterFS、Lustre2.2分布式缓冲文件系统:Alluxio、
JuiceFS
2.3
amuseme_lu
·
2023-12-04 05:39
BigData
大数据
JuiceFS
在本文中,我们探讨了三种代表性分布式文件系统的设计原则、创新和解决的挑战:Google文件系统(GFS)、Tectonic和
JuiceFS
。
沃趣数据库管理平台
·
2023-12-02 00:34
技术专栏
架构
分布式
云原生
数据库
k8s yaml 中如何写 shell 命令
spec:containers:-args:--c-|cd/
juicefs
/ls-1>/tmp/list.txtforiin`seq`;doecho$i;donecommand:-/bin/bashspec
时空无限
·
2023-11-16 18:14
Kubernetes
kubernetes
必看的11个开源项目
SagooIOT-轻量级的物联网平台管理系统Mars3D-三维地球平台软件系统
JuiceFS
-为云环境设计,兼容POSIX、HDFS和S3协议的分布式文件系统fsr-集资产管理系统+监控系统+简单自愈系统为一体的运维管理故障自愈系统
少壮不努力老大敲代码
·
2023-10-20 06:46
开源
JuiceFS
目录配额功能设计详解
JuiceFS
在最近v1.1版本中加入了社区中呼声已久的目录配额功能。已发布的命令支持为目录设置配额、获取目录配额信息、列出所有目录配额等。完整的详细信息,请查阅文档。
Juicedata
·
2023-10-09 19:50
数据库
大数据
理想汽车 x
JuiceFS
:从 Hadoop 到云原生的演进与思考
理想汽车在Hadoop时代的技术架构首先简单回顾下大数据技术的发展,基于我个人的理解,将大数据的发展分了4个时期:第一个时期:2006年到2008年。2008年左右,Hadoop成为了Apache顶级项目,并正式发布了1.0版本,它的基础主要是基于谷歌的三驾马车,GFS、MapReduce、BigTable去定义的。第二个时期:2009年到2013年阶段。雅虎、阿里、Facebook等企业对大数据
JuiceFS
·
2023-09-28 22:41
Clickhouse存算分离的思考
ExploringstorageandcomputingseparationforClickHouse-JuiceFSBlogClickHouse存算分离改造:小红书自研云原生数据仓库实践唯品会翻牌ClickHouse后,实现百亿级数据自助分析_语言&开发_dbaplus社群_InfoQ精选文章在思考如何实现存算分离,感觉可以像
JuiceFS
ELI_He999
·
2023-09-20 06:02
大数据
clickhouse
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-08-31 07:37
架构
spring
juicefs
源码format命令阅读
之前博文中介绍过在windows下安装GO和vscodewindows下安装go环境和vscode中go扩展+调试1、获取源码gitclone https://github.com/juicedata/
juicefs
.git
guaizaiguaizai
·
2023-08-30 20:13
GO
juicefs
format
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-08-30 10:50
架构
科技
人工智能
浅析 GlusterFS 与
JuiceFS
的架构异同
本文旨在通过对比分析的方式,介绍GlusterFS与
JuiceFS
的区别,为您的团队在技
Juicedata
·
2023-08-26 15:14
架构
大数据
运维
人工智能
使用 Amazon MemoryDB for Redis 作为
JuiceFS
的元数据引擎
概览
JuiceFS
是一款面向云原生设计的高性能共享文件系统,在Apache2.0开源协议下发布。
·
2023-08-26 00:31
amazon
浅析 GlusterFS 与
JuiceFS
的架构异同
本文旨在通过对比分析的方式,介绍GlusterFS与
JuiceFS
的区别,为您的团队在技
·
2023-08-25 11:03
运维存储文件系统
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-08-23 09:38
架构
科技
人工智能
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-08-21 13:30
架构
科技
人工智能
使用 Amazon MemoryDB for Redis 作为
JuiceFS
的元数据引擎
概览
JuiceFS
是一款面向云原生设计的高性能共享文件系统,在Apache2.0开源协议下发布。
·
2023-08-19 18:52
amazon
实现无限存储:基于
JuiceFS
创建 Samba 和 NFS 共享
本文将以Linux系统为例,介绍如何将
JuiceFS
(云原生分布式文件系统)作为Samba和NFS的底层存储,为企业提供高度可扩展的无限云存储解
Juicedata
·
2023-08-17 22:49
人工智能
运维
大数据
构建易于运维的 AI 训练平台:存储选型与最佳实践
我们尝试过文件系统包括有NFS、GlusterFS、Lustre和CephFS,最终选择了
JuiceFS
。在这个案例中,我们将为大家介绍工业A
Juicedata
·
2023-08-17 22:19
运维
人工智能
云计算
JuiceFS
在大搜车数据平台的实践
大搜车已经搭建起比较完整的汽车产业互联网协同生态。在这一生态中,不仅涵盖了大搜车已经数字化的全国90%中大型二手车商、9000+家4S店和70000+家新车二网,还包括大搜车旗下车易拍、车行168、运车管家、布雷克索等具备较强产业链服务能力的公司,与大搜车在新零售解决方案上达成深度战略合作的长城汽车、长安汽车、英菲尼迪等主机厂商,以及与中石油昆仑好客等产业链上下游的合作伙伴。基于这样的生态布局,大
·
2023-08-16 18:34
大数据云存储云计算hadoop
使用 Amazon MemoryDB for Redis 作为
JuiceFS
的元数据引擎
概览
JuiceFS
是一款面向云原生设计的高性能共享文件系统,在Apache2.0开源协议下发布。
亚马逊云开发者
·
2023-08-14 17:21
redis
数据库
缓存
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-08-12 06:53
架构
科技
人工智能
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-08-10 16:44
架构
科技
人工智能
湖仓一体存储架构的演进
对象存储的特征02不同类型存储系统比较1.HDFS的阿喀琉斯之踵-NameNode2.对象存储的阿喀琉斯之踵-元数据3.对象存储元数据性能及API限制03探索湖仓一体架构未来的存储选型1.技术关键点2.
JuiceFS
04
充电君
·
2023-07-31 17:16
微服务+云原生
hadoop
大数据
hdfs
深“扒”云原生高性能分布式文件系统
JuiceFS
JuiceFS
是一款面向云原生设计的高性能分布式文件系统,在Apache2.0开源协议下发布。
力哥讲技术
·
2023-07-26 05:36
云原生
大数据
linux
云原生
hdfs
云计算
分布式
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-07-21 06:50
架构
科技
人工智能
juicefs
使用glusterfs卷
并且
juicefs
要使用1.1.0以上版本。
时空无限
·
2023-07-19 18:43
linux
linux
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-07-18 14:47
架构
科技
人工智能
JuiceFS
-K8s部署
目录1、部署
JuiceFS
-CSI驱动2、创建OBS认证信息Secret3、创建存储类4、创建PVC--PVC创建时会自动创建PV5、创建测试Pod--测试Pod创建容器内是否挂载成功官网文档地址:https
IsIands
·
2023-07-14 04:29
kubernetes
云原生
容器
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-06-20 18:28
架构
科技
算法
如何使用
JuiceFS
创建 WebDAV 共享
WebDAV是一种基于HTTP的文件共享协议,最初被设计用于多用户文档协作编辑的场景,也被广泛应用在基于互联网的文件存储、数据同步等网盘类应用场景。手机端和PC端有大量的应用内置了对WebDAV的支持,比如知名的文献管理工具Zotero、iPad上流行的笔记工具Notability、国产办公软件WPS、跨平台Markdown笔记工具Joplin、ES文件管理器等等,这就意味着,只要拥有自己的Web
·
2023-06-19 16:25
人工智能存储文件系统运维
JuiceFS
在多云存储架构中的应用 | 深势科技分享
为何会选择
JuiceFS
?背景深势科技成立于2018年,是“AIforScience”科学研
2301_77700816
·
2023-06-16 13:34
架构
科技
算法
之江实验室: 如何基于
JuiceFS
为超异构算力集群构建存储层 ?
今天,高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展,在医药领域快速分析分子与蛋白之间的相互作用,发现潜在的能够有效干预疾病发生的药物分子。之江实验室就是上述科研创新的推动者,实验室由浙江省政府主导、浙江大学等院校支持、企业参与的事业单位性质的新型研发机构,为材料、基因、制药、天文、育种等科学领域的研究提供新的方法、工具和手段。由于
Juicedata
·
2023-06-14 22:09
数据库
系统架构
运维
存算分离实践:
JuiceFS
在中国电信日均 PB 级数据场景的应用
01-大数据运营的挑战&升级思考大数据运营面临的挑战中国电信大数据集群每日数据量庞大,单个业务单日量级可达到PB级别,且存在大量过期数据(冷数据)、冗余数据,存储压力大;每个省公司都有自己的集群,以及多个收集全国各省级业务信息的集团大数据集群,导致数据分散冗余,省集群与集团集群数据无法共享,跨地域任务延迟高。电信早在2012年就开始创建各种集群,内部集群由各个厂商或其他内部团队部署,承载的业务由各
·
2023-06-14 18:13
大数据文件系统运维数据库
之江实验室: 如何基于
JuiceFS
为超异构算力集群构建存储层 ?
今天,高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展,在医药领域快速分析分子与蛋白之间的相互作用,发现潜在的能够有效干预疾病发生的药物分子。之江实验室就是上述科研创新的推动者,实验室由浙江省政府主导、浙江大学等院校支持、企业参与的事业单位性质的新型研发机构,为材料、基因、制药、天文、育种等科学领域的研究提供新的方法、工具和手段。由于
·
2023-06-14 18:24
之江实验室: 如何基于
JuiceFS
为超异构算力集群构建存储层 ?
>今天,高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展,在医药领域快速分析分子与蛋白之间的相互作用,发现潜在的能够有效干预疾病发生的药物分子。之江实验室就是上述科研创新的推动者,实验室由浙江省政府主导、浙江大学等院校支持、企业参与
JuiceFS
·
2023-06-14 17:00
如何借助分布式存储
JuiceFS
加速 AI 模型训练
传统的机器学习模型,数据集比较小,模型的算法也比较简单,使用单机存储,或者本地硬盘就足够了,像
JuiceFS
这样的分布式存储并不是必需品。
·
2023-06-13 18:25
人工智能深度学习运维
JuiceFS
社区版 v1.1- Beta 发布,新增五个实用功能
我们很高兴地宣布JuiceFSv1.1-Beta版本正式发布啦!这是一个功能丰富的版本,带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能:目录配额:为目录设置配额限制,控制其大小和文件数目录克隆:快速地复制目录及其内容,节省时间和空间一键恢复回收站文件:一次性地恢复某段时间内所有被删除的文件,无需逐个操作一键收集诊断信息:一键生成诊断报告,方便排查问题和反馈意见快速查看用量信息:快速查
·
2023-06-12 15:03
文件系统存储
从本地到云端:豆瓣如何使用
JuiceFS
实现统一的数据存储
豆瓣成立于2005年,是中国最早的社交网站之一。在2009到2019的十年间,豆瓣数据平台经历了几轮变迁,形成了DPark+Mesos+MooseFS的架构。由机房全面上云的过程中,原有这套架构并不能很好的利用云的特性,豆瓣需要做一次全面的重新选型,既要考虑未来十年的发展趋势,也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后,豆瓣数据平台目前形成了Spark+Kubernetes+Juic
Juicedata
·
2023-06-12 15:57
linux
运维
服务器
加速 AI 训练,如何在云上实现灵活的弹性吞吐?
今天,我们将分享苏锐在AWS量化投研行业活动的演讲实录,为大家介绍
JuiceFS
在AI量化投研领域的应用经验,也希望为其他正在云上构建机器学习平台,面临热点数据吞吐不足的企业提供一些启发。
Juicedata
·
2023-06-12 15:27
人工智能
上一页
1
2
3
4
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他