JuiceFS

让 JuiceFS 帮你做好「异地备份」

家住北京西二旗的小张是一家互联网金融公司的运维工程师，金融行业的数据可是很值钱的，任何的损坏和丢失都不能容忍。为此，小张选了北京品质最高的机房，买了品质最好的硬件，做了全面的数据备份容灾策略：每24小时做一次全量备份，每1小时做一次快照备份，还有每5分钟的增量备份。备份的数据存于专门的备份服务器，在分布式系统中会有3拷贝冗余，而且还考虑了跨机架的副本放置策略。每个环节都有监控和报警，系统运转良好，
·2022-02-15 16:15

上汽云 x JuiceFS : iGear 用了这个小魔法，模型训练速度提升 300%

一个高精度AI模型离不开大量的优质数据集，这些数据集往往由标注结果文件和海量的图片组成。在数据量比较大的情况下，模型训练周期也会相应加长。那么有什么加快训练速度的好方法呢？壕气的老板第一时间想到的通常是提升算力，增加资源。如果足够有钱的话，基本不需要再继续看其他解决方案了。但大多数情况下，面对昂贵的算力资源，我们不可能无限增加的。那在花了大价钱买到了有限资源的情况下，我们还可以通过什么方式加快模型
JuiceFS·2022-02-09 16:13

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
JuiceFS·2022-02-09 16:43

JuiceFS 在理想汽车的使用和展望

理想汽车是中国新能源汽车制造商，设计、研发、制造和销售豪华智能电动汽车，于2015年7月创立，总部位于北京，已投产的自有生产基地位于江苏常州，通过产品创新及技术研发，为家庭用户提供安全及便捷的产品及服务。在中国，理想汽车是成功实现增程式电动汽车商业化的先锋，首款及目前唯一一款商业化的增程式电动汽车车型理想ONE是一款六座中大型豪华电动SUV（运动型多用途汽车），配备了增程系统及先进的智能汽车解决方
JuiceFS·2022-02-09 16:43

如何在 Kubernetes 集群中玩转 Fluid + JuiceFS

朱唯唯，Juicedata全栈工程师，负责JuiceFSCSIDriver的开发和维护，负责JuiceFS在云原生领域的发展。
JuiceFS·2022-02-09 16:12

JuiceFS 缓存策略详解

数据一致性JuiceFS提供「关闭再打开（close-to-open）」一致性保证，即当两个及以上客户端同时读写相同的文件时，客户端A
JuiceFS·2022-02-09 16:12

JuiceFS 数据加密原理

JuiceFS作为分布文件系统，每天与海量的数据打着交道，因此数据的安全性尤为关键，今天就来介绍一下JuiceFS在数据加密方面所做的努力。
JuiceFS·2022-02-09 16:12

元数据性能大比拼：HDFS vs OSS vs JuiceFS

背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中3个典型的存储方案来压测元数据的性能，来个大比拼。其中HDFS是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以AmazonS3和AliyunOSS为代表的对象存储也是云上大数据平台的候选方案，但它只有HDFS的部分功能和语义，性能也差
JuiceFS·2022-02-09 16:42

元数据性能大比拼：HDFS vs OSS vs JuiceFS

背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中3个典型的存储方案来压测元数据的性能，来个大比拼。其中HDFS是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以AmazonS3和AliyunOSS为代表的对象存储也是云上大数据平台的候选方案，但它只有HDFS的部分功能和语义，性能也差
·2022-02-09 16:26

元数据性能大比拼：HDFS vs OSS vs JuiceFS

背景存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中3个典型的存储方案来压测元数据的性能，来个大比拼。其中HDFS是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。以AmazonS3和AliyunOSS为代表的对象存储也是云上大数据平台的候选方案，但它只有HDFS的部分功能和语义，性能也差
JuiceFS·2022-02-09 16:00

上汽云 x JuiceFS : iGear 用了这个小魔法，模型训练速度提升 300%

一个高精度AI模型离不开大量的优质数据集，这些数据集往往由标注结果文件和海量的图片组成。在数据量比较大的情况下，模型训练周期也会相应加长。那么有什么加快训练速度的好方法呢？壕气的老板第一时间想到的通常是提升算力，增加资源。如果足够有钱的话，基本不需要再继续看其他解决方案了。但大多数情况下，面对昂贵的算力资源，我们不可能无限增加的。那在花了大价钱买到了有限资源的情况下，我们还可以通过什么方式加快模型
·2022-01-28 11:25

JuiceFS 在理想汽车的使用和展望

理想汽车是中国新能源汽车制造商，设计、研发、制造和销售豪华智能电动汽车，于2015年7月创立，总部位于北京，已投产的自有生产基地位于江苏常州，通过产品创新及技术研发，为家庭用户提供安全及便捷的产品及服务。在中国，理想汽车是成功实现增程式电动汽车商业化的先锋，首款及目前唯一一款商业化的增程式电动汽车车型理想ONE是一款六座中大型豪华电动SUV（运动型多用途汽车），配备了增程系统及先进的智能汽车解决方
·2022-01-20 15:49

JuiceFS v1.0.0 Beta1 发布，加强数据安全能力

在JuiceFS开源一周年之际，我们迎来了首个里程碑版本JuiceFSv1.0.0Beta1，并将开源许可从AGPLv3修改为ApacheLicense2.0。
·2022-01-18 17:46

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
·2022-01-11 16:21

如何把 MySQL 备份验证性能提升 10 倍

JuiceFS非常适合用来做MySQL物理备份，具体使用参考我们的官方文档。最近有个客户在测试时反馈，备份验证的数据准备（xtrabackup--prepare）过程非常慢。
·2021-12-28 17:59

JuiceFS 数据加密原理

JuiceFS作为分布文件系统，每天与海量的数据打着交道，因此数据的安全性尤为关键，今天就来介绍一下JuiceFS在数据加密方面所做的努力。
·2021-12-23 15:31

巧用符号链接迁移 HDFS 数据，业务完全无感知！

问题JuiceFS是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了JuiceFS能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代HDFS。
·2021-12-21 16:18

JuiceFS 性能评估指南

JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
·2021-12-08 20:24

JuiceFS 性能评估指南

JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
JuiceFS·2021-12-08 14:00

JuiceFS 数据读写流程详解

对于文件系统而言，其读写的效率对整体的系统性能有决定性的影响，本文我们将通过介绍JuiceFS的读写请求处理流程，让大家对JuiceFS的特性有更进一步的了解。
·2021-12-03 15:50

JuiceFS 数据读写流程详解

对于文件系统而言，其读写的效率对整体的系统性能有决定性的影响，本文我们将通过介绍JuiceFS的读写请求处理流程，让大家对JuiceFS的特性有更进一步的了解。
JuiceFS·2021-12-03 14:00

如何在 Kubernetes 集群中玩转 Fluid + JuiceFS

朱唯唯，Juicedata全栈工程师，负责JuiceFSCSIDriver的开发和维护，负责JuiceFS在云原生领域的发展。
·2021-11-30 15:50

如何在 Kubernetes 集群中玩转 Fluid + JuiceFS

朱唯唯，Juicedata全栈工程师，负责JuiceFSCSIDriver的开发和维护，负责JuiceFS在云原生领域的发展。
JuiceFS·2021-11-30 11:00

如何利用 JuiceFS 的性能工具做文件系统分析和调优

JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统，在AGPLv3.0开源协议下发布。
·2021-11-25 16:00

如何利用 JuiceFS 的性能工具做文件系统分析和调优

JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统，在AGPLv3.0开源协议下发布。
JuiceFS·2021-11-25 15:00

使用 KubeSphere 应用商店 5 分钟内快速部署 JuiceFS

作者：朱唯唯，尹珉JuiceFS简介JuiceFS是为海量数据设计的分布式文件系统，使用对象存储来做数据持久化，避免重复造轮子，还能大大降低工程复杂度，让用户专注解决元数据和访问协议部分的难题。
·2021-11-23 15:56

知乎利用 JuiceFS 给 Flink 容器启动加速实践

本文作者胡梦宇，知乎大数据架构开发工程师，主要负责知乎内部大数据组件的二次开发和数据平台建设。背景Flink因为其可靠性和易用性，已经成为当前最流行的流处理框架之一，在流计算领域占据了主导地位。早在18年知乎就引入了Flink，发展到现在，Flink已经成为知乎内部最重要的组件之一，积累了4000多个Flink实时任务，每天处理PB级的数据。Flink的部署方式有多种，根据资源调度器来分类，大致可
·2021-11-23 10:51

JuiceFS 在大搜车数据平台的实践

大搜车已经搭建起比较完整的汽车产业互联网协同生态。在这一生态中，不仅涵盖了大搜车已经数字化的全国90%中大型二手车商、9000+家4S店和70000+家新车二网，还包括大搜车旗下车易拍、车行168、运车管家、布雷克索等具备较强产业链服务能力的公司，与大搜车在新零售解决方案上达成深度战略合作的长城汽车、长安汽车、英菲尼迪等主机厂商，以及与中石油昆仑好客等产业链上下游的合作伙伴。基于这样的生态布局，大
·2021-11-16 15:29

我们毕业啦！Hacking Camp 2021 结营，六大生态项目进入新阶段

11月7日，由TiDB社区X经纬中国联合主办，初心资本、明势资本、纪源资本、JuiceFS赞助的HackingCamp2021生态进行了答辩会，阐述了项目的阶段性成果和对未来工作的展望。
·2021-11-12 11:10

JuiceFS CSI Driver 的最佳实践

文章根据Juicedata工程师朱唯唯，在云原生Meetup杭州站所作主题演讲《JuiceFSCSIDriver的最佳实践》整理而成。大家好，我是来自Juicedata的朱唯唯，现在主要负责JuiceFSCSIDriver方面的开发，很高兴今天有这个机会跟大家做一个分享和交流，我今天分享的题目是“JuiceFSCSIDriver的最佳实践”。主要会从以下几个方面给大家做一个分享：Kubernete
·2021-11-04 16:09

JuiceFS CSI Driver 的最佳实践

文章根据Juicedata工程师朱唯唯，在云原生Meetup杭州站所作主题演讲《JuiceFSCSIDriver的最佳实践》整理而成。大家好，我是来自Juicedata的朱唯唯，现在主要负责JuiceFSCSIDriver方面的开发，很高兴今天有这个机会跟大家做一个分享和交流，我今天分享的题目是“JuiceFSCSIDriver的最佳实践”。主要会从以下几个方面给大家做一个分享：Kubernete
JuiceFS·2021-11-04 15:00

百亿级小文件存储，JuiceFS 在自动驾驶行业的最佳实践

自动驾驶是最近几年的热门领域，专注于自动驾驶技术的创业公司、新造车企业、传统车厂都在这个领域投入了大量的资源，推动着L4、L5级别自动驾驶体验能尽早进入我们的日常生活。自动驾驶技术实现的核心环节是自动驾驶模型的训练，训练数据是由汽车实际采集回来的真实道路驾驶视频，数据规模有数PB到数十PB之多。在模型训练之前，先要对这些原始视频进行处理，截取其中的关键帧保存为照片。然后再由专业数据标注团队在图片上
·2021-11-02 15:16

百亿级小文件存储，JuiceFS 在自动驾驶行业的最佳实践

自动驾驶是最近几年的热门领域，专注于自动驾驶技术的创业公司、新造车企业、传统车厂都在这个领域投入了大量的资源，推动着L4、L5级别自动驾驶体验能尽早进入我们的日常生活。自动驾驶技术实现的核心环节是自动驾驶模型的训练，训练数据是由汽车实际采集回来的真实道路驾驶视频，数据规模有数PB到数十PB之多。在模型训练之前，先要对这些原始视频进行处理，截取其中的关键帧保存为照片。然后再由专业数据标注团队在图片上
JuiceFS·2021-11-02 15:00

JuiceFS 如何帮助趣头条超大规模 HDFS 降负载

作者简介王振华，趣头条大数据总监，趣头条大数据负责人。王海胜，趣头条大数据工程师，10年互联网工作经验，曾在eBay、唯品会等公司从事大数据开发相关工作，有丰富的大数据落地经验。高昌健，Juicedata解决方案架构师，十年互联网行业从业经历，曾在知乎、即刻、小红书多个团队担任架构师职位，专注于分布式系统、大数据、AI领域的技术研究。背景趣头条大数据平台目前有一个近千节点的HDFS集群，承载着存储
·2021-10-26 18:08

Shopee ClickHouse 冷热数据分离存储架构与实践

ShopeeClickHouse的冷热分离存储架构使用JuiceFS客户端mount远端对象存储到本地机器路径，通过编写ClickHouse的存
·2021-10-21 15:51

ClickHouse 存算分离架构探索

JuiceFS的某个客户近期就遇到了这样的难题，希望将C
·2021-10-19 16:43

ClickHouse 存算分离架构探索

JuiceFS的某个客户近期就遇到了这样的难题，希望将C
JuiceFS·2021-10-19 15:00

Shopee x JuiceFS：ClickHouse 冷热数据分离存储架构与实践 · JuiceFS 博客 - 面向云端的 POSIX 共享文件系统

转载声明：本文转自Shopee技术团队微信公众号原文链接：https://mp.weixin.qq.com/s/eELcw0v2U9UXaHnfADj3tQ摘要ShopeeClickHouse是一款基于开源数据库ClickHouse做二次开发、架构演进的高可用分布式分析型数据库。本文将主要介绍ShopeeClickHouse的冷热分离存储架构和支持公司业务的实践。ShopeeClickHouse的
·2021-10-10 12:00

CSDN开发者周刊第 24期：谷歌 1.6 万亿参数模型霸榜；「健康码演示」APP 作者被抓；Github 考公指南冲上热榜 | 开发者周刊

本周热门项目0、分布式文件系统JuiceFS开源1月11日，Juicedata果汁数据科技官宣，经过4年持续迭代和累计几千万小时线上考验的JuiceFS开源了！
极客日报·2021-01-15 18:01

Go官博：正式提案将泛型加入Go | Gopher Daily (2021.01.13) ʕ◔ϖ◔ʔ

Towritegoodcodewemustthinkabouterrors.Go技术新闻Go官博：正式提出将泛型机制(类型参数)加入Go的proposal-https://blog.golang.org/generics-proposal2021，JuiceFS
Tony Bai·2021-01-13 18:10

云端共享文件系统 JuiceFS 在 2021 年选择开源

今天，云原生分布式文件系统官方公众号Juicedata果汁数据科技发布消息称JuiceFS已经开源了！
宗恩·2021-01-12 15:50

2021，JuiceFS 开源啦

今天，我们很激动地宣布，将经过4年持续迭代和累计几千万小时线上考验的JuiceFS开源了！
开源精选·2021-01-11 16:49

每周阅读（11/6/2017）

嗨，JuiceFS在Facebook和Databricks工作过的Davies的创业项目：JuiceFS为云端设计的POSIX共享文件系统。
Jeff·2020-06-26 15:24
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他