GFS分布式文件系统

Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS

HDFS作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其HDFS作为状态快照存储地址，且Hadoop框架较重，在k8s集群中占用大量资源，现考虑将其替换为更轻量级的分布式文件系统
·2022-01-16 14:11

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
·2022-01-11 16:21

新能力让数据多端协同更便捷，数据跨端迁移更高效！

作者：yijian，终端OS分布式文件系统专家；gongashi，终端OS分布式数据管理专家HarmonyOS作为分布式操作系统，其分布式数据管理能力非常重要。
·2022-01-11 11:28

巧用符号链接迁移 HDFS 数据，业务完全无感知！

问题JuiceFS是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了JuiceFS能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代HDFS。
·2021-12-21 16:18

IPFS是什么？IPFS原理、IPFS存储

以下内容调研截止到2021/11/5日IPFS简介IPFS是一种内容可寻址、点对点、分布式文件系统。IPFS采用内容-地址寻址技术，即通过文件内容进行检索而不是通过文件的网络地址。
k_kK·2021-12-07 14:00

星环科技分布式文件系统TDFS大揭秘（上）

星环科技是一家致力于打造企业级大数据基础软件，围绕数据全生命周期为企业提供基础软件及支持的厂商。在这个数据驱动的数字化世界中，来自社交媒体、金融科技等不同领域的数据正在大幅度增长，例如大量商业报告、网页、图像和音视频等。如今，接近80%的数据都是非结构化的。不同于结构化半结构化数据的良好结构，存储和处理如此庞大的非结构化数据集正在成为传统计算技术的挑战。本文将着重介绍星环科技新推出的一款致力于打造
·2021-12-06 18:19

javaapi 访问 hbase

比如：GoogleBigtable利用GFS作为其文
__豆约翰__·2021-12-04 08:04

Hdfs学习（一）

HDFS1、HDFS概述1.1简介HDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统，用来解决海量数据的存储问题。
·2021-12-01 17:27

Linux下Hadoop 2.7.3 安装搭建过程

LinuxHadoop2.7.3安装搭建Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
·2021-11-30 14:37

大数据的中流砥柱——HDFS hdfs及其特点 hdfs的重要功能 hdfs机制

没有hdfs，大数据就是空话——me（开个玩笑哈哈哈）1、hdfs入门、hdfs介绍HDFS（HadoopDistributedFileSystem），也叫分布式文件系统。
'一生所爱·2021-11-28 17:55

大数据高级开发工程师——Hadoop学习笔记（2）

文章目录Hadoop进阶篇HDFS：Hadoop分布式文件系统分布式文件系统的理解HDFS架构详细剖析1.分块存储2.3副本存储3.
yangwei_sir·2021-11-26 20:41

如何利用 JuiceFS 的性能工具做文件系统分析和调优

作为一个云上的分布式文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
·2021-11-25 16:00

如何利用 JuiceFS 的性能工具做文件系统分析和调优

作为一个云上的分布式文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
JuiceFS·2021-11-25 15:00

听说你想把对象存储当 HDFS 用，我们这里有个方案...

比如在谷歌早期的【三驾马车】中，使用GFS进行海量网页数据存储，用BigTable作为数据库并为上层提供各种数据发现的能力，同时用MapReduce进行大规模数据处理。
·2021-11-24 20:05

听说你想把对象存储当 HDFS 用，我们这里有个方案...

比如在谷歌早期的【三驾马车】中，使用GFS进行海量网页数据存储，用BigTable作为数据库并为上层提供各种数据发现的能力，同时用MapReduce进行大规模数据处理。
云存储小天使·2021-11-24 19:00

HDC2021技术分论坛：广发证券携手HarmonyOS打造智慧金融服务

以下文章来源于广发证券科技金融，作者GFS本期我们给大家带来的是广发证券前端开发工程师黄钦佳的分享，希望能给你的HarmonyOS开发之旅带来启发~10月22日，华为开发者大会2021（Together
·2021-11-24 15:35

MFS分布式存储

MFS分布式存储一、前言（1）MFS原理MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。
帅先生Poison·2021-11-23 16:07

使用 KubeSphere 应用商店 5 分钟内快速部署 JuiceFS

作者：朱唯唯，尹珉JuiceFS简介JuiceFS是为海量数据设计的分布式文件系统，使用对象存储来做数据持久化，避免重复造轮子，还能大大降低工程复杂度，让用户专注解决元数据和访问协议部分的难题。
·2021-11-23 15:56

【linux】nfs挂载错误wrong fs type, bad option, bad superblock

前言在linux中利用nfs挂载硬盘时发现提示wrongfstype,badoption,badsuperblock错误了，在网上搜索了一下说是没有安装mount.nfs了，我们只要安装mount.nfs
kiraraLou·2021-11-22 20:47

Hadoop经典案例——单词统计

(1）打开HDFS的UI,选择Utilities→Browsethefilesystem查看分布式文件系统里的数据文件，可以看到新建的HDFS上没有任何数据文件。
IT_CHEN_JJ·2021-11-20 00:31

Hadoop 入门笔记—核心组件 HDFS

作者：幻好来源：恒生LIGHT云社区基本概念HDFS(HadoopDistributedFileSystem)是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
·2021-11-19 14:47

FastDFS分布式文件系统详解

本文章转自：乐字节文章主要讲解：FastDFS分布式文件系统详解获取更多Java相关资料可以关注公众号《乐字节》发送：999文件系统是操作系统用于在磁盘或分区上组织文件的方法和数据结构。
·2021-11-17 10:19

GFS分布式文件系统

目录前言一、GlusterFS概述1、简介2、特点3、常用术语4、模块化堆栈式架构5、组件二、工作原理1、流程2、弹性HASH算法三、GlusterFS卷类型1、分类2、类型介绍2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷3、汇总四、GlusterFS部署1、环境2、开局配置2.1所有的节点node都操作下面这些步骤，这里以node1：20.0.0.21为列2.2创建
HB199753·2021-11-16 18:12

【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战

逆向目标目标：医疗保障局公共查询主页：aHR0cHM6Ly9mdXd1Lm5oc2EuZ292LmNuL25hdGlvbmFsSGFsbFN0LyMvc2VhcmNoL21lZGljYWw=接口：aHR0cHM6Ly9mdXd1L
K哥爬虫·2021-11-12 10:26

Ceph 存储介绍

存储系统的逻辑层次结构六、RADOS的系统逻辑结构七、Ceph数据存储过程八、CephIO流程及数据分布1.正常IO流程图2.新主IO流程图九、CephPool和PG分布情况一、Ceph简介  ceph是一种统一的分布式文件系统
公博义·2021-11-11 14:00

Hadoop原理与源码

2003年，2004年谷歌发布两篇论文为该问题提供了一个解决方案一个是HDFS的前身GFS，用于海量网页的存储；另一个是分布式计算框架MAPERDUCE。
·2021-11-09 21:12

Linux系统(四)之docker

docker：一、安装docker二、docker卸载三、配置docker镜像加速器四、安装mysql五、安装oracle六、安装redis（自）七、部署springboot项目八、分布式文件系统FastDFS
faramita_of_mine·2021-11-08 07:00

Hadoop 入门笔记 二十三 : MapReduce性能优化-文件类型

一.MapReduce性能优化概述1.MapReduce的应用场景Hadoop包含了GFS的开源实现HDFS（Hadoopdistributedfilesystem)和MapReduce框架的开源实现。
·2021-11-07 12:43

巨微授权代理MS1586低成本BLE收发器

MS1586包含8位单片机和低功耗、低成本的BLE收发器，内部集成了发射机、接收机、GFSK调制解调器，和BLE基带处理。遵循BLE广播通道通信，具有成本低、体积小、控制方便等优点。
·2021-10-28 16:39

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云计算发展方向奠定了基础
·2021-10-28 12:45

头歌Educoder云计算与大数据——实验三 分布式文件系统HDFS

实验三分布式文件系统HDFS第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明代码实现第2关：HDFS-JAVA接口之读取文件任务描述相关知识
36.6°·2021-10-23 19:07

37-综合架构-NFS服务（网络文件系统）

NFS系统和Windows网络共享、网络驱动器类似,只不过windows用于局域网,NFS用于企业集群架构中,如果是大型网站,会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS1.1
文娟_狼剩·2021-10-21 14:19

Hadoop 入门笔记 十四 : HDFS架构原理

一.HDFS架构剖析1.HDFS整体概述HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统。
·2021-10-20 17:24

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云
·2021-10-18 16:25

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云
阿里云云栖号·2021-10-18 15:26

快速上手 Serverless | 入门第一课

2003年-2006年，谷歌先后发表了这三篇非常经典的论文（图右），指明了HDFS（分布式文件系统）、MapReduce（并行计算）和HBase（分布式数据库）的技术基础及未来机会，为云
·2021-10-18 13:27

Hadoop 入门笔记四 : 分布式文件HDFS

简介HDFS（HadoopDistributedFileSystem）是ApacheHadoop项目的一个子项目，它的设计初衷是为了能够支持高吞吐和超大文件读写操作HDFS是一种能够在普通硬件上运行的分布式文件系统
·2021-10-15 21:48

hadoop入门一 : hadoop介绍

核心组件有：HDFS（分布式文件系统）：解决海量数
·2021-10-15 15:53

巨微授权代理MG123低功耗精简蓝牙芯片

巨微MG123是低功耗、低成本的BLE收发器，内部集成了发射机、接收机、GFSK调制解调器和BLE基带处理。
·2021-10-11 16:37

The Google File System（GFS）学习笔记

文章目录引子GFS的架构读数据写数据流水线式的网络数据传输记录追加总结引子这篇文章是我学习极客时间徐文浩老师的《大数据经典论文解读》课程的学习笔记，大量的文字和图片来自专栏内容，如有侵权就删。
zhanyd·2021-10-11 16:17

HC-05/06蓝牙模块的原理及使用方法

无线工作频段为2.4GHzISM，调制方式是GFSK。模块最大发射功率为4dBm，接收灵敏度-85dBm，板载PCB天线，可以实现10米距离通信。模块自带LED灯，可直观判断蓝牙的连接状态。
单片机实例设计·2021-10-10 12:18

学习笔记Hadoop（一）—— Hadoop介绍

二、Hadoop核心组件2.1、ApacheHadoop简介2.2、主要模块2.3、Hadoop分布式文件系统-HDFS2.4、Hadoop任务调度和资源管理框架-YARN2.5、Hadoop分布式编程模型
别呀·2021-09-24 20:24

深入解析什么是LSM-Tree

十多年前，谷歌发布了大名鼎鼎的"三驾马车"的论文，分别是GFS(2003年)，MapReduce（2004年），BigTable（2006年）
水的精神·2021-09-19 22:40

云原生大数据架构中实时计算维表和结果表的选型实践

作者|志羽来源|阿里技术公众号一前言传统的大数据技术起源于Google三架马车GFS、MapReduce、Bigtable，以及其衍生的开源分布式文件系统HDFS，分布式计算引擎MapReduce，以及分布式数据库
·2021-09-16 11:30

Hadoop源码分析一架构关系简介

1、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构Hadoop起源于谷歌发布的三篇论文：GFS、MapReduce、BigTable。
·2021-09-10 12:04

srb-阿里短信sms服务和分布式文件系统oss

srb-阿里短信sms服务搭建环境,需要pom依赖,配置文件,启动类后端controller接口,接收到手机号码,进行断言判断,随机数生成,封装进map集合后端业务层需要下面的配置属性设置类srb-分布式文件存储oss文件上传配置文件从配置文件读取常量(同sms)后端controller,处理文件,拿到文件输入流,模块名字,和文件原始名字(目的是为了拿到后缀),返回保存在oss服务器上的url后端
Ycy_·2021-09-10 00:54

为什么说FIL未来必涨？FIL未来会涨到多少？怎么挖FIL?

3、它是一个对等的分布式文件系统，它尝试为所有计算设备连接同一个文件系统。在某些方面，IPFS类似于万维网，但它也可以被视作一个独立的BitTorrent群、在同一
·2021-09-06 17:03

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统

文章目录前言1.HDFS特点2.命令行和API操作HDFS（1）Shell命令行客户端（2）API客户端连接HDFS的两种方式（3）API客户端上传下载文件（4）API客户端文件详情及文件类型判断（5）API客户端IO流操作（6）API客户端IO流的seek读取3.HDFS读写机制解析4.HDFS元数据管理机制（1）Namenode、Fsimage及Edits编辑日志（2）2NN及CheckPoi
cutercorley·2021-09-04 21:36

一、初识Hadoop

Hadoop实现了一个分布式文件系统（DistributedFileSystem），其中一个组件是HDFS（HadoopDistributedFileSystem）。
阿文灬·2021-08-29 16:56

开源分布式文件系统大检阅

前言我们的YRCloudFile是一款面向云时代的分布式文件系统，它的主要特点是支持海量小文件的高性能数据访问，对Kubernetes平台的无缝支持，混合云场景下的数据支撑。
·2021-08-25 13:03
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他