GFS分布式文件系统

微服务想用好，先把分布式和微服务之间的关系搞清楚

一、分布式和微服务架构的定义分布式应用场景涵盖的面非常广，我理解的部分：不同进程之间的互相通信，不同主机的分布式对象之间调用，用于大数据存储的分布式文件系统，用于网络之间相互识别的命名服务，集群中计算或存储的无中心对等模型
·2021-03-11 08:42

分布式存储单主、多主和无中心架构的特征与趋势

分布式对象存储和分布式文件系统具有很强烈的对比性分布式对象存储是key/value的存储模式，以restful访问方式为主，几乎处于扁平化的存储形式，通过地址作为主键，访问、更新的文件对象作为值。
·2021-03-11 08:36

NewSQL分布式数据库，例如TIDB用K/V的底层逻辑

内容参考对分布式对定义参考这篇文章：微服务都想用，先把分布式和微服务之间的关系说清楚对分布式架构中心或无中心对比参考这篇文章：分布式存储单主、多主和无中心架构的特征与趋势对HDFS对内部机制参考这篇文章：Hadoop分布式文件系统
·2021-03-11 08:30

ubantu16.x上搭建hadoop分布式环境

一、vm虚拟机的安装二、vm虚拟机上安装ubuntuserver三、ubuntuserver上搭建hadoop集群四、hadoop生态系统1.hdfs分布式文件系统2.MapReduce分布式计算3.Hbase
A_Zhong20·2021-03-10 22:22

ubuntu

geditaspect_ratio_selector.xml打压缩包tar-cvfDreamCamera2.tarDreamCamera2给权限chmod777DreamCamera2.tarcp-rfDreamCamera2.tar/mnt/hgfs
CocOYesICan·2021-03-10 19:04

UCache灾备云功能

云备份是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储备份和业务访问的功能服务。
北京数据中心机房·2021-03-10 12:24

微服务想用好，先把分布式和微服务之间的关系搞清楚

一、分布式和微服务架构的定义分布式应用场景涵盖的面非常广，我理解的部分：不同进程之间的互相通信，不同主机的分布式对象之间调用，用于大数据存储的分布式文件系统，用于网络之间相互识别的命名服务，集群中计算或存储的无中心对等模型
·2021-03-09 22:31

分布式存储单主、多主和无中心架构的特征与趋势

分布式对象存储和分布式文件系统具有很强烈的对比性分布式对象存储是key/value的存储模式，以restful访问方式为主，几乎处于扁平化的存储形式，通过地址作为主键，访问、更新的文件对象作为值。
·2021-03-09 22:28

springboot上传图片后访问图片的几种方式

springboot上传图片后访问图片的几种方式图片存储在本地磁盘，实现WebMvcConfigurer接口添加本地静态资源访问过滤图片存储在本地磁盘，nginx动静分离分布式文件系统minio(对象存储
qq_250056868·2021-03-08 22:45

GFS分布式文件系统（理论+实验）

GFS一、GlusterFS1.1GlusterFS的概念1.2GlusterFS的特点1.3GlusterFS术语1.4GlusterFS的工作流程1.5后端存储如何定位文件1.6GFS支持的七种卷二
有吃不错咯·2021-03-07 22:11

Hadoop之HDFS：Hadoop分布式文件系统--具体知识点

HDFS：Hadoop分布式文件系统下面是HDFS的具体知识点，个人学习笔记戳这文章目录HDFS：Hadoop分布式文件系统一、学习准备二、课堂主题三、课堂目标四、知识要点1.hadoop的发展历史2.
是我，Zack·2021-03-01 22:23

GFS分布式文件系统（理论+实操）

文章目录一、GlusterFS（一）、GFS概念（二）、GlusterFS特点（三）、常用术语（四）、GFS的结构（五）、弹性HASH算法（六）、GlusterFS工作原理（工作流程）（七）、GFS卷类型
贩卖阳光·2021-03-01 19:06

云端大数据分布式文件系统 成本优化秘笈

一、CHDFS介绍CHDFS（云HDFS）是腾讯云一种提供标准HDFS访问协议和分层命名空间的高性能分布式文件系统，主要解决大数据场景下海量数据存储和数据分析，为实现计算与存储分离提供解决方案。
·2021-02-26 15:57

HDFS 监控背后那些事儿，构建 Hadoop 监控共同体

运维开源最佳实践Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。
0x8g1T9E·2021-02-24 14:55

vmware虚拟机共享文件夹显示不出来的解决办法

MacBookPro虚拟机：vmware15虚拟机操作系统：CentOS7.7问题如上解决方法后来经过百度、google一顿操作，找到了新的共享文件设备方法1、内核4.0以前的共享方法：mount-tvmhgfs.host
·2021-02-21 15:43

SpringBoot使用阿里OSS实现文件云存储的方法

一些比较大的互联网公司可能会使用一些分布式文件系统来达到存储文件的目的，但这种方式门槛过高。如何找到一个合适且性价比高的文件存储方
·2021-02-19 16:27

图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
__豆约翰__·2021-02-17 16:41

HDFS和Hbase和MapReduce科普

目录一：HDFS1.1分布式文件系统的结构1.2分布式系统的目标1.3HDFS主要组件及功能1.4HDFS体系结构1.5HDFS读数据过程1.6HDFS写数据过程二：Hbase2.1Hbase介绍2.2Hbase
斑马！·2021-02-15 19:43

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

首要的基础功能就是文件系统，在Hadoop中使用FileSystem这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统
·2021-02-08 20:38

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

首要的基础功能就是文件系统，在Hadoop中使用FileSystem这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统
·2021-02-08 20:45

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

首要的基础功能就是文件系统，在Hadoop中使用FileSystem这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统
五分钟学大数据·2021-02-08 20:29

分布式文件系统FastDFS安装教程1（安装、配置、部署、防盗链、nginx、图片压缩）

相关链接：SpringBoot项目中Fastdfs配置及使用2环境准备使用的系统软件名称说明centos7.xlibfatscommonFastDFS分离出的一些公用函数包FastDFSFastDFS本体fastdfs-nginx-moduleFastDFS和nginx的关联模块nginxnginx1.15.4编译环境yuminstallgitgccgcc-c++makeautomakeautoc
Youth丶夏夏·2021-02-07 09:09

部署ceph集群架构+Dashboard出图

概述Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph是一个开源的分布式文件系统。
HYXR·2021-02-05 11:44

盘古开源深度剖析：IPFS&Filecoin发展现状及未来发展前景

IPFS即星际文件系统，是一种点对点的分布式文件系统。Filecoin相当于为IPFS提供了一个激励层，有可能成为未来所有区块链数据存储的基础。
盘古开源·2021-02-02 13:25

Hadoop集群搭建

以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
·2021-02-01 21:01

Hadoop集群搭建

以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
·2021-02-01 21:14

Google File System

论文：http://static.googleusercontent.com/media/research.google.com/zh-CN/us/archive/gfs-sosp2003.pdf翻译版
Michelle_G·2021-01-31 15:59

Namenode 高可用整体架构概述

namenode与状态(active和standby)增加了zookeeper与主备切换控制器failoverController(下文均称为zkfc)和健康监控healthmonitor机制组成详解我的上一篇分布式文件系统有基本功能的图解本篇不详细讲
·2021-01-28 16:06

hdfs分布式文件系统

基本介绍组成Client分块后存储与namenode交互获取文件的位置信息与DataNode交互，读取或者写入数据Client提供一些命令来管理和访问HDFSNameNode:就是一个master，它是一个主管管理HDFS的名称空间管理数据块block的映射信息，但并不持久化，太大了配置副本策略处理客户端读写请求DataNode:执行namenode的指令存储实际数据块执行数据块的读写操作snn辅
·2021-01-28 16:14

Namenode 高可用整体架构概述

namenode与状态(active和standby)增加了zookeeper与主备切换控制器failoverController(下文均称为zkfc)和健康监控healthmonitor机制组成详解我的上一篇分布式文件系统有基本功能的图解本篇不详细讲
·2021-01-28 15:02

只知道HDFS和GFS？你其实并不懂分布式文件系统

一、概述分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。
·2021-01-28 15:27

hdfs分布式文件系统

基本介绍组成Client分块后存储与namenode交互获取文件的位置信息与DataNode交互，读取或者写入数据Client提供一些命令来管理和访问HDFSNameNode:就是一个master，它是一个主管管理HDFS的名称空间管理数据块block的映射信息，但并不持久化，太大了配置副本策略处理客户端读写请求DataNode:执行namenode的指令存储实际数据块执行数据块的读写操作snn辅
·2021-01-27 01:17

IPFS星际文件系统下载及安装

ipfs的下载与安装ipfs星际文件系统是一个面向全球的、P2P的分布式文件系统。目标是补充（甚至是取代）目前通知互联网的超文本传输协议http。
我是大佬+1·2021-01-26 22:20

PWN之CGfsb：从堆栈角度深入理解格式化字符串漏洞

0x01准备拿到程序首先查看下文件属性，是32位的elf可执行文件，开启了NX（将数据所在页标识为不可执行），RELRO（设置符号重定向表为只读或在程序启动时就解析并绑定所有动态符号，PartialRELRO说明我们对got表具有写权限），StackCanaryfound说明对栈进行了保护，一般不可覆盖函数返回地址进行攻击。执行函数可以看到先让我们输入name，再让我们输入了message，有输入
·2021-01-26 02:25

矩母函数（Moment Generating Function)

矩母函数（Momentgeneratingfunctions,mgfs)是关于的函数，定义为：.矩母函数性质：唯一性。
兔子不会武·2021-01-24 15:12

Hadoop学习笔记(1)——HDFS概述

学习于Hadoop入门教程一.HDFS概述1.介绍需要跨机器存储，统一管理分布在集群上的文件系统统称为分布式文件系统。
今天有没有写代码·2021-01-18 14:00

大数据框架Hadoop：第三章 资源调度系统YARN（一）

系列文章目录第一章HDFS分布式文件系统(一)大数据框架Hadoop：第一章HDFS分布式文件系统(二)大数据框架Hadoop：第二章计算框架MapReduce（一）大数据框架Hadoop：第二章计算框架
BB侠的大数据之旅·2021-01-17 19:07

大数据计算系统学习笔记

1.大数据计算体系可归纳三个基本层次：数据应用系统，数据处理系统，数据存储系统2.计算的总体架构HDFS(Hadoop分布式文件系统)(1)设计思想：分而治之，将大文件大批量文件，分布式存放在大量服务器上
小辉～·2021-01-17 14:22

CSDN开发者周刊第 24期：谷歌 1.6 万亿参数模型霸榜；「健康码演示」APP 作者被抓；Github 考公指南冲上热榜 | 开发者周刊

本周热门项目0、分布式文件系统JuiceFS开源1月11日，Juicedata果汁数据科技官宣，经过4年持续迭代和累计几千万小时线上考验的JuiceFS开源了！
极客日报·2021-01-15 18:01

【快速入门大数据】hadoop和它的hdfs、yarn、mapreduce

文章目录导学大数据概述初识Hadoop概述核心组件HDFS分布式文件系统资源调度系统YARNMapReduce优势发展史生态系统发行版本选择企业应用案例第3章分布式文件系统HDFS设计分布式文件系统架构副本机制环境搭建
瑞 新·2021-01-15 13:43

初窥Spark

Hadoop一、HDFS——分布式文件系统二、MapReduce——分布式计算系统h:1h;1h:h:2三、Yarn——资源调度系统ResourceManager和NodeManagerSpark一、spark
不知如何·2021-01-13 23:44

【大数据架构综述】文件系统篇之HDFS概述

HDFS一、HDFS是什么HDFS(HadoopDistributeFileSystem)是基于流数据访问模式（“一次写入，多次读取”）的分布式文件系统，支持海量数据的存储。
LanternTeam·2021-01-13 22:41

Filecoin数据存储一经推出便获得瞩目

它是一种点到点的分布式文件系统，ipfs是一个网络协议，它和http对应。而“Filecoin”可以指
IPFS星际数据·2021-01-13 17:32

HDFS文件系统

管理着跨计算机网络存储的文件系统称为分布式文件系统。HDFS全称为HadoopDistributedFilesystem，是Hadoop的分布式文件系统，也是当下开源社区最受欢迎的分布式文件系统。
杨赟快跑·2021-01-13 12:09

分布式存储引擎大厂实战（开篇）

开篇引言为什么会出现分布式系统分布式系统的发展史传统存储分布式存储现状云存储分布式系统的现状云存储智能化标准化分布式系统的基石——分布式存储引擎分布式键值系统分布式文件系统分布式表格系统引言 随着互联网的不断发展
神技圈子·2021-01-12 19:34

云端共享文件系统 JuiceFS 在 2021 年选择开源

今天，云原生分布式文件系统官方公众号Juicedata果汁数据科技发布消息称JuiceFS已经开源了！
宗恩·2021-01-12 15:50

技术干货！HDFS读写原理和代码简单实现

HDFS（Hadoop分布式文件系统）是ApacheHadoop项目的一个子项目。HDFS支持海量数据的存储，允许用户把成百上千的计算机组成存储集群，其中的每一台计算机称为一个节点。
华为云开发者社区·2021-01-12 10:49

技术干货！HDFS读写原理和代码简单实现

HDFS（Hadoop分布式文件系统）是ApacheHadoop项目的一个子项目。HDFS支持海量数据的存储，允许用户把成百上千的计算机组成存储集群，其中的每一台计算机称为一个节点。
华为云开发者社区·2021-01-12 09:32

2021，JuiceFS 开源啦

JuiceFS是什么JuiceFS是为海量数据设计的分布式文件系统，使用对象存储来做数据持久化，避免重复造轮子，还能大大降低工程复杂度，让我们专注解决元数据和访问协议部分的难题。
开源精选·2021-01-11 16:49

分布式存储 GlusterFS 介绍与部署

1.glusterfs概述GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患
民工哥·2021-01-11 11:15
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他