fastDFS分布式文件系统

Hadoop3.3.4 理论

其核心部件包括分布式文件系统(HadoopDFS，HDFS)和Ma
Michaelwubo·2022-09-06 15:08

Hadoop3.0时代，怎么能不懂EC技术纠删码？ 个推为你解读

作为当前广泛流行的分布式文件系统，HDFS需要解决的一个重要问题就是数据的可靠性问题。3.0以前版本的Hadoop在HDFS上只能采用多副本冗余的方式做数据备份，以实现数据可靠性目标（比如，三副本11
个推技术·2022-09-05 14:25

大数据之hadoop hive hbase 的区别是什么？有什么应用场景？

id=297769662&isShared=1&_swebfr=11.hadoop它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。
小前端而已·2022-09-01 12:11

10分钟，教你快速搭建一套属于自己的分布式文件系统

一、概述为什么我们需要它？众所周知，在微服务架构中，从网关进来的请求会通过Ribbon进行负载均衡，可能造成你每次请求都有可能是不同的服务器处理的，因为，为了提高系统的吞吐量，某些服务被集群化，在这种情况下，当用户需要进行文件存储的时候，如果说把文件存储在当前处理请求的服务器中，那么下次当你想要获得这个文件的时候可能就获取不到了，因为你的这次请求可能交由另一个服务器处理了。为了解决在分布式系统中文
·2022-08-31 10:02

mvn中dependencyManagement的使用详解

父pom文件中对于分布式文件系统的依赖
·2022-08-30 12:28

【Web3 系列开发教程——创建你的第一个 NFT（3）】开始创建 NFT

在IPFS网络中的节点构成一个分布式文件系统。它是一个开放源代码项目，自2014年开始由协议实验室在开源社区的帮助下发展。其最初由JuanBenet设计。ERC721是针对不可置换To
前端修罗场·2022-08-27 11:07

Apache Druid架构原理与应用场景

Druid本质是一个分布式时序数据库，其设计恰好满足这个场景：Historical数据存储使用HDFS等成熟的分布式文件系统方案，高可用、水平扩容Lambda架构，Realtime部分使用LSM-Tree
Allen716·2022-08-25 07:10

记录一次Docker的学习

Docker学习Docker概述Docker安装Docker命令镜像命令容器命令操作命令...Docker实战操作（Nginx,Tomcat,ES,fastDFS...）Docker镜像！容器数据卷！
曹大大·2022-08-23 12:11

HDFS的读写流程——宏观与微观

HDFS的读写流程——宏观与微观HDFS：分布式文件系统，负责存放数据分布式文件系统：就是将我们的数据放到多台电脑上存储。
伍点·2022-08-23 10:00

spark针对sqlserver_SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI

近日该公司发布SQLServer2019预览版，可支持ApacheSpark和Hadoop分布式文件系统(HDFS)，其中还包含各种机器学习软件包，这些软件包可使SQLServer成为那些初尝大数据分析的企业的测试平台
耐停·2022-08-22 23:55

第07章 连接Hadoop集群

2.理论目标了解Hadoop分布式文件系统了解MapReduce计算框架掌握ApacheHadoop常用的发行版本掌握连接Hadoop的前提条件3.实践目标掌握连接Hadoop集群的操作4.实践案例连接
撸码的xiao摩羯·2022-08-22 23:54

HDFS的灵魂33问

1HDFS是什么HDFS是HadoopDistributeFileSystem的简称Hadoop分布式文件系统，是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
九味桔梗花·2022-08-22 23:20

1、HDFS 分布式文件系统

一、数据与元数据的区别以块形式存储是目前最常用的一种数据存储方式，我们在进行数据存储时，使用的是元数据加数据的形式，元数据相当于是数据的一个摘要信息，保存着文件的属性、长度、存储位置、类型等信息，类似于字典中的索引和正文的关系，数据块作为文件存储的最小的单位，对存储区域进行了区域划分，在写入数据时按需分配。我们可以按照字典的方式进行类比：文件系统就相当于是字典，元数据相当于索引目录，数据相当于是正
bug发现与制造·2022-08-22 23:50

Lamp架构——mysql集群及组复制（3）

1.单主组复制与多主组复制相关介绍1.节点1server5组复制配置2.节点2server6配置3.节点3server7配置二、测试一、介绍及环境搭建msql组复制，实施简单，但要求较高，同步采用的是分布式文件系统协议
多于少的区别·2022-08-22 22:10

[Hacker News 周报] 浏览器中运行 Postgres；与 Python 兼容的静态类型语言；分布式文件系统

https://www.bilibili.com/vide...本期时间轴：00:10Numpad｜一个新式文本编辑器00:34Erg｜与Python兼容的静态类型语言00:57分布式文件系统JuiceFS01
·2022-08-21 15:05

FastDFS在centos7上的配置

1、工欲善其事必先利其器，首先准备安装包在home下建立fastdfs目录，上传相关文件2、进行编译环境准备yuminstall-ymakecmakegccgcc-c++3、编译libfastcommon-master
xtkinglong·2022-08-21 10:06

浅析IPFS 与 SAFE Network 的关系与区别

在IPFS网络中的节点将构成一个分布式文件系统。它是一个开放源代码项目，自2014年开始由ProtocolLabs在开源社区的帮助下发展。其最初由JuanBenet设计。
存储-小白·2022-08-19 05:46

大数据测试技术与实践之大数据技术生态总览

包括资源管理、服务协调和工作流调度）、计算分析和组件应用1.数据采集：主要由关系型与非关系型数据采集组件，以及分布式消息队列等构成，如sqoop、Flume、Scnbe和Kafka等2.数据存储：主要由分布式文件系统
来弹琴的小鸡·2022-08-15 09:07

大数据入门-大数据技术概述(一)

目录大数据入门系列文章1.大数据入门-大数据是什么一、概念二、技术详解1.基础架构：Hadoop2.分布式文件系统：HDFS3.数据仓库：Hive4.存储引擎：Kudu5.分布式数据库：HBase6.实时框架
水坚石青·2022-08-15 09:34

大数据技术生态，不懂你捶我

目录一、大数据二、大数据核心技术2.1HDFS分布式文件系统2.2MapReduce计算引擎2.3Hive数据仓
大数据指北·2022-08-15 09:02

hadoop(4)

1.HDFS分布式文件系统2.HDFS集群的搭建(1)Hdfs-site.xml①Hdfs公开的访问地址②Namenode的元数据目录③Datanode的元数据目录④SecondaryNamenode(
郭首志·2022-08-13 22:57

浅谈：Hadoop、spark、SaaS、PaaS、IaaS、云计算

首先二者均不是属于产品类别，理解为生态系统或者也有人将其称为“大数据通用处理平台”也是可以的，这种称呼也更为准确Hadoop是由Apache基金会所开发的分布式系统基础架构Hadoop主要包括：Hadoop分布式文件系统
视界云科技·2022-08-13 12:52

分布式微服务架构springcloud+vue实现文件上传功能

首先下载相关源码配好环境下载源码https://github.com/happyfish100/fastdfs-client-java编译源码成jar本地安装到maven的本地仓库mvninstall1
Bruce Deeg·2022-08-10 11:46

大数据应用开发流程

存储是指对分布式文件系统（GFS）或NoSQL分布式存储系统、数据格式）、压缩和数据模型的决策。处理是指
梯度科技·2022-08-09 16:00

【活动报名】8月13日杭州站-开源遇上大数据

本期分享，我们将围绕大数据和开源项目，展开四场不同的讲座，从分布式文件系统到HTAP数据库，再到开源数据的洞察分析和消息队列的演进，相信本次的分享一
·2022-08-09 15:38

微服务系列：分布式文件存储之 MinIO 入门指南

首先我们从学习MinIO对象存储服务开始，后面还会学习下其他的分布式文件存储服务比如FastDFS等。话不多说，开始今天的学习。基本介绍1.什么是对象存储关于对象存储，我们可以看下阿里云OSS的解释。
程序猿秃头之路·2022-08-08 12:10

分布式文件存储系统Minio从入门到实战教程，看这篇文章就够了

分布式文件存储系统MinIO目录1.分布式文件系统应用场景1.1Minio介绍Minio优点1.2MinIO的基础概念1.3纠删码EC（ErasureCode）1.4存储形式1.5存储方案2.Minio
Java大厂面试君·2022-08-08 12:37

分布式文件系统 -- Minio

Minio是什么？MinIO是一款高性能、分布式的对象存储系统.它是一款软件产品,可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。MinIO与传统的存储和其他的对象存储不同的是：它一开始就针对性能要求更高的私有云标准进行软件架构设计。因为MinIO一开始就只为对象存储而设计。所以他采用了更易用的方式进行设计，它能实现对象存储所需要的全部功能，在性能上也更加强劲，它不会
三个诸葛亮·2022-08-08 12:36

分布式文件系统MinIO

文件存储方式对比常见的分布式文件系统1,MinIO简介MinIO基于ApacheLicensev2.0开源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。
大梦谁先觉i·2022-08-08 12:04

Spring Cloud：微服务之构建支持多存储方式的分布式文件存储服务

概述在微务系统架构中，分布式文件系统（DistributedFileSystem,DFS）是必不可少的中间件。分布式文件系统是面对互联网的需求而产生，互联网时代对海量数据如何存储？
言尭·2022-08-08 12:02

【Spring Cloud】新闻头条微服务项目：分布式文件系统MinIO实现文章页面存取

个人简介：>个人主页：赵四司机>学习方向：JAVA后端开发>种一棵树最好的时间是十年前，其次是现在！>⏰往期文章：SpringBoot项目整合微信支付>喜欢的话麻烦点点关注喔，你们的支持是我的最大动力。前言：最近在做一个基于SpringCloud+Springboot+Docker的新闻头条微服务项目，现在项目开发进入了尾声，我打算通过写文章的形式进行梳理一遍，并且会将梳理过程中发现的Bug进行修
赵四司机·2022-08-08 12:59

app端文章查看，静态化freemarker,分布式文件系统minIO

app端文章查看，静态化freemarker,分布式文件系统minIO1)文章列表加载1.1)需求分析文章布局展示1.2)表结构分析ap_article文章基本信息表ap_article_config文章配置表
46664·2022-08-06 18:47

HDFS基础入门

HDFS简介HDFS（全称：HadoopDistributeFileSystem）分布式文件系统，是Hadoop核心组成。
女友在高考·2022-08-06 09:00

Windows下Minio介绍、安装及使用、密码修改

对象存储MinIO1、对象存储分析：1-1、选择对象存储的几种方式直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难使用分布式文件系统进行存储优点：容易实现扩容缺点：开发复杂度稍大（尤其是开发复杂的功能
Steven灬·2022-08-04 03:48

minio：安装部署并安装成windows服务

前言关于分布式文件存储，之前我也是使用fastdfs，那为什么突然选择minio？1、它可以多平台部署2、搭建起来不是很复杂3、github近30K的star什么是minio？
Hello，Mr.S·2022-08-04 03:43

【Hadoop】MapReduce 原理

Hadoop分布式文件系统(HDFS)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。HadoopYARN：作业调度和集群资源管理的框架。
和风与影·2022-08-02 09:04

Hadoop原理之——HDFS原理

Hadoop3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台
三级骑士·2022-08-02 09:33

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2022-08-02 09:03

分布式系列分布式计算框架Hadoop核心组件概述

Hadoop主要组件包括分布式文件系统HDFS、分布式离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN。Hadoop生态系统一系列框架和组
solihawk·2022-08-02 09:32

大数据入门：Hadoop HDFS存储原理

HDFS即Hadoopdistributedfilesystem（hadoop分布式文件系统），在Hadoop当中负责分布式存储阶段的任务，它是一个分布式的文件
加米谷大数据张老师·2022-08-02 09:32

Hadoop HDFS数据仓库技术

如果让我们来设计一个分布式文件系统，我们会考虑到哪些点呢？1、首先，我们的应用场景是什么？是大数据集，处理超大文件。这里的超大文件通常是指百MB、设置数百TB大小的文件。目
Java云海.·2022-08-02 09:30

【Hadoop】HDFS 原理

Hadoop分布式文件系统(HDFS)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。HadoopYARN：作业调度和集群资源管理的框架。
和风与影·2022-08-02 09:30

【最强宝典】后端面试知识点合集

网络情况复杂安全环境恶劣需求快速变更，发布频繁渐进式发展二、大型网站架构演化发展历程初始阶段的网站架构应用服务和数据服务分离使用缓存改善网站性能使用应用服务器集群改善网站的并发处理能力数据库读写分离使用反向代理和CDN加速网站响应使用分布式文件系统和分布式数据库系统使用
进朱者赤·2022-08-01 10:36

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_67403240·2022-07-29 19:09

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_54853420·2022-07-28 11:51

Springboot与vue实例讲解实现前后端分离的人事管理系统

系统亮点：使用REDIS进行数据缓存，优化查询性能；使用分布式文件系统进行文件存储服务；基于Springboot+vue实现前后
·2022-07-27 14:23

IPFS挖矿会步比特币的后尘吗？

IPFS称为“星际文件系统”，通俗点说，IPFS属于（P2P）分布式文件系统，称为ProtocolLab。虽然IPFS是一种存储数据的技
shuoyue0723·2022-07-27 09:36

[云原生专题-36]：K8S - 核心概念 - 存储抽象- Pod之间的数据共享与数据持久化 - 网络文件系统、网络分布式数据库

article/details/122820381目录第1章如何给pod传递数据或参数第2章数据的存储抽象概述2.1数据共享与数据持久化基本概念2.2不同Pod之间的数据共享诉求与可能的方案第3章网络分布式文件系统
文火冰糖的硅基工坊·2022-07-22 09:57

十三章——GlusterFS分布式文件系统群集（应用——linux防护与群集）

三期总目录链接目录一、GlusterFS相关知识介绍（一）简介1、GlusterFS介绍二、glusterFs实例（一）准备环境1、分区2、node1~node4安装软件--yum方式（需要配置本地其他目录的yum仓库）3、node1~node4所有节点启动glusterfs4、添加节点，只在node1上执行操作即可5、查看群集状态（二）创建卷1、创建分布式卷2、创建条带卷3、创建复制卷4、创建分
乘浪初心·2022-07-19 13:12

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
·2022-07-18 18:01
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他