GFS分布式文件系统

app端文章查看，静态化freemarker,分布式文件系统minIO

app端文章查看，静态化freemarker,分布式文件系统minIO1)文章列表加载1.1)需求分析文章布局展示1.2)表结构分析ap_article文章基本信息表ap_article_config文章配置表
46664·2022-08-06 18:47

HDFS基础入门

HDFS简介HDFS（全称：HadoopDistributeFileSystem）分布式文件系统，是Hadoop核心组成。
女友在高考·2022-08-06 09:00

Windows下Minio介绍、安装及使用、密码修改

对象存储MinIO1、对象存储分析：1-1、选择对象存储的几种方式直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难使用分布式文件系统进行存储优点：容易实现扩容缺点：开发复杂度稍大（尤其是开发复杂的功能
Steven灬·2022-08-04 03:48

【Hadoop】MapReduce 原理

Hadoop分布式文件系统(HDFS)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。HadoopYARN：作业调度和集群资源管理的框架。
和风与影·2022-08-02 09:04

Hadoop原理之——HDFS原理

Hadoop3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台
三级骑士·2022-08-02 09:33

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2022-08-02 09:03

分布式系列分布式计算框架Hadoop核心组件概述

Hadoop主要组件包括分布式文件系统HDFS、分布式离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN。Hadoop生态系统一系列框架和组
solihawk·2022-08-02 09:32

大数据入门：Hadoop HDFS存储原理

HDFS即Hadoopdistributedfilesystem（hadoop分布式文件系统），在Hadoop当中负责分布式存储阶段的任务，它是一个分布式的文件
加米谷大数据张老师·2022-08-02 09:32

Hadoop HDFS数据仓库技术

如果让我们来设计一个分布式文件系统，我们会考虑到哪些点呢？1、首先，我们的应用场景是什么？是大数据集，处理超大文件。这里的超大文件通常是指百MB、设置数百TB大小的文件。目
Java云海.·2022-08-02 09:30

【Hadoop】HDFS 原理

Hadoop分布式文件系统(HDFS)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。HadoopYARN：作业调度和集群资源管理的框架。
和风与影·2022-08-02 09:30

【最强宝典】后端面试知识点合集

网络情况复杂安全环境恶劣需求快速变更，发布频繁渐进式发展二、大型网站架构演化发展历程初始阶段的网站架构应用服务和数据服务分离使用缓存改善网站性能使用应用服务器集群改善网站的并发处理能力数据库读写分离使用反向代理和CDN加速网站响应使用分布式文件系统和分布式数据库系统使用
进朱者赤·2022-08-01 10:36

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_67403240·2022-07-29 19:09

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_54853420·2022-07-28 11:51

Springboot与vue实例讲解实现前后端分离的人事管理系统

系统亮点：使用REDIS进行数据缓存，优化查询性能；使用分布式文件系统进行文件存储服务；基于Springboot+vue实现前后
·2022-07-27 14:23

IPFS挖矿会步比特币的后尘吗？

IPFS称为“星际文件系统”，通俗点说，IPFS属于（P2P）分布式文件系统，称为ProtocolLab。虽然IPFS是一种存储数据的技
shuoyue0723·2022-07-27 09:36

HBase笔记-体系结构梳理

文章目录Hbase发展历史HBase架构原理安装部署shell常用命令小结Hbase发展历史要说清楚HBase的来龙去脉，还得从Google当年风靡一时的“三篇论文”——GFS、MapReduce、BigTable
freesOcean·2022-07-26 10:53

大数据(1)：Hadoop 搭建

2003年发表GFS相关论文，用于处理海量网页的存储。2004年，Google在OperatingSystemDesignandImplemen
小道萧兮·2022-07-24 11:36

[云原生专题-36]：K8S - 核心概念 - 存储抽象- Pod之间的数据共享与数据持久化 - 网络文件系统、网络分布式数据库

article/details/122820381目录第1章如何给pod传递数据或参数第2章数据的存储抽象概述2.1数据共享与数据持久化基本概念2.2不同Pod之间的数据共享诉求与可能的方案第3章网络分布式文件系统
文火冰糖的硅基工坊·2022-07-22 09:57

智能蓝牙灯控专用BLE5.1广播发射芯片MS2583

上海巨微MS2583包含8位单片机和低成本的BLE5.1蓝牙发射器，内部集成了发射机、GFSK调制解调器和BLE基带处理。遵循BLE广播通道通信，具有成本低、功耗小、控制方便等优点
·2022-07-20 17:10

十三章——GlusterFS分布式文件系统群集（应用——linux防护与群集）

三期总目录链接目录一、GlusterFS相关知识介绍（一）简介1、GlusterFS介绍二、glusterFs实例（一）准备环境1、分区2、node1~node4安装软件--yum方式（需要配置本地其他目录的yum仓库）3、node1~node4所有节点启动glusterfs4、添加节点，只在node1上执行操作即可5、查看群集状态（二）创建卷1、创建分布式卷2、创建条带卷3、创建复制卷4、创建分
乘浪初心·2022-07-19 13:12

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
·2022-07-18 18:01

SCI-HUB最新文献网址

https://gfsoso.99lb.net/sci-hub.htmlhttps://sci-hub.shop/https://s
瞻邈·2022-07-18 14:54

Hadoop生态之Hadoop体系架构(一)

Hadoop起源于谷歌的三篇论文（GFS、MapReduce、BigTable）。名字起源：Hadoop这个名字不是一个缩写
ansap·2022-07-18 13:15

Hadoop 生态系统的构成（Hadoop 生态系统组件释义）

HDFS：HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是Hadoop体系中数据存储管理的基础。它是一个高度容错的
乐在编程学习园·2022-07-18 13:11

Linux内核追踪[4.11] perf ftrace

由于原先操作debugfs的接口还是要操作几个文件来配合使用的，比如:a)设置/sys/kernel/debug/tracing/current_tracer。
qixuan.wu·2022-07-18 07:18

Linux内核 ftrace 介绍与初使用

ftrace具体含义有两层：提供函数钩子的基础设施基于tracefs文件系统的trace框架1)需要打开内核配置选项：CONFIG_FUNCTION_TRACER2)挂载tracefs#mount-tdebugfsnone
Wakke Wang·2022-07-18 07:45

Spark总结（SparkCore,SparkSQL,SparkStreaming）

hadoop是一个分布式计算开源框架，包含分布式文件系统HDFS、MapReduce分布式计算的软件架构和Yarn资源管理调度系统。
ambitfly·2022-07-16 15:58

Tech Talk | HDFS 在 Shopee 的演进

本期话题本期分享将介绍分布式文件系统HDFS（HadoopDistributedFileSystem）在Shopee如何从一个小型集群发展到由数千个节点组成的联邦集群，以及在这一过程中我们遇到的问题与解决措施
·2022-07-15 11:07

Hadoop原理之——HDFS原理

Hadoop原理之——HDFS原理Hadoop3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce
zhangbijun1230·2022-07-14 15:48

Hadoop分布式文件系统——HDFS

Hadoop分布式文件系统——HDFS一、介绍二、HDFS设计原理2.1HDFS架构2.2文件系统命名空间2.3数据复制2.4数据复制的实现原理2.5副本的选择2.6架构的稳定性1.心跳机制和重新复制2
码上代码·2022-07-14 15:46

Hadoop分布式文件系统——HDFS介绍

Hadoop分布式文件系统——HDFS介绍1、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上
youminglan·2022-07-14 15:16

HADOOP学习笔记——HDFS

hdfs的写流程网络拓扑-节点距离机架感知（副本节点的选择）namenode和secondarynamenode的工作机制DataNode的工作机制hdfs的容错机制什么是hdfs首先我们要知道hdfs是分布式文件系统
CHSN·2022-07-14 15:14

Hadoop核心HDFS——HDFS概念及优缺点

Hadoop：Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)Hadoop核心HDFS分布式文件系统：存储是大数据技术的基础
南瓜数据客栈·2022-07-14 15:14

hadoop核心组件——HDFS系列讲解之HDFS基本介绍

分块存储抽象成数据块的好处块缓存HDFS副本机制名字空间（NameSpace）Namenode功能Datanode功能机架感知HDFS基本介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统
LeeBoolean·2022-07-14 15:13

Hadoop，hive，spark分别都是什么

这篇文章写的通俗易懂，很适合对Hadoop形成一个初步的认识1、HadoopStorm/Flink缘起：谷歌的三篇论文：GFS（大数据的存储），MapReduce（数据分析），BigTable（存储非结构化数据
昨日啊萌·2022-07-11 09:52

GFS分布式文件系统概述以及集群部署

简介二、GlusterFS特点2.1扩展性和高性能2.2高可用性2.3全局统一命名空间2.4弹性卷管理2.5基于标准协议三、GlusterFS术语四、GlusterFS构成五、后端存储如何定位文件六、GFS
爱看square dancing的老奶奶·2022-07-06 09:22

Hive、HDFS和hadoop关系

询计划被转化为MapReduce任务，在Hadoop中执行（有些查询没有MR任务，如：select*fromtable）Hadoop和Hive都是用UTF-8编码的Hadoop三大组件：分布式文件系统：
怕不是个弱智·2022-07-05 16:22

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
ArimaMisaki·2022-07-03 13:55

HDFS数据平衡

一、datanode之间的数据平衡1.1、介绍Hadoop分布式文件系统（HadoopDistributedFilSystem），简称HDFS，被设计成适合运行在通用硬件上的分布式文件系统。
一寸HUI·2022-06-30 19:00

由ASP.NET Core根据路径下载文件异常引发的探究

由于项目中存在文件下载功能，没有使用类似MinIO或OSS之类的分布式文件系统，而是下载本地文件，也就是根据本地文件路径进行下载。
yi念之间·2022-06-29 09:00

docker容器间进行数据共享的三种实现方式

如果涉及到跨服务器容器的数据共享，实际上是涉及到服务器之间的数据同步或分布式文件系统，基本不属于docker技术范畴。一、BindMounts方式共享数据
·2022-06-23 15:10

Hadoop大数据从入门到精通-任亮-专题视频课程

Hadoop大数据从入门到精通—48021人已学习课程介绍Hadoop分布式文件系统（HDFS）和MapReduce的工作原理如何优化Hadoop机群所需要的硬件配置搭建Hadoop机群所需要考虑的网络因素如何利用
renlianggee·2022-06-22 08:54

07-Hadoop HDFS之分布式文件系统、NameNode、DataNode和SecondaryNameNode的基础概念

GFS:GoogleFi
愛してるから·2022-06-21 09:05

【Hadoop生态】-HDFS的理解

灵魂之问，先把我的理解摆上来，HDFS是一种分布式文件系统，HDFS可以让用户的读写操作作用在分布式的存储设备，例如多台计算机、集群式服务器。
Zlouts·2022-06-20 12:30

hadoop和hdfs

它受到最先由GoogleLab开发的Map/Reduce和GoogleFileSystem(GFS)的启发。
KDLG_LG·2022-06-20 12:28

大数据-2：Hadoop生态以及HDFS部署

独立运行/Local(Standalone)Mode3.2伪分布式集群/Pseudo-DistributedMode3.3全分布式集群/Fully-DistributedMode1.Haoop简介MFS作为分布式文件系统
LeeHoo0·2022-06-20 12:58

云计算复习一轮

疑问2.GFS的读写过程14.wordcount第一章大数据特征（4V+1C4V+1C4V+1C）数据量大（volumevolumevolume）多样（varietyvarietyvariety）快速（
acwing_zyy·2022-06-17 10:27

FastDFS 技术整理

1、FastDFS1.1、了解基础概念1.1.1、什么是分布式文件系统？
紫邪情·2022-06-05 17:00

一文带你了解优秀的Go 语言开源项目

1.文件系统（FileSystem）篇用于大文件版本控制的Git扩展–git-lfs用于小文件的简单且高度可扩展的分布式文件系统–SeaweedFSGo实现的跨平台文件系统监控库–fsnotifyGo实现的高性能
kuokay·2022-06-02 07:19

初识HBase

adistributed,scalable,bigdatastore.HBaseisatypeof"NoSQL"database.HBase是一个分布式、可伸缩的Hadoop数据库，HBase是在HDFS（分布式文件系统
MusicDancing·2022-05-30 16:19
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他