HadoopHDFS 第2页

实时分布式低延迟OLAP数据库Apache Pinot探索实操

还可以从批处理数据源中摄取数据，如HadoopHDFS、AmazonS3、AzureADLS和谷歌云存储。

2301_76429513·2023-08-13 07:15

Hadoop2学习路程-HDFS

什么是HadoopHDFS?Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。

Q75999·2023-08-10 09:48

Hadoop HDFS 教程（一）介绍

这个HadoopHDFS教程的目标是教会你，什么是HDFS,什么是不同节点，在HDFS中数据是如何存储的，HDFS的结构和HDFS的一些特点，比如分布式存储，容错能力，可用性高和依懒性高和一些关于块的知识等等

Simple_Coder·2023-08-04 12:17

磁盘均衡器：HDFS Disk Balancer

hdfsdiskbalancer简介HDFSDiskBalancer功能数据传播报告HDFSDiskBalancer开启相关命令背景相比较于个人PC，服务器一般可以通过挂载多块磁盘来扩大单机的存储能力在HadoopHDFS

fiveym·2023-08-02 04:06

Hadoop (一) Hadoop学习

学习1.Hadoop简介1.1单独的Hadoop软件Hadoop是Apache软件基金会开源的一款开源Java软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS

C0oOder·2023-07-25 07:52

Hive Metastore、Hive server和thrift

HMS充当了Hive和底层存储系统（如HadoopHDFS）之间的中介，它维护了Hive表的元数据信息，包括表的结构、模式、列类型和分区信息。当用户执行Hive

贾斯汀玛尔斯·2023-07-17 20:48

基于Hadoop的Hdfs云盘系统

文章目录一、关于项目二、项目1.项目演示2.代码总结一、关于项目环境：centos7Tomcat8.0IDEALMySQLhadoop本云盘系统是基于Hadoophdfs的集群分布式系统技术:前端:html5

偶尔失联·2023-07-14 19:15

【云计算】HBase表操作

它是建立在HadoopHDFS上的一个开源的数据库管理系统。HBase的设计目标是提供高可靠性、高可扩展性、高性能、高延迟、高容错性和高可用性。

julien_qiao·2023-06-21 13:42

Hbase伪分布式搭建

Hbase伪分布式搭建教程分析:1.配置好IP2.修改好主机名3.配置好IP映射4.关闭防火墙5.SSH免密登入6.Java安装7.Hadoop安装(伪分布式就可)8.使用HadoopHDFS搭建Hbase

明天要开心·2023-06-20 18:39

Ceph分布式存储笔记

文章目录ceph分布式存储存储分类分布式存储分类HadoopHDFS(大数据分布式文件系统)OpenStack的对象存储Swift公有云对象存储GlusterFSGPFS和HDFS的区别Cephcephg

Salute_Lch·2023-06-19 01:54

hadoop本地化windows部署

jdk1.2安装hadoop1.2.1解压1.2.2备用目录1.2.3修改配置1.2.4安装winutils-master1.2.5格式化namenode1.2.6启动hadoop1.2.7web-ui登陆hadoophdfs2

陈舟的舟·2023-06-17 23:03

Hadoop的基本使用（1）——环境搭建、HDFS的简单使用

HadoopHDFS简介概念：namenode：负责记录数据块的分布情况–数据元数据信息datanode:负责实际存储数据块block：是Hadoop最小存储数据单位默认128Msecondarynamenode

发芽的土豆子·2023-06-16 11:07

此 DataNode 未连接到其一个或多个 NameNode

卡在副本文件不存在，过一会儿状态变红，提示此DataNode未连接到其一个或多个NameNode经过一顿重启调整不行，生产环境坏了两个小时了，已经快3点了准备联系研发了，找到一篇文章，排查防火墙规则搞定了链接如下：Hadoophdfs

熟悉开机关机重启·2023-06-15 20:21

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/

kevin0016·2023-06-12 08:14

清悸·2023-06-09 08:34

Hbase安装指南

HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce

小小哭包·2023-06-07 18:59

几种分布式文件系统的优缺点归纳与总结

1、常用的分布式文件系统有以下几种：1.HadoopHDFS：HadoopDistributedFileSystem（HDFS）是ApacheHadoop生态系统的一部分，用于存储和处理大数据。

水云间月掌柜·2023-06-07 08:00

大数据存储与处理技术探索：Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】

本文将探索两种重要的大数据存储与处理技术：HadoopHDFS和AmazonS3。我们将深入了解它们的特点、架构以及如何使用它们来构建可扩展的大数据解决方案。

上进小菜猪·2023-06-07 05:59

`hadoop fs -mkdir ` 创建的目录位置

test3ll/mkdir相对路径#相对路径都是相对当前工作路径，当前目录下`ll`查看一下也能很清晰看到mkdir-ptest4/test5llhadoop创建文件夹命令hadoopfs-mkdir绝对路径#hadoophdfs

·2023-06-06 21:38

Hadoop HDFS 读写流程

HadoopHDFS读写流程HDFS写流程网络拓扑机架感知源码说明HDFS读流程HDFS写流程HDFS的写数据流程:客户端通过DistributedFileSystem模块向NameNode请求上传文件

cpuCode·2023-04-20 08:33

Hadoop HDFS 概述

HadoopHDFS概述HDFS优缺点HDFS架构HDFS文件块HDFS产生背景:当数据量越来越大，一台机器无法满足，就要更多的机器，这时就需要个分布式文件管理系统来管理这些数据HDFS（HadoopDistributedFileSystem

cpuCode·2023-04-20 08:30

Hadoop学习_day01_基础概念

HadoopHDFS分布式文件系统：解决海量数据存储HadoopMAPREDUCE分布式运算编程框架：解决海量数据计算HadoopYARN作业调度和集群资源管理框架：解决集群资源任务调度海量数据如何存储

mango660·2023-04-19 03:39

系统复习大数据知识点

Jecky不姓码·2023-04-15 09:27

104_es生产集群备份恢复之部署hadoop hdfs分布式文件存储系统

104_es生产集群备份恢复之部署hadoophdfs分布式文件存储系统hadoophdfs是什么的同学，简单的介绍，不会花太多时间，hadoop当前大数据领域的事实上的一个标准hadoophdfs，提供的是分布式的文件存储

小山居·2023-04-15 05:56

Linux实战——Hadoop安装部署

三类组件HadoopHDFS：提供分布式海量数据存储能力HadoopYARN：提供分布式集群资源管理能力HadoopMapReduce：提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备即

会不了一点·2023-04-10 04:37

linux hadoop 关系,最全hadoop架构总结

③广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈hadoop包括四个模块：HadoopHDFS：一个高可靠、高吞吐量的分布式文件系统。

苏文强·2023-04-09 15:20

Hadoop MapReduce各阶段执行过程以及Python代码实现简单的WordCount程序

入门视频教程，适合零基础自学的大数据Hadoop教程文章目录Map阶段执行过程Reduce阶段执行过程Python代码实现MapReduce的WordCount实例mapper.pyreducer.py在HadoopHDFS

VenYy·2023-04-09 05:09

Linux学习笔记——Hadoop安装部署

HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMapReduce提供分布式海量数据计算能力5.10.1.1、前置要求请确保完成了集群化环境前置准备章节的

kxttmx·2023-04-08 03:22

大数据集群（Hadoop生态）安装部署——Linux

HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMa

期望上岸的鱼·2023-04-08 03:51

Doris整合Iceberg+Spark联邦查询实战

Doris整合Iceberg+Spark联邦查询实战环境介绍：SoftVerisonHadoop3.3Hive3.1.3Doris1.1-pr2Spark3.1.2Iceberg0.13.2HadoopHDFS

wangleigiser·2023-04-05 22:31

Hadoop HDFS的主要架构与读写文件

一、HadoopHDFS的架构HDFS：HadoopDistributedFileSystem，分布式文件系统１，NameNode存储文件的metadata，运行时所有数据都保存到内存，整个HDFS可存储的文件数受限于

晓之以理的喵~~·2023-04-05 14:24

HBase逻辑结构和物理结构(图形化通俗易懂)

利用HadoopHDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。

lovelife110·2023-04-03 06:33

大数据系列——HBase理论

以HadoopMapReduce来处理HBase中的海量数据计算，以HadoopHDFS来处理HBase中的海量数据存储，以Zookeeper作为其分布式协同服务、元数据存储，主要用来存储结构化、非结构化

mql007007·2023-04-03 06:29

Hadoop HBase概念学习系列之什么是HBase？（一）

HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce

weixin_33835103·2023-04-02 19:25

Hadoop——HDFS介绍、特性、基本操作

Hadoophdfs一、HDFS入门1．HDFS基本概念1.1．HDFS介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统。

北极猿·2023-04-02 06:04

一文理解Hadoop分布式存储和计算框架入门基础

文章目录概述定义发展历史发行版本优势生态项目架构组成模块HDFS架构YARN架构部署部署规划前置条件部署步骤下载文件（三台都执行）创建目录(三台都执行)配置环境变量(三台都执行)安装和配置（hadoop1上执行）启动和停止HadoopHDFS

IT小神·2023-04-02 00:23

Hbase的基本概念与架构

HBase作为GoogleBigtable的开源实现，GoogleBigtable利用GFS作为其文件存储系统类似，则HBase利用HadoopHDFS

晓之以理的喵~~·2023-03-30 09:57

Hadoop HDFS的架构、高可用与容错机制

本次整理的学习笔记的是HadoopHDFS的架构、高可用与容错机制，供大家参考学习，enjoy~~一、HDFS的架构1，NameNode（1）存储文件的metadata，运行时所有数据都保存到内存，整个

晓之以理的喵~~·2023-03-29 19:20

HBase详解（一）——介绍，架构，数据模型

HBase介绍HBase是HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库LSMTree利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce

ErYao7·2023-03-29 08:31

hadoop学习---运行第一个hadoop实例

wordcount示例1.首先启动hadoop：sbin/start-dfs.sh,sbin/start-yarn.sh（必须能够正常运行）2.进入到hadoop的安装目录下（我的是/usr/hadoop）3.新建hadoophdfs

Alukar·2023-03-24 05:17

Hadoop3.x集群安装教程

Hadoop3.x主要包含如下三个组件：HadoopHDFS，分布式文件存储系统，用来解决海量数据的存储，确保存储具有可扩展性、高效及可靠性。

文景大大·2023-03-18 10:11

Hive入门学习记录

一、概述Hadoop的发音是[hædu:p]Hive是构建在hadoopHDFS上的一个数据仓库。

一只疯兔的迭代记录·2023-03-18 01:38

hadoop 优化之hdfs扩容和缩容

本篇博客主要是对hadoophdfs的扩容和缩容进行配置。主要包括：如何添加hdfs集群的白名单、添加服役服务器、集群服务器之间的数据均衡和黑名单退役不需要的服务器的方法和命令。

小雏菊的成长·2023-03-14 22:41

大数据技术之HBase（二）HBase原理简介

利用HadoopHDFS作为其文件存储系统，写入性能很强，读取性能较差。利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。

five小点心·2023-03-09 07:33

【图文详解】HBase 的数据模型与架构原理详解

HBase使用HadoopHDFS作为其

禅与计算机程序设计艺术·2023-02-18 11:16

大数据--毕业生

hadoophdfs的写流程：首先由三部分组成namenode,datenode,client。

编程爱上我吧·2023-02-06 09:11

2020-07-10　MinIO　高性能对象存储

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品。

奇妙林林·2023-02-01 18:55

hadoop 依赖式job_大数据笔试真题集锦---第四章:Hadoop面试题

我会不间断的更新,维护,希望可以对正在找大数据工作的朋友们有所帮助.第四章目录第四章HadoopHDFS是一个分布式高可靠的文件存储系统Yarn是一个分布式的hadoop资源调度器4.1原理4.1.1HDFS

weixin_39789499·2023-01-25 08:56

Hadoop 安装 day01 + day02

目录linux要求伪分布式部署部署hadoophdfs部署部署yarn完全分布式部署1.准备机器3台（bigdata13、bigdata14、bigdata15）4G2cpu40G2.ssh免密登录【三台机器都要做

不想写bug第n天·2023-01-10 14:04

Hadoop 和 Spark 知识点整理汇总

文章目录前言一、LINUX系统常用命令汇总二、Hadoop常用命令汇总三、Hadoop基本概念1.Hadoop特性2.Hadoop架构2.1Hadoop集群2.2HDFS2.3.YARN四、HadoopHDFS

见夏莫语冰·2023-01-04 18:56

推荐频道

HadoopHDFS