Namenode

Hadoop命令

start-dfs.shstop-dfs.sh打开和关闭dfsstart-yarn.shstop-yarn.sh打开和关闭yarnhadoop单进程操作旧版本命令hadoop-daemon.shstart/stopnamenode
CJ21·2024-01-14 14:25

Hadoop-HA高可用

目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

HDFS及各组件功能介绍

以下是HDFS的主要组件及其功能介绍：1.NameNode（名称节点）：NameNode是HDFS的主节点，负责管理文件系统的元数据。元数据包括文件和目录的命名空间、文
思旭�·2024-01-13 12:32

HDFS组成及架构

HDFS的组成与架构HDFS的组成架构图及各部分功能如下所示：2.1NameNode节点当用户访问数据文件时，为了保证能够读取到每一个数据块，HDFS有一个专门负责保存文件属性信息的节点，这个节点就是NameNode
思旭�·2024-01-13 12:59

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。
邵红晓·2024-01-13 06:24

hadoop(4)--NameNode元数据管理

这是分享的第四篇文章了，可能有些小伙伴看到标题后，很纳闷，完全是跳跃式的，NameNode是什么呢？NameNode是管理元数据的，这个和大数据有什么关系呢？
ROCK_杰哥·2024-01-12 22:41

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys
eyexin2018·2024-01-11 09:46

CentOS查询端口占用和清除端口占用的程序

根据端口查看进程信息lsof-i:8001[root@iZ10uzqlb90od9ZNiuNiuServer]#lsof-i:8001COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEnode8141root18uIPv68815600t0TCP
ღ子鱼·2024-01-10 20:44

深入理解 Hadoop （三）HDFS文件系统设计实现

HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件：edits_0000000000000041912-0000000000000041913：该LogSegment
我很ruo·2024-01-10 08:50

深入理解 Hadoop （二）HDFS架构演进

HDFS分布式集群架构设计实现核心设计思路：分而治之的思路，实现分散存储+冗余存储元数据管理核心问题：文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件
我很ruo·2024-01-10 08:49

深入理解 Hadoop （四）HDFS源码剖析

HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。
我很ruo·2024-01-10 08:10

【spark】基于Spark的电影推荐系统+[详细代码及配置]

Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0_25Zookeeper3.4.12Hadoop配置core-site.xml#配置两个namenode
BIG*BOSS·2024-01-10 06:25

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar·2024-01-10 05:05

CentOS如何修改主机名称

OS：CentOSLinuxrelease7.5.1804(Core)查看主机名称：hostname查看操作系统版本：uname-a修改主机名称：hostnamectlset-hostnamenode-
小洋葱工作室·2024-01-09 12:10

hadoop命令汇总

启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者hadoop--daemonstop
你很棒滴·2024-01-08 19:17

python3使用pyhdfs向hdfs中上传文件示例

同时，脚本支持namenodeha的方式。2包安装pip3installhdfs3脚本示例#!
杨航的技术博客·2024-01-08 16:11

Hadoop学习之路（四）HDFS 读写流程详解

1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求；2、NameNode
shine_rainbow·2024-01-08 12:21

hadoop调优

hadoop调优1HDFS核心参数1.1NameNode内存生产配置1.1.1NameNode内存计算每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128(G)*1024(
健鑫.·2024-01-07 18:25

hadoop调优(二)

hadoop调优(二)1HDFS故障排除1.1NameNode故障处理NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？
健鑫.·2024-01-07 18:25

HDFS的高可用性

HDFS的高可用性联邦hdfs由于namenode在内存中维护系统中的文件和数据块的映射信息，所以对于一个海量文件的集群来说，内存将成为系统横向扩展瓶颈。
zh_harry·2024-01-06 10:25

HDFS&Yarn HA架构设计

一、为什么要用HA在hadoop2.0.0之前，在hdfs集群中，NameNode是存在单点故障问题的。
吃货大米饭·2024-01-05 20:22

Hadoop的启动停止命令详解

包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh停止所有的Hadoop守护进程。
`FUTURE`·2024-01-05 08:44

RabbitMQ单机部署

安装环境CentOS7纯净环境安装前准备主机名修改hostnamectlset-hostnamenode-1添加主机名IP地址映射vim/etc/hosts##末尾加入192.168.8.116node
依然范特希·2024-01-05 04:23

kubeadm安装k8s集群

192.168.2.1node1192.168.2.2node2192.168.2.3node3192.168.2.4node4（2）设置hostname依次在每个节点执行以下命令修改主机名：hostnamectlset-hostnamenode1
撂爪就忘·2024-01-04 14:37

抓取namenode 50070 jmx的指标信息

在生产实践过程中，需要把data退役之后需要停机下线，在下线之前需要确认机器是否已下线完成，要去namenode的50070界面上查看显然效率低，为了能够快速拿到节点信息，写了简单的脚本。
运维仙人·2024-01-04 07:00

HDFS重温

今天被问到分布式，有些忘记，查资料回忆起分布式集群构建，现在重温集群搭建过程费话不多说，来个简图NameNode：HDFS群集包含单个NameNode（主服务器），它管理文件系统命名空间并控制客户端对文件的访问权限
zty_1995·2024-01-03 18:18

【Hadoop】如何启动和关闭Hadoop集群

将新的分布式文件系统格式化为hdfs：$HADOOP_HOME/bin/hdfsnamenode-format启动namenode和datanode有两种方
不怕娜·2024-01-02 10:29

Hive(二)之bash群起脚本

集群的启动启动HDFS启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode
DarrenmondZhang·2024-01-02 07:45

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

2018-05-21

是管理调度作业的，mr是计算处理的3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时，区别是什么root的权限高，可以不用管，普通用户需要修改autoxx4.hdfs三个进程是什么namenode
CrUelAnGElPG·2024-01-01 23:55

【2023Hadoop大数据技术应用期末复习】填空题题型整理

大数据的4V特征包含（）（）（）（）答案：大量、多样、高速、价值Hadoop三大组件包含（）（）（）答案：HDFS、MapReduce、YarnHadoop2.x版本中的HDFS是由（）（）（）组成答案：NameNode
Lacszer·2024-01-01 10:23

大数据 - Hadoop系列《二》- Hadoop组成

目录3.1hadoop组成3.1HDFS架构概述1.NameNode（nn）：编辑2.DataNode(dn)：3.SecondaryNameNode(2nn)：3.2YARN架构概述3.3MapReduce
王哪跑nn·2023-12-31 22:50

安装与部署Hadoop

、core-site.xml4、hdfs-site.xml5、linux中Hadoop环境变量四、启动hadoop五、验证一、前置安装准备1、机器主机名ip服务node1192.168.233.100NameNode
mapyking·2023-12-31 20:48

在CentOS7上安装Hadoop分布式系统

HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode
栗子艾李子·2023-12-30 07:26

Hadoop架构概述

HDFS架构概述HDFS（HadoopDistributedFileSystem）的架构概述NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的
青涩的芒果汁·2023-12-30 06:31

测试：如何查看节点进程？

例如，在Hadoop的NameNode上执行`jps`可以显示所有运行的Java进程，包括Hadoop的各个服务（如Namenode,Datanode等）。
AnyaPapa·2023-12-30 05:58

最全Hadoop实际生产集群高可用搭建

005IPxxxxxxxxxxxxxxx组件hadoop1hadoop2hadoop3hadoop4hadoop5内存64G64G128G128G128GCPU核1616323232Hadoop-3.3.4NameNodeNameNodeDataNodeDataNo
tuoluzhe8521·2023-12-29 00:30

【HDFS联邦（1）】ViewFs与联邦理论知识详解

文章目录一.ViewFs介绍二.联邦之前的旧世界1.单个namenode集群2.路径使用逻辑三.新世界–联邦与ViewFs1.HowTheClustersLook2.使用ViewFs为每个集群创建全局的
roman_日积跬步-终至千里·2023-12-28 19:12

【HDFS联邦（2）】HDFS Router-based Federation官网解读：HDFSRouterFederation的架构、各组件基本原理

文章目录一.介绍二、HDFSRouter-basedFederation架构1.示例说明2.Router2.1.Federatedinterface2.2.Routerheartbeat2.3.NameNodeheartbeat2.4
roman_日积跬步-终至千里·2023-12-28 15:41

Hadoop源码分析---Namenode和Datanode

一、HadoopRPC框架1.hadoopipc框架代码位于org.apache.hadoop.ipc包内，有一个抽象类Server，实现监听服务的功能。其构造方法参数除了hostname,port之外，还有handlerCount，numReaders，queueSizePerHandler，分别对应handler线程数，reader线程数，每个handler所能处理队列的大小，handlerC
编程小王子啊·2023-12-28 13:33

HDFS2.x之RPC流程分析

HDFS2.x之RPC流程分析1概述Hadoop提供了一个统一的RPC机制来处理client-namenode,namenode-dataname,client-dataname之间的通信。
can007·2023-12-28 13:59

Hadoop生产集群各种维护命令

1.HDFS运维1.1HDFS集群操作命令#HDFS集群启停start-dfs.shstop-dfs.sh#获取HDFS集群信息hdfsdfsadmin-report#namenode和datanode
tuoluzhe8521·2023-12-27 12:12

Linux 查看端口占用情况lsof和 netstat 命令

lsof查看端口占用语法格式：复制代码lsof-i:端口号实例查看服务器8000端口的占用情况：复制代码#lsof-i:8000COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEnodejs26993root10uIPv4
sober_me·2023-12-27 08:28

orc小文件合并趣谈

最近，集群中namenode压力有所显现。于是，针对小文件多的目录进行了排查和治理。进而，有了今天的这个主题ORC小文件合并趣谈。核心问题这里，首先治理的是实时导入数据的目录。
艾伦_alan·2023-12-27 01:02

datasophon组件安装时踩坑记录

*to'root'@'%'identifiedby'xxxx';1.安装hdfs后有一个namenode进程未启动解决：在那个未启动的节点上执行hdfsnamenode-bootstrapStandby
州周·2023-12-26 17:56

etcd事件监听

p2379:2379\-p2380:2380\--nameetcdquay.io/coreos/etcd:latest\/usr/local/bin/etcd\--data-dir=/etcd-data--namenode1
getsu·2023-12-25 10:52

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成：NameNode:负责执行有关文件系统命名空间的操作，例如打开，关闭、重命名文件和目录等。
zhang35·2023-12-24 08:54

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

hdfs又对应namenode和datanode.namenode负责保存元数据的基本信息，datanode直接存放数据本身；mapreduce对应jobtracker和tas
套马杆的程序员·2023-12-24 04:49

浅谈Hadoop容错机制

简单介绍一下Hadoop中数据存储的可靠性和完整性，其中包括HDFS的容错机制、NameNode(元数据结点)的单点失效解决机制、Block数据块的多副本存储机制、NameNode与DataNode之间的心跳检测机制
小小少年Boy·2023-12-23 15:19

大数据技术探索

1.1HDFS1）HDFS集群包括：NameNode和DataNode以及SecondaryNamenode。
三翼鸟数字化技术团队·2023-12-22 06:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他