Namenode

jpsnamenode和不显示_伪分布式hadoop启动后jps查不到namenode的解决办法

hadoop启动后jps查不到namenode的解决办法最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在.下面是我的core-site.xml
weixin_39663258·2020-12-20 16:54

HDFS NameNode fsimage文件corrupt了，怎么办

文章目录前言NameNodefsimagecorrupt场景NameNodefsimagecorrupt解决办法NNfsimagecorrupt的重新行为参考链接前言在如今很多用户使用HDFS做为大数据的底层存储时
Android路上的人·2020-12-19 23:18

非root用户配置hadoop的终极踩坑教程

总体架构2.软件下载配置步骤1.配置ssh免密登录2.配置hosts文件3.hadoop配置文件修改4.启动问题汇总1.ssh配置问题2.java的路径问题3.datanode无法开启4.secondarynamenode
UpUpCAI·2020-12-19 16:28

Mapreduce程序 统计文件中每个单词出现次数

安装vim4.配置SSH、配置SSH无密码登陆三.安装Java环境1.安装JDK2.验证JDK安装情况3.设置JAVA坏境变量四.安装Hadoop五.Hadoop伪分布式配置1.修改配置文件2.格式化NameNode3
niels kiki·2020-12-17 15:40

Hadoop基础（四）：Hadoop容错机制

文章目录一、HDFS副本机制二、YARN容错机制Map/ReduceTaskApplicationMasterNodeManager三、高可用集群HAClusterNameNode一、HDFS副本机制HDFS
XavierYen·2020-12-17 08:34

在hadoop调用mapreduce对文件中各个单词出现次数进行统计

.安装SSH、配置SSH无密码登陆三、安装java环境1.安装JDK2.验证JDK安装情况四、安装hadoop五、Hadoop单机配置(非分布式)六、Hadoop伪分布式配置1.修改配置文件2.格式化NameNode3
ゝ 擱淺 ぃ·2020-12-16 22:02

调用MapReduce对文件中各个单词出现次数进行统计

.更新apt3.安装SSH、配置SSH无密码登陆三.安装Java环境1.安装JDK2.验证JDK安装情况3.设置JAVA坏境变量四.安装Hadoop五.Hadoop伪分布式配置1.修改配置文件2.执行NameNode
HPF_99·2020-12-14 23:56

关于HDFS的基础概念和IO操作

1.HDFSNameNode**作用是接受客户端的读写服务，在内存中保存文件元数据信息**NameNode在内存中保存的metadata包括：（1）文件所属ownership和权限permission，
LannisterWF·2020-12-14 17:49

CentOS7搭建Hadoop-3.3.0集群手记

Hadoop集群中各个角色的名称如下：服务主节点从节点HDFSNameNodeDataNodeYARNResourceManagerNodeManager❝
Throwable文摘·2020-12-14 08:00

大数据之hodoop

大数据主要解决：大数据的特点：nameNode就像是目录相当于实实在在的数据辅助nameNode工作。HDFS负责文件的存储YARN：节点=服务器/电脑整个集群资源的老大：整个集群中单个节点的老大：
有上进心的阿龙·2020-12-13 15:43

Hadoop基础（一）：分布式文件系统HDFS

文章目录一、HDFS架构1.HDFS设计思想2.HDFS组成架构Client：客户端NameNode：元数据节点（Master）DateNode：数据存储节点（Slave）SecondaryNameNode
XavierYen·2020-12-11 03:27

利用 Arthas 解决启动 StandbyNameNode 加载 EditLog 慢的问题

作者|yhf20071【Arthas官方社区正在举行征文活动，参加即有奖品拿~点击投稿】公司新搭HDFS集群，namenode做ha，但是在启动StandbyNamenode节点的时候出现奇怪的现象：空集群加载
阿里巴巴云原生·2020-12-07 15:14

hadoop start namenode deamon and datanode deamon failed

Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableIncorrectconfiguration:namenodeaddressdfs.namen
elina·2020-12-03 20:23

hadoop start namenode deamon and datanode deamon failed

Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableIncorrectconfiguration:namenodeaddressdfs.namen
elina·2020-12-03 19:36

执行start-all.sh启动Hadoop时 没有NameNode 的解决方法

搭建完全分布式模式后，在启动hadoop的时候，发现主节点（Master）上没有运行NameNode节点。
苜苜的烂笔头·2020-12-01 11:22

利用 Arthas 解决启动 StandbyNameNode 加载 EditLog 慢的问题

作者|yhf20071【Arthas官方社区正在举行征文活动，参加即有奖品拿~点击投稿】公司新搭HDFS集群，namenode做ha，但是在启动StandbyNamenode节点的时候出现奇怪的现象：空集群加载
阿里巴巴云原生·2020-11-30 22:48

【大数据技术】HDFS原理性知识总结

一、HDFS现有不足：1、不适低延时数据访问2、无法高效的大量小文件进行存储出现原因：·小文件会占用NameNode大量内存来存储该文件的目录和块信息，每个小文件需要150字节。
江澈_SIMON·2020-11-30 00:01

hdfs读写流程_5000 字干货 | 大数据之 HDFS 图文详解

大纲HDFS基本概念及特性NameNode和DataNode数据冗余备份数据副本存放策略机架感知FsImage和EditLogSecondaryNameNodeHDFS读写步骤安全模式几个问答题什么是HDFSTheHadoopDistributedFileSystem
weixin_39792803·2020-11-23 20:21

Hadoop3.x完全分布式集群搭建教程（一）

前言集群规划：5台机器：hadoop101hadoop102hadoop103hadoop104hadoop105HDFSNameNodeNameNodeDataNodeDataNodeDataNodeYARNResourceManagerResourceManagerNodeManagerNodeManagerNodeManagerZookeeper
wanxx·2020-11-20 16:46

Hadoop学习01-hdfs概念

hadoop解决什么问题1.海量数据如何存储（hdfs）2.海量数据如何计算（mapreduce）1.HDFS两个核心namenode与datanodenamenode：1.管理各个datanode2.
彩笔梳子·2020-11-19 17:18

hadoop三大核心组件

（1）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode/SecondaryNameNode。
呆小黎·2020-11-17 09:26

Hadoop3.2.0集群搭建常见注意事项

一端口变化3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问二butthereisnoYARN_RESOURCEMANAGER_USERdefined.Abortingoperationhadoop-env.sh
·2020-11-16 15:28

Hadoop学习01-hdfs概念

hadoop解决什么问题1.海量数据如何存储（hdfs）2.海量数据如何计算（mapreduce）1.HDFS两个核心namenode与datanodenamenode：管理datanode，类似仓库管理员
彩笔梳子·2020-11-16 13:24

namenode节点无法启动解决方法

主页有完整的hadoop安装教程，自行查看互联网搜集：第一种可能出错的原因及解决方法：多次初始化这个问题一般是由于两次或两次以上的格式化NameNode（hadoopnamenode-format）造成的
余生羁绊·2020-11-15 15:19

本文将大数据学习门槛降到了地平线

HDFS原理是把大块数据切碎，存数据的叫datenode（格子间），管理datenode的叫namenode（执伞人）。MapReduce原理是大任务先分堆处理-Map，再汇总处理结果-Reduce。
从删库到跑路·2020-11-14 22:46

Hadoop框架：HDFS高可用环境配置

本文源码：GitHub·点这里||GitEE·点这里一、HDFS高可用1、基础描述在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes
知了一笑·2020-11-14 17:30

Hadoop框架：DataNode工作机制详解

GitHub·点这里||GitEE·点这里一、工作机制1、基础描述DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；DataNode启动后向NameNode
知了一笑·2020-11-14 17:55

Hadoop框架：NameNode工作机制详解

本文源码：GitHub·点这里||GitEE·点这里一、存储机制1、基础描述NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到
知了一笑·2020-11-14 17:23

HDFS分布式文件系统

它是分布式的,由很多服务器联合起来实现其功能.集群中的服务器有各自的角色(分布式本质是拆分,各司其职)典型的Master/Slave架构HDFS的架构是典型的Master/Slave结构HDFS集群往往是一个NameNode
chain_xx_wdm·2020-11-13 11:20

Apache Hadoop的重要组成

分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块HDFSHadoopDistributeFileSystem一个高可靠,高吞量的分布式文件系统"分而治之"NameNode
chain_xx_wdm·2020-11-13 11:19

一文带你了解HDFS的shell命令

HDFS采用分而治之的设计思想，将文件切分为文件块进行存储，存储数据的节点为datanode，存储这些数据具体存放位置的节点为namenode。
大数据超哥·2020-11-13 11:56

本文将大数据学习门槛降到了地平线

HDFS原理是把大块数据切碎，存数据的叫datenode（格子间），管理datenode的叫namenode（执伞人）。MapReduce原理是大任务先分堆处理-Map，再汇总处理结果-Reduce。
从删库到跑路·2020-11-13 11:10

(五)Windows下Hadoop的启动，HDFS上传文件等命令

PSD:\open_source\hadoop-2.5.2\bin>hdfsnamenode-formatPSD:\open_source\hadoop-2.5.2\bin>start-all.cmdPSD
Natasha·2020-11-13 11:32

Hadoop框架：HDFS高可用环境配置

本文源码：GitHub·点这里||GitEE·点这里一、HDFS高可用1、基础描述在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes
知了一笑·2020-11-13 11:52

1. Spark架构

其架构如下：与HDFS组件的NameNode，
爱学习的小朱哥·2020-11-13 11:11

Hadoop框架：DataNode工作机制详解

GitHub·点这里||GitEE·点这里一、工作机制1、基础描述DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；DataNode启动后向NameNode
知了一笑·2020-11-13 11:02

Hadoop框架：NameNode工作机制详解

本文源码：GitHub·点这里||GitEE·点这里一、存储机制1、基础描述NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到
知了一笑·2020-11-13 11:47

(大数据)面试题汇总

HDFS中，NameNode与DataNode的作用？SecondaryNameNode的作用以及与NameNode的区别和联系?什么是集群安全模式？什么情况下会进入安全模式？以及安全模式的解决方法？
菜鸟也学大数据·2020-11-04 23:27

排坑--阿里云SparkSQL在本地IDEA中连接Hive时，连接不上NameNode时。

在idea中运行SparkSQL，要连接阿里云部署的Hive。开一个9866端口。除了把hdfs-site.xml,core-site.xmk,hive-site.xml放进去之后，还有修改hdfs-site.xml中的文件dfs.client.use.datanode.hostnametrue在Hadoop集群上面的hdfs.xml中添加dfs.datanode.use.datanode.hos
New灬soul·2020-11-04 10:21

hadoop副本数查看修改

hdfs-site.xml中dfs.replication3我们也可以通过hdfsdfs-ls/path/to/file命令查看hdfs上的文件：文件类型会在第二列显示副本数量3，第五列显示文件大小，目录因为是由namenode
海绵不老·2020-10-25 14:37

大数据私房菜面试题

一.Hadoop1.hdfs写流程2.hdfs读流程3.hdfs的体系结构4.一个datanode宕机,怎么一个流程恢复5.hadoop的namenode宕机,怎么解决6.namenode对元数据的管理
Saiheihua·2020-10-24 22:00

HDFS读流程

HDFS采用主从结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。
nil_ddea·2020-10-19 00:47

Windows启动HDFS报错 - org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z报错信息如下：2020-10-1316:59:34,528ERRORnamenode.NameNode
夹胡碰·2020-10-15 10:24

大数据_06 【hadoop HDFS文件读写流程】

hadoopHDFS文件读写流程】01文件写入过程02文件读取过程03数据校验04DataNode节点丢失周期05DataNode的目录结构01文件写入过程详细步骤解析：1、client发起文件上传请求，通过RPC与NameNode
扭转乾坤=·2020-10-12 17:03

hadoop环境搭建

一、集群节点配置及服务主机名角色运行服务安装目录tinygao1MasterNameNodeResourceManager/data/program/hadoop-2.8.0/tinygao2SlaveDataNodeNodeManager
hello高world·2020-10-11 16:48

Hadoop大数据平台架构与实践-基础篇

一、Hadoop两大核心组成1.HDFS分布式文件系统：存储2.MapReduce:并行计算二、HDFS基本概念block块：固定大小为64M的逻辑单元，HDFS的文件被分成块进行存储NameNode：
Derrick_Xu·2020-10-11 12:24

Hadoop基础

2，Master上运行NameNode，SecondaryNameNode，TaskTrackerSlave上运行DataNode和JobTracker3，通常来说Master上运行唯一的NameNode
曦宝·2020-10-11 05:09

20180601早课记录23-Hadoop

按启动顺序说NameNode,DataNode,SecondaryNameNode3.一个文件180M，请问实际存储多少，多少块?多少maptask?
K_un·2020-10-11 02:26

黑猴子的家：Hadoop NameNode 的主备切换实现

NameNode主备切换主要由ZKFailoverController、HealthMonitor和ActiveStandbyElector这3个组件来协同实现：ZKFailoverController
黑猴子的家·2020-10-10 22:26

Hadoop HA集群两个NameNode都是standby

背景今天给客户的阿里云平台搭建HadoopHA集群时，出现以下情况：通过hdfshaadmin-getServiceStatenn1和hdfshaadmin-getServiceStatenn2命令查看，发现两个NameNode
yiming1012·2020-10-10 21:15
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他