DataNode

hadoop问题--root账户启动报错

AttemptingtooperateonhdfsnamenodeasrootERROR:butthereisnoHDFS_NAMENODE_USERdefined.Abortingoperation.StartingdatanodesERROR
qq_41550352·2020-07-14 20:12

使用docker跑一个伪分布式hadoop测试集群

使用docker跑一个伪分布式hadoop测试集群概述主要镜像组件版本镜像构建hadoop-basenamenodedatanoderesourcemanagernodemanagerhistoryserverzookeeper
枫8023·2020-07-14 19:31

企业级Hadoop大数据平台实战（3）——Hadoop分布式的实现

#1搭建实验环境实验环境：rhel7.5主机信息作用server5(172.25.8.5)Namenode（master）server6(172.25.8.6)Datanode(slave)server7
AmourHai·2020-07-14 19:00

hadoop三个配置文件的参数含义说明

8020core-site.xmlhdfs://master:8020/dfs.http.addressNameNodeweb管理端口50070hdfs-site.xml0.0.0.0:50070dfs.datanode.addressdatanode
寂寞烟·2020-07-14 16:03

Hadoop三种运行模式（单机模式、伪分布式模式、全分布式集群模式）

Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行
qiulinsama·2020-07-14 16:26

Zookeeper 源码阅读-如何组织配置节点

Zookeeper的配置节点组织在一个DataTree中，所有的配置节点都保存在ConcurrentHashMap中，该HASHMAPKey是节点的全路径；DataNode是值，DataNode中保存了节点的配置数据和节点的子节点名
oria2006·2020-07-14 16:43

10分钟搭建Hadoop集群

2.规划节点：将其中一台机器作为master作为NameNode，另外两台作为DataNode，命名3台机器为：no
铁汤·2020-07-14 15:42

七、分布式环境搭建——ElasticSearch集群搭建及集群管理工具cerebro

elasticsearch.yml（1）节点1配置cluster.name:tang-clusternode.name:es-2注意需要建立/elastic/data目录path.data:/elastic/datanode.master
仁钦宝·2020-07-14 15:15

在linux环境下安装hadoop环境和配置

一般而言，可以把伪分布的hadoop当做只有一个节点的集群，在这个集群中，这个节点即是master，也是一个slave,即是一个NameNode，也是一个DataNode，即是一个JobTracke
lixiaopengai·2020-07-14 14:01

HDFS元数据管理机制

元数据管理机制Checkpoint操作元数据元数据.png元数据管理客户端上传文件的时候，NameNode先往editlog中记录这条操作；客户端根据NameNode分配的位置信息往DataNode中写入数据
JustCode·2020-07-14 14:40

hadoop集群搭建后，不能正常启动

hadoop搭建后，通过start-dfs.sh执行后，还需要namenode节点启动后，一直卡在界面上；现象描述：1.启动namenode节点还需要输入密码2.一直卡在界面上3.各个datanode节点均已经启动
犀利哗啦760596103·2020-07-14 14:21

hive 3.1.1 高可用集群搭建（与zookeeper集成）搭建笔记

三个节点分别在hdp01、hdp02、hdp032.zookeeper5个节点分别在hdp04、hdp05、hdp06、hdp07、hdp083.hadoop7个节点：namenodehdp01、hdp02datanodehdp03
犀利哗啦760596103·2020-07-14 14:21

hadoop 2.8.1 + zookeeper 3.4.6 + yarn 高可用集群搭建 记录

简单集群介绍1.hadoop所在机器namenodeactivehdp01namenodestandbyhdp02datanodehdp03、hdp04、hdp05、hdp06、hdp07、hdp082
犀利哗啦760596103·2020-07-14 14:21

Datanode节点一块硬盘故障处理

今天一台服务器datanode服务自动停止了，查看datanodelog发现如下报错：org.apache.hadoop.util.DiskChecker$DiskErrorException:Toomanyfailedvolumes-currentvalidvolumes
levy_cui·2020-07-14 13:55

hadoop关键进程

hadoop集群中主要进程有master:NameNode,ResourceManager,slaves:DataNode,NodeManager,RunJar,MRAppMaster,YarnChild
lemonlhy·2020-07-14 13:12

Hadoop生态系统

HDFS集群分为两大角色：NameNode、DataNodeNameNode负责管理整个文件系统的元数据DataNode负责管理用户的文件数据块4.文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台
JontyYang·2020-07-14 12:19

记一次HDFS配置被覆盖的修复步骤

事情简单概括就是，60+台hadoop的集群，每一个DataNode的硬盘数量都不相同，正常情况下集群的配置是在NameNode上面改完，然后rs
wen1995·2020-07-14 12:00

ShardingSphere实现本地注册中心，动态刷新actualDataNodes

ShardingSphere实现本地注册中心，动态刷新actualDataNodes看过ShardingSphere4.0.0-RC1实现动态刷新actualDataNodes，不使用zookeeper
hrbbeeant·2020-07-14 11:01

Hadoop与HBase中遇到的问题

1.Hadoop中遇到的问题以前所遇到的问题由于没有记录,所以忘了(1)NameNode没有启动成功,是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID
一只鸟的天空·2020-07-14 11:06

Hadoop中的HDFS学习

实验环境服务器列表服务器用途IP地址主机名NameNode192.168.3.69namenode.abc.localDataNode1192.168.3.70datanode1.abc.localDataNode2192.168.3.71datanode2
heshangkung·2020-07-14 11:00

安装spark-bench

spark-bench.gitgitclonehttps://github.com/synhershko/wikixmlj.gitcdwikixmlj/mvnpackageinstallcdspark-bench/[root@datanode01bin
蘑菇丁·2020-07-14 11:07

hadoop+hbase海量小图片处理

HDFS存在普遍的小文件存储的通病，对小文件的读取通常会造成大量从datanode到da
good_mpj·2020-07-14 10:39

从零自学Hadoop(02)：环境准备

文章是哥(mephisto)写的，SourceLink起因我们对Hadoop有了初步的认知，得有NameNode,DataNode,NameNode和DataNode可以在一个机器上，但这样效果不好。
df51511·2020-07-14 09:01

hadoop，hbase，hive安装全记录

操作系统：CentOS5.5Hadoop：hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master，namenode的IP:10.10.102.15datanode主机名
chengweipeng123·2020-07-14 08:07

HDFS多硬盘挂载

环境说明9个节点，7个DataNode，每个DataNode有3块硬盘，两块是后来加的，挂载在系统所在文件系统。
陈振阳·2020-07-14 08:45

大数据-Hadoop 伪分布式配置（已配置成功）

Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。
changhenshui1990·2020-07-14 08:34

hadoop2.7集群初始化之后没有DataNode的问题

问题三台机器组成的hadoop2.7集群中，重新初始化之后再次启动启动，发现以下问题：在master节点，用hdfs命令上传文件报错Thereare0datanode(s)runningandnonode
程序员欣宸·2020-07-14 08:45

hadoop hdfs读写流程和主从架构模式

区块链技术没有中心hdfs读写流程(1)架构体系主从模式（集中式管理）(2)主:namenode从:datanode(3)缺点:namenode只有一个datanode有多个,单点故障缺点,这个缺点怎么解决
baiyan_er·2020-07-14 08:39

Hadoop 2.6.0动态添加节点

blog.csdn.net/ggz631047367/article/details/50086585文章出自：http://my.oschina.net/leoleong/blog/477508本文主要从基础准备，添加DataNode
葡萄喃喃呓语·2020-07-14 05:26

(09)大数据之hadoop的分布式，伪分布式，单机环境搭建

hadoop.apache.org/docs/5.1、StandAlone环境搭建运行服务服务器IPNameNode192.168.52.100SecondaryNameNode192.168.52.100DataNode19
济南彭于晏·2020-07-14 05:39

疯狂Hadoop之HDFS应用开发（四）

数据本身实际存储在datanode中namenode知道HDFS中任何给定文件的块列表及其位置，使用此信息namenode知道如何从块中构建文件namenode并不持久化
千锋教育官方博客·2020-07-14 04:39

Hadoop

伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是
为何行于此路·2020-07-14 03:06

hadoop生态圈各个组件

client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据
La victoria·2020-07-14 03:10

hadoop集群hdfs磁盘划分

做法2:用2块盘sas/sata做raid1,用作安装os+soft+config,其他盘-1sas/sata做raid5,用作数据盘,拿一块做热备datanode用2块sata做raid1,用作安装os
yangjun2·2020-07-14 03:56

Java+大数据开发——Hadoop集群环境搭建(一)

1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN
weixin_34367845·2020-07-14 03:23

Linux下Hadoop(伪分布) + Zookeeper + HBase（一个节点） 部署

前期准备：1.安装配置好hadoop(我这里是伪分布)，并确认能够使用core-site.xml文件配置如下：fs.defaultFShdfs://172.16.43.10:9000dfs.datanode.socket.write.timeout3000000dfs.socket.timeout3000000hadoop.tmp.dir
木之夭·2020-07-14 02:36

CentOS 7搭建Apache Hadoop 3.1.1集群

一、集群规划集群节点为1个NameNode，1个SecondaryNameNode，3个DataNode，如下表如示：NameNode，SecondaryNameNode：NameNode，SecondaryNameNode
sealir·2020-07-14 02:58

Hadoop生态圈各组件的启动及关闭脚本

1.Hdfs(v2.7.3)1.1.启动集群sbin/start-dfs.sh注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的
away30·2020-07-14 01:53

Flink学习15---容错机制（五）checkpoints保存报错 Could not flush and close the file system output stream to hdfs

Couldnotflushandclosethefilesystemoutputstreamtohdfs:....couldonlybereplicatedto0nodesinsteadofminReplication(=1).Thereare2datanode
zhuzuwei·2020-07-13 23:53

hadoop配置优化

##磁盘空间占用防止hdfs文件占用全部磁盘空间，在hdfs-site.xml中配置dfs.datanode.du.reserved：预留磁盘空间，详情请参考hadoop预留空间配置方法dfs.datanode.du.reserved10737418240
zh350229319·2020-07-13 23:11

Hadoop动态添加/删除节点（datanode和tacktracker）

总的来说添加/删除DataNode和TaskTracker的方法非常相似，只是操作的配置项和使用的命令有微小差异。
yanxiangtianji·2020-07-13 22:25

Hadoop集群的配置及常见问题总结

shirleyren100,192.168.0.101：shirleyren101,192.168.0.102：shirleyren102，其中192.168.0.100为namenode，另外两台为datanode
xiaotuzipaopao·2020-07-13 22:14

企业—hadoop简介及其部署

负责元数据的管理(名称空间和数据块映射信息);配置副本策略；处理客户端请求DataNode：数据存储节点(也称Slave节点)，存储
weixin_44224288·2020-07-13 20:52

Hadoop中的配置文件

XMLHadoopcore的配置项，如HDFS和MapReduce常用的I/O设置等hdfs-site.xmlHadoop配置XMLHadoop守护进程的配置项，包括NameNode，SecondaryNameNode和DataNode
应龙与巨蜥·2020-07-13 20:51

hadoop集群配置

所以在生产环境下都是搭建的最后一种模式:完全分布模式主机角色软件192.168.6.10masterNameNodeSecondaryNameNodeResourceManagerHDFSYARN192.168.6.11node1DataNodeNodeManagerHDFSYARN192.168.6.12node2DataNodeNodeMa
乐于技术分享·2020-07-13 19:26

hadoop：搭建Hadoop集群，一个月6T的数量需要几台服务器

配置几个namenode,几个datanode,namenode和datanode怎么部署，内存与硬盘大小？？
花和尚也有春天·2020-07-13 19:08

hadoop中HDFS实现思想及原理图

3.文件的block存放在若干台datanode节点上。4.hdfs文件系统中的文件与真实的block之间存在映射关系，这个关系是由namenode进行管理。
Luke_www·2020-07-13 19:16

hadoop中datanode无法启动，报Caused by: java.net.NoRouteToHostException: No route to host

今天把hadoop环境给搭起来了，在master上面启动hadoop后，jps查看进程，SecondaryNameNodeNameNodeJpsDataNodeJobTrackerTaskTracker
weixin_33971205·2020-07-13 18:23

Hadoop各种进程的配置文件及其位置说明

hdfsDameNodecore-site.xmlfs.defaultFShdfs://cen-ubuntu:8020DataNodeslavescen-ubuntuSecondaryNameNodehdfs-site.xmldfs.namenode.secondary.https-addresscen-ubuntu
weixin_30570101·2020-07-13 17:49

在CentOS7下搭建Hadoop2.9.0集群

8u191-linux-x64MYSQL版本：5.7.26Hadoop版本：2.9.0Hive版本：2.3.4HostNameIpUser/PassNamenode192.168.2.3root/root.Datanode1192.168.2.5root
weixin_30548917·2020-07-13 17:09
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他