DataNode

hadoop habse集群增加磁盘空间

最近项目上采集的数据量超出预期，hbase集群中的datanode节点磁盘使用过快，基本都超过50%，按现有的使用频率来看，预计只能继续支撑3个月左右，考虑着要加新的硬盘，但是却被这么一个小问题折腾了好一会才解决
jiangdaquan·2020-07-27 12:15

八、HDFS中的DataNode

上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、DataNode的工作机制二、掉线时限参数三
象在舞·2020-07-27 11:53

hadoop的核心组件和HDFS存储数据原理

Hadoop核心组件(主从集群)HDFS(分布式文件系统,集群):解决数据的存储,其角色:namenode(主),datanode,secondarynamenode(主的秘书)YARN(作业调度和集群资源管理的框架
手写的从前-Jay·2020-07-27 11:38

HDFS笔记，NameNode、SecondaryNameNode、DataNode功能

NameNode、SecondaryNameNode、DataNodeNameNode(1)管理元数据(2)响应客户请求SecondaryNameNode减少NameNode工作量DataNode（1）
Jenson97·2020-07-27 11:35

HDFS的读写

4）客户端请求第一个Block上传到哪个DataNode服务器节点上5）NameNode返回DataNode节点6）客户端通过FSDataOutputStream模块7）请求DataNode1上传数据
学习大数据入门到放弃·2020-07-25 17:00

hadoop集群配置

1.集群部署规划hadoop11hadoop12hadoop13HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeManager2
学习大数据入门到放弃·2020-07-21 14:00

java大数据最全课程学习笔记(4)--HDFS NN,2NN,DN及HDFS2.x新特性

SecondaryNameNode（重点）NN和2NN工作机制NN和2NN工作机制详解Fsimage和Edits解析CheckPoint时间设置NameNode故障处理集群安全模式NameNode多目录配置DataNode
假装文艺范儿·2020-07-17 10:00

Hadoop：文件操作之Java接口(FileSystem类)

java.net.URL读取数据通过FlieSystemAPI读写数据读取数据写入数据新建目录新建文件并写入追加写入一致模型修改配置信息通过FileStatus查询文件系统查看文件系统信息查看块信息查看datanode
BOUNC3·2020-07-16 07:21

记一次hadoop namenode 启动失败问题及解决过程（启动几秒钟后又挂了）

在做单节点启动测试时发现namenode启动几秒钟后又挂了，datanode还是好好的。难不成是资源问题？敲入free-h、top查看了一下节点资源使用情况，没问题呀。
.破晓.·2020-07-16 06:02

hadoop的dataNode节点起不来

今天发现hadoop集群挂掉了一个dataNode节点:此时发现一个dataNode节点已经挂了快60个小时了(由于我被临时调用到别的工作中,以为这磁盘很坚强,加上加班,所以疏忽了,有点不称职了)赶快启动单节点
济宁小图·2020-07-16 05:23

大数据之路-Hadoop-5-HDFS原理解析及NameNode、DataNode工作机制

读数据流程1概述2详细步骤图3详细步骤解析四NameNode工作机制1问题场景2NameNode的职责3元数据管理31元数据存储机制32元数据手动查看33元数据checkpoint34元数据目录说明五DataNode
幸运的天才小驴·2020-07-16 02:44

mysql cluster ndb 内存表和磁盘表

同时会在磁盘上保存数据，因此不用担心数据会丢失，datanode会在启动的时候把数据加载到内存。2、磁盘表：仅主键、索引字段保存在内存中，其他字段保存在磁盘文件里。
congyun1447·2020-07-15 21:47

【问题】多次格式化namenode导致节点无法启动问题

多次对namenode进行格式化导致节点无法启动的解决  多次格式化namenode造成了namenode和datanode的clusterID不一致！
KevinWDong·2020-07-15 21:55

搭建Hadoop-HA + ZooKeeper + Yarn + Hive + HBase + Storm环境

前提：搭建Hadoop-HA+ZooKeeper+Yarn+Hive+HBase环境node01node02node03node04NameNode01NameNode02NameNode03DataNode01DataNode02DataNode03JournalNode01JournalNode02JournalNode03ZooKeeper01ZooKeeper02ZooKeeper03Zo
上杉丶零·2020-07-15 18:44

Hive的常见错误

returncode1fromorg.apache.hadoop.hive.ql.exec.MoveTask.org.apache.hadoop.hive.ql.metadata.HiveException:Unabletomovesourcefile:解决：退出hive，关闭namenode和datanode
ll_xiaobai·2020-07-15 17:44

全面解析HDFS

1.2特点1.3HDFS系统架构1.4NameNode1.5DataNode1.6SecondaryNameNode(checkpoint节点)二、数据块2.1介绍2.2为什么HDFS的块这么大三、元数据持久化四
阿三的学习之路·2020-07-15 16:37

多次进行hdfs namenode -format命令时，启动DataNode自动死亡的原因

1.安装环境，三个节点，在配置的时候不小心忘记配置slaves节点，导致，进行2次namenode-format2.进行start-dfs.sh命令时，发现主节点可以启动，但是其他两个从节点，启动以后，立刻死亡，yarn是可以正常启动的，所以定位，问题应该是出在hdfs的格式化问题上3.原因是我们每次格式化的时候，会产生这个文件夹/tmp/hadoop-hadoop/4.我们可以将这个文件夹删除，
ChrisYANG23521·2020-07-15 14:18

Hbase 系列-架构图

下图是经典的架构图：术语HMaster负责负载均衡HRegionServer一般与dataNode在同一个节点，处理本地数据。Region：一张Table的数据放在一个或多个Region中。
不务正业的coder·2020-07-15 14:57

hadoop 遇到java.net.ConnectException: to 0.0.0.0:10020 failed on connection

这个问题一般是在hadoop2.x版本里会出现，hadoop的datanode需要访问namenode的jobhistoryserver,如果没有修改，则默认为0.0.0.0:10020，则可以修改mapred-site.xml
玉羽凌风·2020-07-15 12:00

HADOOP 单机模式 伪分布式 完全分布式区别

没有分布式文件系统，而是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试2.伪分布式运行模式这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点:(NameNode,DataNode
yhblog·2020-07-15 11:13

Hadoop MapReduce Task Log 无法查看syslog问题

现象：由于多个maptask共用一个JVM，所以只输出了一组log文件datanode01:/data/hadoop-x.x.x/logs/userlogs$ls-R.
yangjun2·2020-07-15 11:23

Hadoop的伪分布式的安装及部署

Hadoop的配置Hadoop的使用做Hadoop的伪分布式我们分为一下几个步骤安装JDK配置JDK的环境变量配置Hadoop的环境变量修改Hadoop的文件对NameNode进行格式化开启NameNode和DataNodeweb
KellyXuJR·2020-07-15 10:51

Call to localhost/127.0.0.1:9000 failed on connection exception错误。

dfs.namenode.secondary.http-addressMaster:50090dfs.namenode.name.dirfile:/usr/local/hadoop/tmp/dfs/namedfs.datanode.data.dirfile
xuguokun1986·2020-07-15 10:18

HDFS：NN、SNN、DN剖析

core-site.xml：hadoop.tmp.dir指定hadoop运行时产生文件的存储目录参数:hdfs-site.xml:dfs.namenode.name.dir指定namenode产生的文件存放的目录dfs.datanode.data.dir
Exzzla·2020-07-15 08:57

Fsimage中没有记录块所对应DataNode，为什么？

通过ovi查看fsimage并格式化。部分显示结果如下。16386DIRECTORYuser1512722284477ch:supergroup:rwxr-xr-x-1-116387DIRECTORYch1512790549080ch:supergroup:rwxr-xr-x-1-116389FILEwc.input315127223222191512722321610134217728ch:su
Timor酱·2020-07-15 08:47

又双叒叕来更新啦！Hadoop——HDFS篇

数据流写数据的过程网络拓扑——节点距离计算机架感知读数据的过程NN和2NN工作机制Edits和FSimageCheckPoint触发条件设置设置NN故障处理集群安全模式安全模式相关常用命令NameNode多目录配置DataNodeDataNode
5akura·2020-07-15 08:33

Hadoop学习笔记（五）—— 搭建Hadoop HA集群

mapred-site.xml文件配置yarn-site.xml文件配置slaves文件配置hadoop-env.sh文件分发目录初次启动HadoopHA集群步骤效果验证问题三台虚拟机的集群节点规划服务器NameNodeDataNodeResourceMana
JCManZZ·2020-07-15 08:50

HDFS 一致模型和distcp

能在文件系统的命名空间立即可见写入文件的内容不能保证立即可见，因为正在写入的块对reader不可见，会不一致hflush()：FSDataInputStream的方法，HDFS保证目前写入的数据都到达datanode
ThisIsNobody·2020-07-15 07:08

HDFS启动停止常用命令

HDFS命令start-dfs.shNameNode进程启动:hadoop-daemon.shstartnamenodeDataNode进程启动:hadoop-daemon.shstartdatanodeHA
张永乾·2020-07-15 06:20

大数据(完全分布式)配置详解

完全分布模式技术准备系统规划搭建测试上线使用完全分布式系统规则主机角色软件192.168.6.10masterNameNodeSecondaryNameNodeResourceManagerHDFSYARN192.168.6.11node1DataNodeNodeMan
乐于技术分享·2020-07-15 06:06

大数据————HDFS分布式搭建

hdp-012、修改配置文件要点提示核心配置参数：1)指定hadoop的默认文件系统为：hdfs2)指定hdfs的namenode节点为哪台机器3)指定namenode软件存储元数据的本地目录4)指定datanode
安安DE爸爸·2020-07-15 06:03

Hadoop的各个启动进程介绍

守护进程：NameNode，DataNode，ResourceManager，NodeManager，JournalNode，DFSZKFailoverController等备注：本文截图出自数据《Hadoop
魂——牵·2020-07-15 06:29

Hdfs磁盘存储策略和预留空间配置

2019独角兽企业重金招聘Python工程师标准>>>一、Hdfs磁盘存储策略1、指定本地目录存储策略data目录为Hot策略对应DISK；data1目录为Cold策略对应ARCHIVE；dfs.datanode.data.dir
weixin_34176694·2020-07-15 05:55

CentOS7下搭建hadoop2.7.3完全分布式

这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：CentOS-masternameNode192.168.11.128CentOS-node1dataNode192.168.11.131CentOS-node2dataNode192.168
weixin_33737134·2020-07-15 04:36

【大数据】分布式集群部署

1、集群规划部署节点名称NN1NN2DNRMNMhadoop01NameNodeDataNodeNodeManagerhadoop02SecondaryNameNodeDataNodeResourceManagerNodeManagerhadoop03DataNodeNodeManager2
weixin_30784141·2020-07-15 03:55

大数据学习——HADOOP集群搭建

4.1HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN
weixin_30609331·2020-07-15 03:30

hadoop集群崩溃，因为tmp下/tmp/hadoop-hadoop/dfs/name文件误删除

loggingto/opt/hadoop-0.20.2-cdh3u0/logs/hadoop-hadoop-namenode-localhost.localdomain.outlocalhost:startingdatanode
weixin_30252155·2020-07-15 02:41

Hive安装配置详解

Desktop/hadoop-1.0.0/•Hadoop元数据存放目录•/home/test/data/core/namenode•Hadoop数据存放路径•/home/test/data/core/datanodeHive
cssddning·2020-07-15 01:53

Sqoop1.99.7安装、配置和使用（二）

其中Hadoop不仅要启动hdfs（NameNode、DataNode），还要启
_nMaple_·2020-07-15 01:54

hadoop和hive配置kerbros安全认证

版本：centos7.7hadoop2.7.6hive1.2.2部署规划：ip主机服务192.168.216.111hadoop01namenode、resourcemanager、datanode、nodemanager
Aidon-东哥博客·2020-07-15 00:15

配置服务器集群时间同步

具体思路如下：master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。所有datanode节点以master节点为基础同步时间。
方兵兵·2020-07-15 00:38

hadoop基本知识及环境搭建(docker)

数据计算Hdfs:NameNodeHdfs核心,master,仅内存存储hdfs元素据,如文件目录结构,块列表和位置对元数据的修改会在备份在fileSystemImage文件镜像中不持久化各个块信息(由DataNode
菜到抠脚的cxy·2020-07-15 00:23

03_HADOOP_02_HDFS伪分布式环境搭建

三种搭建模式单机模式:同一机器同一个进程不同线程启动NameNode,DataNode伪集群模式:同一机器不同进程启动集群模式:不同机器不同进程本文只讲解伪集群模式和集群模式安装前准备将前面搭建的虚拟机还原到
超级小小张·2020-07-14 23:55

Hadoop完全分布式集群搭建（2.9.0）

即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真
sjmz30071360·2020-07-14 22:31

hadoop启动之“hadoop-daemon.sh”详解

它可以做到在A机器上启动”namenode“，B机器启动”secondarynamenode“C机器启动”datanode“，”tasktracker“，具体启动如下：.
sinoyang·2020-07-14 22:54

hdfs远程连接hadoop问题与解决

客户端在本地连接阿里云服务器上部署的hadoop，操作hdfs时候出现异常：couldonlybereplicatedto0nodesinsteadofminReplication(=1).Thereare1datanode
renzhehongyi·2020-07-14 21:23

hadoop与zookeeper完全分布式安装

服务全称为:NN:NameNodeDN:DataNodeRM:ResourceManagerNM:NodeManagerZK:ZooKeeperJN:JournalNode(最后的参考文章第一篇是这个服务作用的解释
qq_806913882·2020-07-14 21:20

distcp集群迁移问题总结

distcp集群迁移问题总结一：环境准备1.源集群准备一台用于提交数据拷贝任务的机器，要求可以连接目标大数据集群且安装json命令寻找：datanode的机器且验证一下上面安装了json的命令2.打通源集群到目标集群的公网网址
亮大兵·2020-07-14 21:09

Hadoop-2.7.3完全分布式集群搭建（Centos7系统）

实验环境Centos7使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode，3个datanode192.168.159.101master192.168.159.102node1192.168.159.103node2192.168.159.104node31
ζั͡ޓއއއ๓丶坏男孩·2020-07-14 21:56

阿里云服务器搭建hadoop伪分布式集群的坑

1.既然是伪分布式集群，所以文件中的所有配置都要留内网ip，方便namenode与datanode相通信。
幼稚园导包侠·2020-07-14 20:26
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他