E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
DataNode
Java实现 基于密度的局部离群点检测------lof算法
算法Java源码本算法包括两个类文件,一个是:
DataNode
,另一个是:OutlierNo
·
2021-08-24 13:49
CDH集群断电重启后
DataNode
无法连接到NameNode
周末公司断电,之后发现集群一个
DataNode
无法连接到NameNode,看了日志和页面报错一致。
等闲之辈莫等闲
·
2021-08-23 16:14
linux
大数据
新手Hadoop安装 环境搭建
设置密码三.进行Hadoop内部环境的搭建四.安装ssh并配置无密码登陆1.登陆2.设置无密码登陆五.安装Java环境六.安装Hadoop七.Hadoop伪分布配置1.配置文件2.开启NameNode和
DataNode
·
2021-08-13 11:12
大数据之 Hadoop-5-HDFS
一个HDFS集群由一个元数据节点(NameNode)和一些数据节点(
DataNode
)组成。举个例子,我们可以把NameNode想象成一个仓库管理员,管理仓库中的商品;
DataNode
想象
·
2021-07-27 19:12
hadoophdfs
Hadoop系列
-集群安装Hadoop-集群安装(高可用)HDFSHDFS-文件越来越多怎么办HDFS-HDFS的四个角色HDFS-NameNode的高可用HDFS-安全模式是什么HDFS-NameNode如何感知到
DataNode
·
2021-07-27 19:09
hadoophdfs
面试系列四 之 项目涉及技术Hadoop
1.1、Hadoop常用端口号dfs.namenode.http-address:50070dfs.
datanode
.http-address:50075SecondaryNameNode辅助名称节点端口号
·
2021-07-27 19:45
面试hadoop
HDFS - NameNode如何感知到
DataNode
的
注册在HDFS-HDFS的四个角色提到了NameNode启动的时候,会开启RPC服务,叫做ServiceRpcServer,这个Server有很多个协议,其中一个叫做
Datanode
Protocol协议
·
2021-07-27 19:11
hadoophdfs
HDFS - HDFS的四个角色
DataNode
:主要就是存储文件块的。Client:客户端,与NameNode、
DataNode
交互。Se
·
2021-07-27 19:37
hadoophdfs
虚拟机搭建及hadoop安装
一、创建虚拟机用户名hadoop虚拟机名
datanode
1
datanode
2
datanode
3用户名hadoop密码123二、安装必要软件获取root权限sudopasswdroot设置root密码sudo-s
编程小呆瓜
·
2021-07-22 15:19
大数据
hadoop
ubuntu
大数据
linux
大数据学习之Hadoop+Zookeeper
安装环境共五个节点namenodenamenode2
datanode
1
datanode
2
datanode
3关闭防火墙,selinux,增加hadoop账户,免密登录,一、Zookeeperzookeeper
我问你瓜保熟吗
·
2021-07-20 16:08
【Mac大数据开发】第五篇-分布式集群和免密登陆
配置方案如下:bigdata1bigdata2bigdata3HDFSNameNodeSecondaryNameNode
DataNode
DataNode
DataNode
YARNnodeManagerResourceMangerNodeManagernodeManager
irving_yuan
·
2021-06-25 23:29
FSImage 和 EditsLog
HDFS是一个分布式文件存储系统,文件分布式存储在多个
DataNode
节点上。一个文件存储在哪些
DataNode
节点的哪些位置的元数据信息(metadata)由NameNode节点来处理。
yepeng05
·
2021-06-25 10:24
hadoop运行java程序(jar包)并运行时动态指定参数
hadoop-2.7.0/sbinshstart-dfs.shshstart-yarn.shjps2)通过jps查看是否正确启动,确保启动如下6个程序[root@node02sbin]#jps10096
DataNode
6952NodeM
·
2021-06-23 18:13
大数据||HDFS启动时安全模式(safemode)
安全模式期间:nameNode启动成功后到收到99.99%的
datanode
块数据。
明明德撩码
·
2021-06-22 03:00
面试系列四 之 项目涉及技术Hadoop
1.1、Hadoop常用端口号dfs.namenode.http-address:50070dfs.
datanode
.http-address:50075SecondaryNameNode辅助名称节点端口号
·
2021-06-21 00:24
面试hadoop
hadoop的搭建笔记2-完全分布式搭建
分三步走:一、机器的规划屏幕快照2018-02-2713.56.08.png
datanode
和nodemanager每台机器都搭配一个作为数据存储,一个数据分析领导者:一号机分配namenode二号机resourcemanager
一花一叶异世界
·
2021-06-19 10:40
HDFS - NameNode如何感知到
DataNode
的
注册在HDFS-HDFS的四个角色提到了NameNode启动的时候,会开启RPC服务,叫做ServiceRpcServer,这个Server有很多个协议,其中一个叫做
Datanode
Protocol协议
·
2021-06-18 22:07
hadoophdfs
HDFS - HDFS的四个角色
DataNode
:主要就是存储文件块的。Client:客户端,与NameNode、
DataNode
交互。Se
·
2021-06-18 22:15
hadoophdfs
(二)hadoop脚本分析
脚本分析#启动所有hadoop守护进程sbin/start-all.sh--------------libexec/hadoop-config.shstart-dfs.sh#用于启动namenode,
datanode
qianlong21st
·
2021-06-15 13:00
HDFS数据平衡:节点间平衡与节点内平衡
这其中包括各个
DataNode
之间存储的数据量差异,以及一个
DataNode
内部各磁盘之间存储的数据量差异。HDFS专门提供了对应的机制来解决。
LittleMagic
·
2021-06-15 06:21
yarn资源优化
合理设置该参数,将影响到
DataNode
的运行情况。yarn.nodemanager.resource
丁钰铭
·
2021-06-13 13:54
【小白视角】大数据基础实践(三)HDFS的简单基本操作
HDFS的简单基本操作1.实验环境2.HDFS2.1简介2.2体系结构2.2.1NameNode2.2.2SecondaryNameNode2.2.3
DataNode
2.2.4通讯协议2.2.5局限性3
小生凡一
·
2021-06-13 00:42
大数据基础实践
新星计划
大数据
hadoop
linux
java
Hadoop分布式环境搭建
cdh5.7.0,手头有三台机器,即hadoop000/hadoop001/hadoop002,我会把其中一台机器节点分配NameNode和ResourceManager角色,同时这台机器也作为一个数据存储节点分配
DataNode
Sx_Ren
·
2021-06-10 23:07
关于Linux上启动Hadoop之后jps中没有namenode和
datanode
问题
最终选择reboot虚拟机2、第二次打开虚拟机,发现jps中namenode存在了,但是
datanode
没了解决办法:/dfs/data/current/VERSION中的c...id和dfs
你的昵称在简书中已被使用
·
2021-06-10 02:11
【大数据学习】第十篇-
DataNode
工作机制
DataNode
工作机制
DataNode
启动后,首先向NameNode节点注册信息成功后,开始定时执行数据校验和同步,将自身的数据块列表信息同步到nameNode的映射表上。
irving_yuan
·
2021-06-09 19:23
Hadoop集群搭建
ResourceManager(active)2Park02Zookeeper、NameNode(standby)3Park03Zookeeper、ResourceManager(standby)4Park04
DataNode
御林君
·
2021-06-09 10:28
Hive | 环境部署
ubuntu01192.168.0.151mysqlubuntu02192.168.0.152zookeeper、namenode、resourcemanager、jobhistoryserver、hregionserverubuntu03192.168.0.153zookeeper、
datanode
icebreakeros
·
2021-06-06 02:52
学习hadoop的一些疑问
答:Hadoop1.0Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个
DataNode
组成,MapReduce
烽火程序猿
·
2021-06-04 20:40
HBase基础
实时读写的分布式数据库系统在需要实时读写随机访问超大规模数据集时,可以使用HBase2.HBase特点海量存储可以存储大批量数据列式存储HBase表的数据是基于列族进行存储的,列族是在列的方向上进行存储极易扩展底层依赖HDFS,当磁盘空间不足时,只需动态增加
datanode
回忆过去,是最美好的事情。
·
2021-05-29 09:30
大数据
hbase
第六章
DataNode
6.1
DataNode
工作机制一个数据块在
DataNode
上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳;
DataNode
启动后向NameNode
琉璃百般枯
·
2021-05-26 22:27
hadoop
第四章 HDFS的读写流程
4.1HDFS写数据流程4.1.1剖析文件写入4.1.2网络拓扑-节点距离计算在HDFS写数据的过程中,NameNode会选择离待上传数据最近距离的
DataNode
接收数据。
琉璃百般枯
·
2021-05-25 21:18
hadoop
hadoop离线day03--Hadoop HDFS
NameNode与
DataNode
通信机制HDFSJavaAPI核心类HDFS辅助工具跨集群复制数据distcp(dis
Vics异地我就
·
2021-05-25 14:45
Hadoop
2021年大数据Hadoop(九):HDFS的高级使用命令
假设我们设置的副本数(即参数dfs.replication)是3,那么在
datanode
Lansonli
·
2021-05-24 23:30
#
Hadoop
HDFS的高级使用命令
hadoop单机及完全分布式集群的安装
1.hadoop我Hadoop的安装目录为/usr/local/workspace/hadoop2.hdfs2.1单机模式单机模式即不使用分布式模式,无需启动namenode和
datanode
,自动使用
巴中第一皇子
·
2021-05-23 18:16
大数据
Hadoop相关笔记
HDFShadoopNameNode负责客户端请求的相应负责维护元数据文件的名称、副本数、Block存放的
DataNode
,接受DN的心跳包一个典型的架构是一个NN加上n个DN。
我叫了了
·
2021-05-21 06:07
HDFS源码解析(3)-lease recovery
处理leaserecovery,需要NameNode和
DataNode
这两端共同的努力。
AlstonWilliams
·
2021-05-19 07:44
hadoop上搭建hive(远程模式+hive服务端、客户端)
环境hadoop2.7.1+ubuntu14.04hive2.0.1集群环境namenode节点:master(hive服务端)
datanode
节点:slave1,slave2(hive客户端)hive
玄月府的小妖在debug
·
2021-05-16 12:34
启动HBase时日志INFO:Waiting for dfs to exit safe mode...
1、NameNode发现集群中
DataNode
丢失达到一定比例(0.01%)时会进入安全模式,此时只允许查看数据不允许对数据进行任何操作。
JansonYan
·
2021-05-16 00:36
Hadoop 使用IntelliJ IDEA 进行远程调试代码的配置方法
一.前言昨天晚上遇到一个奇葩的问题,搞好的环境
DataNode
启动报错.报错信息提示的模棱两可,没办法定位原因.办法,开启远程调试…注意:开启远程调试的代码,必须与本地idea的代码必须保持一致.二.服务器端配置
·
2021-05-13 11:21
分享一些容易被忽视的Hadoop面试题及答案
a)NameNodeb)Jobtrackerc)
Datanode
d)secondaryNameNodee)taskt
丨程序之道丨
·
2021-05-10 10:12
Ambari 2.6.2安装Hadoop hbase集群
192.168.1.153hadoop04/192.168.1.154hadoop05/192.168.1.155ambariserver是否否否否ambariagent是是是是是namenode是是否否否
datanode
大道至简非简
·
2021-05-09 20:51
Hive环境搭建
hadoop各个节点角色定义master和slavenamenode和
datanode
:namenode目录管理者从mapreduce的角度划分hadoop安装部署三种运行模式:单机模式伪分布模式完全分布模式伪分布式安装下载
孙宏志
·
2021-05-09 17:45
Elasticsearch集群的一些重要配置
Masternode:node.master:truenode.data:false
Datanode
:node.master:falsenode.data:true
ifeelok0319
·
2021-05-07 15:30
Hadoop技术总概
Hadoop1HDFS解决海量数据的存储一个主节点namenode,多个从节点
datanode
namenode:存储元数据,响应用户的操作请求。
活英雄
·
2021-05-05 02:38
HDFS入门(六)——
DataNode
(图文详解步骤2021)
HDFS入门(六)——
DataNode
(图文详解步骤2021)文章目录HDFS入门(六)——
DataNode
(图文详解步骤2021)6.1
DataNode
工作机制6.2数据完整性6.3
DataNode
掉线时限参数设置
Leokadia Rothschild
·
2021-05-04 21:50
大数据应用
hdfs
hadoop
大数据
mapreduce
083-BigData-11HDFS目录结构
上一篇:082-BigData-10HDFS上传与下载机制一、
DataNode
工作机制1、NameNode&
DataNode
工作机制image.png1)一个数据块在
datanode
上以文件形式存储在磁盘上
AncientMing
·
2021-05-03 14:04
大数据一页纸系列-HDFS
HDFS大数据学习线路图1.png缩略词NN-NameNodeSNN-SecondryNameNodeDN-
DataNode
概念HDFS-HadoopDistributedFileSystem为什么要有
Will大数据
·
2021-05-03 10:06
Hadoop 2.7.3 分布式集群安装
1.集群规划:192.168.1.11wkh11Namenode+
Datanode
192.168.1.12wkh12YarnManager+
Datanode
+SecondaryNameNode192.168.1.13wkh13
Datanode
2
yuhan_sining
·
2021-05-02 18:04
Hadoop 3.0新特性
EC的优点1.更节省存储空间:RS(6+3)只需要1.5倍的磁盘空间就可以获得相同的可靠性,相比传统的Replication3节省50%存储空间,;2.并发读写多个
DataNode
,尤
MoneyAndLucky
·
2021-05-02 02:30
hadoop pid路径重置
正常来说hadoop的pid是默认放在linux的/tmp目录中,而tmp目录需要经常清理,假如集群长时间运行,一旦重启就会发生
DataNode
无法找到NameNode的诡异情况,这种主要是是hadoop
Helen_Cat
·
2021-04-30 08:41
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他