DataNode

Java实现 基于密度的局部离群点检测------lof算法

算法Java源码本算法包括两个类文件，一个是：DataNode，另一个是：OutlierNo
·2021-08-24 13:49

CDH集群断电重启后DataNode无法连接到NameNode

周末公司断电，之后发现集群一个DataNode无法连接到NameNode，看了日志和页面报错一致。
等闲之辈莫等闲·2021-08-23 16:14

新手Hadoop安装 环境搭建

设置密码三.进行Hadoop内部环境的搭建四.安装ssh并配置无密码登陆1.登陆2.设置无密码登陆五.安装Java环境六.安装Hadoop七.Hadoop伪分布配置1.配置文件2.开启NameNode和DataNode
·2021-08-13 11:12

大数据之 Hadoop-5-HDFS

一个HDFS集群由一个元数据节点（NameNode）和一些数据节点（DataNode）组成。举个例子，我们可以把NameNode想象成一个仓库管理员，管理仓库中的商品；DataNode想象
·2021-07-27 19:12

Hadoop系列

-集群安装Hadoop-集群安装（高可用）HDFSHDFS-文件越来越多怎么办HDFS-HDFS的四个角色HDFS-NameNode的高可用HDFS-安全模式是什么HDFS-NameNode如何感知到DataNode
·2021-07-27 19:09

面试系列四 之 项目涉及技术Hadoop

1.1、Hadoop常用端口号dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号
·2021-07-27 19:45

HDFS - NameNode如何感知到DataNode的

注册在HDFS-HDFS的四个角色提到了NameNode启动的时候，会开启RPC服务，叫做ServiceRpcServer，这个Server有很多个协议，其中一个叫做DatanodeProtocol协议
·2021-07-27 19:11

HDFS - HDFS的四个角色

DataNode：主要就是存储文件块的。Client：客户端，与NameNode、DataNode交互。Se
·2021-07-27 19:37

虚拟机搭建及hadoop安装

一、创建虚拟机用户名hadoop虚拟机名datanode1datanode2datanode3用户名hadoop密码123二、安装必要软件获取root权限sudopasswdroot设置root密码sudo-s
编程小呆瓜·2021-07-22 15:19

大数据学习之Hadoop+Zookeeper

安装环境共五个节点namenodenamenode2datanode1datanode2datanode3关闭防火墙，selinux，增加hadoop账户，免密登录，一、Zookeeperzookeeper
我问你瓜保熟吗·2021-07-20 16:08

【Mac大数据开发】第五篇-分布式集群和免密登陆

配置方案如下：bigdata1bigdata2bigdata3HDFSNameNodeSecondaryNameNodeDataNodeDataNodeDataNodeYARNnodeManagerResourceMangerNodeManagernodeManager
irving_yuan·2021-06-25 23:29

FSImage 和 EditsLog

HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。
yepeng05·2021-06-25 10:24

hadoop运行java程序(jar包)并运行时动态指定参数

hadoop-2.7.0/sbinshstart-dfs.shshstart-yarn.shjps2）通过jps查看是否正确启动，确保启动如下6个程序[root@node02sbin]#jps10096DataNode6952NodeM
·2021-06-23 18:13

大数据||HDFS启动时安全模式（safemode）

安全模式期间：nameNode启动成功后到收到99.99%的datanode块数据。
明明德撩码·2021-06-22 03:00

面试系列四 之 项目涉及技术Hadoop

1.1、Hadoop常用端口号dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号
·2021-06-21 00:24

hadoop的搭建笔记2-完全分布式搭建

分三步走：一、机器的规划屏幕快照2018-02-2713.56.08.pngdatanode和nodemanager每台机器都搭配一个作为数据存储，一个数据分析领导者：一号机分配namenode二号机resourcemanager
一花一叶异世界·2021-06-19 10:40

HDFS - NameNode如何感知到DataNode的

注册在HDFS-HDFS的四个角色提到了NameNode启动的时候，会开启RPC服务，叫做ServiceRpcServer，这个Server有很多个协议，其中一个叫做DatanodeProtocol协议
·2021-06-18 22:07

HDFS - HDFS的四个角色

DataNode：主要就是存储文件块的。Client：客户端，与NameNode、DataNode交互。Se
·2021-06-18 22:15

（二）hadoop脚本分析

脚本分析#启动所有hadoop守护进程sbin/start-all.sh--------------libexec/hadoop-config.shstart-dfs.sh#用于启动namenode，datanode
qianlong21st·2021-06-15 13:00

HDFS数据平衡：节点间平衡与节点内平衡

这其中包括各个DataNode之间存储的数据量差异，以及一个DataNode内部各磁盘之间存储的数据量差异。HDFS专门提供了对应的机制来解决。
LittleMagic·2021-06-15 06:21

yarn资源优化

合理设置该参数，将影响到DataNode的运行情况。yarn.nodemanager.resource
丁钰铭·2021-06-13 13:54

【小白视角】大数据基础实践(三)HDFS的简单基本操作

HDFS的简单基本操作1.实验环境2.HDFS2.1简介2.2体系结构2.2.1NameNode2.2.2SecondaryNameNode2.2.3DataNode2.2.4通讯协议2.2.5局限性3
小生凡一·2021-06-13 00:42

Hadoop分布式环境搭建

cdh5.7.0，手头有三台机器，即hadoop000/hadoop001/hadoop002，我会把其中一台机器节点分配NameNode和ResourceManager角色，同时这台机器也作为一个数据存储节点分配DataNode
Sx_Ren·2021-06-10 23:07

关于Linux上启动Hadoop之后jps中没有namenode和datanode问题

最终选择reboot虚拟机2、第二次打开虚拟机，发现jps中namenode存在了，但是datanode没了解决办法：/dfs/data/current/VERSION中的c...id和dfs
你的昵称在简书中已被使用·2021-06-10 02:11

【大数据学习】第十篇-DataNode工作机制

DataNode工作机制DataNode启动后，首先向NameNode节点注册信息成功后，开始定时执行数据校验和同步，将自身的数据块列表信息同步到nameNode的映射表上。
irving_yuan·2021-06-09 19:23

Hadoop集群搭建

ResourceManager(active)2Park02Zookeeper、NameNode(standby)3Park03Zookeeper、ResourceManager(standby)4Park04DataNode
御林君·2021-06-09 10:28

Hive | 环境部署

ubuntu01192.168.0.151mysqlubuntu02192.168.0.152zookeeper、namenode、resourcemanager、jobhistoryserver、hregionserverubuntu03192.168.0.153zookeeper、datanode
icebreakeros·2021-06-06 02:52

学习hadoop的一些疑问

答：Hadoop1.0Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce
烽火程序猿·2021-06-04 20:40

HBase基础

实时读写的分布式数据库系统在需要实时读写随机访问超大规模数据集时，可以使用HBase2.HBase特点海量存储可以存储大批量数据列式存储HBase表的数据是基于列族进行存储的，列族是在列的方向上进行存储极易扩展底层依赖HDFS，当磁盘空间不足时，只需动态增加datanode
回忆过去，是最美好的事情。·2021-05-29 09:30

第六章 DataNode

6.1DataNode工作机制一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳；DataNode启动后向NameNode
琉璃百般枯·2021-05-26 22:27

第四章 HDFS的读写流程

4.1HDFS写数据流程4.1.1剖析文件写入4.1.2网络拓扑-节点距离计算在HDFS写数据的过程中，NameNode会选择离待上传数据最近距离的DataNode接收数据。
琉璃百般枯·2021-05-25 21:18

hadoop离线day03--Hadoop HDFS

NameNode与DataNode通信机制HDFSJavaAPI核心类HDFS辅助工具跨集群复制数据distcp（dis
Vics异地我就·2021-05-25 14:45

2021年大数据Hadoop（九）：HDFS的高级使用命令

假设我们设置的副本数（即参数dfs.replication）是3，那么在datanode
Lansonli·2021-05-24 23:30

hadoop单机及完全分布式集群的安装

1.hadoop我Hadoop的安装目录为/usr/local/workspace/hadoop2.hdfs2.1单机模式单机模式即不使用分布式模式，无需启动namenode和datanode，自动使用
巴中第一皇子·2021-05-23 18:16

Hadoop相关笔记

HDFShadoopNameNode负责客户端请求的相应负责维护元数据文件的名称、副本数、Block存放的DataNode，接受DN的心跳包一个典型的架构是一个NN加上n个DN。
我叫了了·2021-05-21 06:07

HDFS源码解析(3)-lease recovery

处理leaserecovery，需要NameNode和DataNode这两端共同的努力。
AlstonWilliams·2021-05-19 07:44

hadoop上搭建hive(远程模式+hive服务端、客户端)

环境hadoop2.7.1+ubuntu14.04hive2.0.1集群环境namenode节点：master(hive服务端)datanode节点：slave1,slave2（hive客户端）hive
玄月府的小妖在debug·2021-05-16 12:34

启动HBase时日志INFO:Waiting for dfs to exit safe mode...

1、NameNode发现集群中DataNode丢失达到一定比例（0.01%）时会进入安全模式，此时只允许查看数据不允许对数据进行任何操作。
JansonYan·2021-05-16 00:36

Hadoop 使用IntelliJ IDEA 进行远程调试代码的配置方法

一.前言昨天晚上遇到一个奇葩的问题,搞好的环境DataNode启动报错.报错信息提示的模棱两可,没办法定位原因.办法,开启远程调试…注意:开启远程调试的代码,必须与本地idea的代码必须保持一致.二.服务器端配置
·2021-05-13 11:21

分享一些容易被忽视的Hadoop面试题及答案

a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)taskt
丨程序之道丨·2021-05-10 10:12

Ambari 2.6.2安装Hadoop hbase集群

192.168.1.153hadoop04/192.168.1.154hadoop05/192.168.1.155ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode
大道至简非简·2021-05-09 20:51

Hive环境搭建

hadoop各个节点角色定义master和slavenamenode和datanode：namenode目录管理者从mapreduce的角度划分hadoop安装部署三种运行模式：单机模式伪分布模式完全分布模式伪分布式安装下载
孙宏志·2021-05-09 17:45

Elasticsearch集群的一些重要配置

Masternode:node.master:truenode.data:falseDatanode:node.master:falsenode.data:true
ifeelok0319·2021-05-07 15:30

Hadoop技术总概

Hadoop1HDFS解决海量数据的存储一个主节点namenode，多个从节点datanodenamenode：存储元数据，响应用户的操作请求。
活英雄·2021-05-05 02:38

HDFS入门（六）—— DataNode（图文详解步骤2021）

HDFS入门（六）——DataNode（图文详解步骤2021）文章目录HDFS入门（六）——DataNode（图文详解步骤2021）6.1DataNode工作机制6.2数据完整性6.3DataNode掉线时限参数设置
Leokadia Rothschild·2021-05-04 21:50

083-BigData-11HDFS目录结构

上一篇：082-BigData-10HDFS上传与下载机制一、DataNode工作机制1、NameNode&DataNode工作机制image.png1）一个数据块在datanode上以文件形式存储在磁盘上
AncientMing·2021-05-03 14:04

大数据一页纸系列-HDFS

HDFS大数据学习线路图1.png缩略词NN-NameNodeSNN-SecondryNameNodeDN-DataNode概念HDFS-HadoopDistributedFileSystem为什么要有
Will大数据·2021-05-03 10:06

Hadoop 2.7.3 分布式集群安装

1.集群规划：192.168.1.11wkh11Namenode+Datanode192.168.1.12wkh12YarnManager+Datanode+SecondaryNameNode192.168.1.13wkh13Datanode2
yuhan_sining·2021-05-02 18:04

Hadoop 3.0新特性

EC的优点1.更节省存储空间：RS(6+3)只需要1.5倍的磁盘空间就可以获得相同的可靠性，相比传统的Replication3节省50%存储空间，；2.并发读写多个DataNode，尤
MoneyAndLucky·2021-05-02 02:30

hadoop pid路径重置

正常来说hadoop的pid是默认放在linux的/tmp目录中，而tmp目录需要经常清理，假如集群长时间运行，一旦重启就会发生DataNode无法找到NameNode的诡异情况，这种主要是是hadoop
Helen_Cat·2021-04-30 08:41
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他