namenode双机热备

HDFS源代码分析之DataNode BlockScanner实现

BlockScanner实现每个DataNode都会有一个BlockScanner周期性的验证DataNode上存储的所有数据块的正确性，并把损坏的数据块报告给NameNode。
苍老流年·2023-04-14 07:58

HDFS学习笔记【Datanode/数据块扫描器】

说明周期性的验证Datanode上所有存储块的正确性，损坏的报告给Namenode。DataBlockScanner持有多个BlockPoolSliceScanner的引用。
油纸雨伞·2023-04-14 07:54

hive合并小文件

小文件的危害1.小文件过多，占用HDFS中namenode的内存2.小文件过多，启动过多的maptask，maptask的启动和调度消耗很多内存和时间，启动时间比job执行时间还长针对问题2的解决方案1
捣药的八戒·2023-04-14 07:21

Hive小文件问题

小文件产生的原因数据源本身有很多小文件：reduce数量多导致生成的小文件增多：使用动态分区导致小文件增多：2、小文件危害HDFS内存资源消耗过大，并限制了数据存储规模：在HDFS中，具体的文件保存在datanode节点中，在namenode
Stannis·2023-04-14 06:47

HADOOP高可用机制

集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA（2）HDFS的HA机制详解通过双namenode
BoltBear·2023-04-14 03:45

Hadoop3.X 高可用架构配置

高可用介绍单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，Name
拼命三郎-石秀·2023-04-14 03:43

Hadoop 2.x高可用配置

前言这两天整理了一下原来写的各种文档，准备陆陆续续全部写成博客，以防文档丢失，第一篇，使用zookeeper来实现Hadoop的高可用主机规划此处有三台主机，规划如下：主机名P地址运行进程hadoop192.168.201.243NameNode
天空中的一缕微风·2023-04-14 02:41

Hadoop高可用（Hadoop2.x）

Hadoop高可用（Hadoop2.x）目录Hadoop高可用（Hadoop2.x）1.什么是高可用2.Hadoop集群存在的问题3.单点故障3.1HDFS的单点故障3.2NameNode的内存受限的问题
m0_67402341·2023-04-14 02:40

Hadoop2.X之高可用简介及环境搭建

Hadoop2.0之高可用Hadoop2.0产生背景Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题(2个)NameNode单点故障，难以应用于在线场景HA
瓜不田·2023-04-14 02:39

Hadoop系列-Hadoop高可用（三）

一、Hadoop高可用在Hadoop2.0以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群
Just Jump·2023-04-14 02:39

Hadoop2.x高可用架构

Hadoop2.xHadoop高可用的架构对于Hadoop高可用架构节点介绍NN服务器会出现脑裂(brain-split)情况什么是脑裂在hadoop2.x版本中，如果存在两个NameNode节点同时服务
没工作的小白·2023-04-14 02:08

Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）

配置Hadoop环境变量6、检查环境变量是否配置成功7、配置hadoop的配置文件1.配置core-site.xml文件2.配置mapred-site.xml3.配置yarn-site.xml4.新建namenode
GCTTTTTT·2023-04-13 19:02

bash: jps: 未找到命令...的解决方法

问题描述在进行hadoop伪分布式配置时，NameNode的格式化没问题，开启NaneNode和DataNode守护进程也没问题，但是最后通过命令jps来判断是否成功启动时，却提示“未找到命令”bash
Pancras Wen·2023-04-13 12:53

启动hdfs时报错：ERROR: Cannot write namenode pid /tmp/hadoop-longda-namenode.pid

启动hdfs时出现报错：ERROR:Cannotwritenamenodepid/tmp/hadoop-longda-namenode.pid,且/tmphadoop-longda-namenode.pid
向南不向北·2023-04-13 11:51

Hadoop集群配置问题—小记jps没有NameNode的问题

本人Hadoop集群部署如下：hadoop102hadoop103hadoop104HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeYarnNodeManagerResourceManagerNodeManagerNodeManager
向南不向北·2023-04-13 11:51

黑猴子的家：如何选择Hadoop版本？

，当前Hadoop只有两个版本：Hadoop1.0和Hadoop2.0，其中，Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop2.0则包含一个支持NameNode
黑猴子的家·2023-04-13 07:33

Spark 对hadoopnamenode-log文件进行数据清洗并存入mysql数据库

一.查找需要清洗的文件1.1查看hadoopnamenode-log文件位置1.2开启Hadoop集群和Hive元数据、Hive远程连接具体如何开启可以看我之前的文章：(10条消息)SparkSQL-liunx
难以言喻wyy·2023-04-13 06:30

单机模式的hadoop安装

Hadoop1、下载hadoop安装包1.1官网下载hadoop2.9.2版本2、hadoop单机环境搭建2.1搭建准备2.2创建安装目录2.3修改配置文件3、启动hadoop3.1格式化文件系统3.2启动NameNode
毛伟臣·2023-04-13 04:11

基于故障转移群集的高可用虚拟机解决方案（一）

因为业务系统比较重要，医药公司想对这台服务器实现类似“双机热备”的功能，但公司预算有限，想让设计较低成本的高可用解决方案。经过现场了解，发现该单位只有一台服务器（服务器有8GB内存、2块300G硬盘做
LD_ee65·2023-04-13 02:56

黑猴子的家：Hadoop 启动停止方式

1、各个服务组件逐一启动（1）分别启动hdfs组件hadoop-daemon.shstart|stopnamenode|datanode|secondarynamenode（2）启动yarnyarn-daemon.shstart
黑猴子的家·2023-04-13 00:44

Hadoop运维工具箱之HDFS集群扩容与缩容-尚硅谷大数据培训

配置白名单步骤如下：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件（1）创建白名单[atguigu
尚硅谷铁粉·2023-04-12 11:37

第4章、HDFS_集群的扩容和缩容

配置白名单步骤如下1）在NameNode节点上的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist（白名单）和blacklist（黑名单）文件（1）创建白名单
驾驭精神领域·2023-04-12 11:06

Hadoop调优手册(4)——HDFS集群扩容及缩容

1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。
MartinGQ·2023-04-12 11:34

HDFS集群扩容节点

将namenode服务器上的
ItStar_·2023-04-12 11:03

hdfs集群的扩容和缩容

3.2.3配置时间同步3.2.4关闭防火墙3.2.5新建hadoop部署用户3.2.6复制hadoop04机器上的/etc/hosts文件到集群的另外3台机器上3.2.7配置集群间的免密登录3.2.8将namenode
huan_1993·2023-04-12 11:30

hadoop(二)—hadoop配置、运行错误总结

问题一：【namenode无法启动，这个问题有很多原因，虽然说应该参照日志文件进行排错，但是我试着看了下日志文件，真的是很难看的。
文子轩·2023-04-12 10:41

面试题集锦

一.Hadoop1.hdfs写流程2.hdfs读流程3.hdfs的体系结构4.一个datanode宕机,怎么一个流程恢复5.hadoop的namenode宕机,怎么解决6.namenode对元数据的管理
Saiheihua·2023-04-12 03:22

第六章 数据中台PaaS层离线存储之HDFS源码剖析第一部分 - NameNode启动流程&HadoopRpc协议详述

1、大数据源码解读思路（1）掌握其网络通信架构（2）场景驱动方式HDFS：namenodedatanode启动写数据得流程更新原数据流程读数据流程2、HadoopRPC的Demo详述含义：远程过程调用，
随缘清风殇·2023-04-11 23:01

第三章 数据中台架构PaaS层（平台服务层）之离线存储资源规划与架构设计

1、分布式文件系统超级大型电脑=分布式文件系统2、HDFS架构设计详述2.1、HDFS1架构说明定义：是一个主从式架构，主节点只有一个NameNode，从节点有多个DataNodeNameNode：管理元数据信息
随缘清风殇·2023-04-11 23:01

带你了解防火墙和它的作用

目录一、Nat的使用：（1）仅转换源地址（2）服务器映射（3）域间双向转换（4）域内双向转换二、如何实现双机热备一、Nat的使用：总体拓扑图如下：（1）仅转换源地址在防火墙中进行配置，通过配置连接登录防火墙的图形化界面
《^O^》杜·2023-04-11 20:27

深入了解防火墙与IDS

5.防火墙使用VRRP实现双机热备时会遇到什么问题，如何解决？6.防火墙支持哪些接口模式，一般使用在哪些场景？7.什么是IDS？8.IDS和防火墙有什么不同？9.IDS工作原理？
《^O^》杜·2023-04-11 20:43

hadoop面试题

a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案Cdatanode1.2HDfS中的block默认保存几份？
晚风烟火·2023-04-11 19:06

安全防御 --- 防火墙高可靠技术

防火墙高可靠技术（双机热备）VRRP：负责的单个接口的故障检测和流量引导。
雨天_·2023-04-11 07:37

Spark核心概念图解

负责提交作业Application提交一个作业就是一个Application，一个Application只有一个SparkContextMaster（图中的ClusterManager），就像Hadoop中有NameNode
SunnyRivers·2023-04-11 05:06

分布式架构设计HDFS借鉴思考 & GPT

其实现步骤如下：NameNode：HDFS集群中的一个节点，负责管理整个文件系统的元数据，包括文件名、文件块的位置、权限等。N
卢延吉·2023-04-11 05:46

7、HDFS读写流程

HDFS写数据流程hdfs写流程.png1）.客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
ZFH__ZJ·2023-04-11 01:04

HBase 默认配置

例如，要表示hdfs中的'/hbase'目录，namenode运行在namenode.example.org的9090端口。
aimmon·2023-04-10 21:40

ROS学习笔记

ROS中的节点名称首先，rosrun并不是rosrunpkg_namenode_name，而是rosrunpkg_namecpp_name然后，定义的两个name分别是ros::init(argc,argv
暮光629·2023-04-10 19:09

keepalived配置虚拟ip（VRRP）实现双机热备以及自动切换主备

需求1、我有两个服务器，一台A是正常处理数据的，还有一台B是备用机器；A如果网络异常或者崩了，B开启采集技术2、但是其他人访问的ip地址，如果从A变成B，地址改变了，会影响业务需求的；所以需要A与B共用一个Ip地址，A服务器崩了，B还在，不影响对外的业务方案实现我有两台服务器，分别是11.11.1.110和11.11.1.1121.安装keepalived，两台机器都要安装yuminstallke
qq_37591637·2023-04-10 18:26

HDFS和MapReduce 架构分析----阿冬专栏

来自：http://articles.e-works.net.cn/It_overview/Article103875.htmHadoopHDFS和MapReduce架构浅析在简述Hadoopnamenode
阿冬专栏·2023-04-10 16:29

HDFS存储原理

属性设置配置文件中的设置上传时的设置副本数检查单个块大小设置NameNode对Block的管理NameNode对Block的管理通过两类文件实现edits文件：记
Kilig*·2023-04-09 21:17

hadoop HA架构思想总结

[(https://img-blog.csdnimg.cn/f895f3c2d9dd4870827ffad73efd501c.png)角色介绍NN节点，即NameNode节点，负责hadoop文件的元数据规划
titi223·2023-04-09 15:49

Hadoop集群环境搭建与应用回顾

实训项目过程中遇到的问题及解决方法七、实训体会与心得一、实训项目名称Hadoop集群环境搭建与应用二、学习情况小结实操一部分：通过为期两周的大数据实践，我学会了利用三台虚拟机作服务器搭建Hadoop集群环境，创建并使用脚本启动namenode
三月枫火·2023-04-09 11:31

Hadoop HDFS 分布式文件系统

文章目录HDFSHDFS设计目标HDFS应用场景整体概述各角色职责主角色：NameNode从角色：DataNode主角色辅助角色：SecondaryNameNodeNameNode职责DataNode职责
VenYy·2023-04-09 05:46

大数据开发面试题必备20题

由HDFSClient、NameNode、DataNode和ScondaryNameNode四部分组成一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。
㫪旧·2023-04-09 00:01

如何为Spark应用程序分配--num-executors，--execuor-cores和--executor-memory

一些资源参数设置的基本知识Hadoop/Yarn/OSDeamons当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，SecondaryNameNode
LestatZ·2023-04-08 23:04

java.net.connectexce_Call From master/192.168.128.135 to master:8485 failed on connection exception:...

hadoop集群搭建了ha，初次启动正常，最近几天启动时偶尔发现，namenode1节点启动后一段时间(大约10几秒-半分钟左右)，namenode1上namenode进程停掉，查看日志：12017-08
105菌·2023-04-08 20:37

大数据-学习实践-3HDFS

学习实践-2HDFS(大数据系列)文章目录大数据-学习实践-2HDFS1知识点2具体内容2.1HDFS介绍2.2HDFS操作2.2.1基本操作2.2.2Java操作HDFS2.3HDFS体系结构2.3.1NameNode2.3.2SecondaryNameNode2.3.3DataNode2.3.4
yxyibb·2023-04-08 19:48

完全分布式Hadoop集群搭建

：CentOS8x86_64Hadoop版本：2.10.1节点数：3服务器规划：node1node2node3199.188.166.111199.188.166.112199.188.166.113NameNode
黑伴白·2023-04-08 18:38

Hadoop之SecondaryNameNode

一、SecondaryNameNode的作用SecondaryNameNode的作用是合并fsimage和edits文件。
lurenjia·2023-04-08 11:32
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他