namenode双机热备

深入理解 Hadoop （二）HDFS架构演进

HDFS分布式集群架构设计实现核心设计思路：分而治之的思路，实现分散存储+冗余存储元数据管理核心问题：文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件
我很ruo·2024-01-10 08:49

深入理解 Hadoop （四）HDFS源码剖析

HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。
我很ruo·2024-01-10 08:10

【spark】基于Spark的电影推荐系统+[详细代码及配置]

Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0_25Zookeeper3.4.12Hadoop配置core-site.xml#配置两个namenode
BIG*BOSS·2024-01-10 06:25

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar·2024-01-10 05:05

华为防火墙双机热备

实验需求：如图所示，PC1为公司内部网络设备，AR1为出口设备，在FW1和FW2上配置双机热备，当网络正常时PC1访问AR1路径为FW1-AR1，当FW1出现故障后，切换路径为FW2-AR1。
网工鹏哥·2024-01-09 14:06

CentOS如何修改主机名称

OS：CentOSLinuxrelease7.5.1804(Core)查看主机名称：hostname查看操作系统版本：uname-a修改主机名称：hostnamectlset-hostnamenode-
小洋葱工作室·2024-01-09 12:10

hadoop命令汇总

启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者hadoop--daemonstop
你很棒滴·2024-01-08 19:17

python3使用pyhdfs向hdfs中上传文件示例

同时，脚本支持namenodeha的方式。2包安装pip3installhdfs3脚本示例#!
杨航的技术博客·2024-01-08 16:11

Hadoop学习之路（四）HDFS 读写流程详解

1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求；2、NameNode
shine_rainbow·2024-01-08 12:21

基于 LVS + keepalived 的双机热备负载均衡器

1.LVS1.1LVS原理1.1.1LVS集群中的IP负载均衡技术image详情参考：LVS集群中的IP负载均衡技术@章文嵩博士1.1.2LVS集群的负载调度LVS内核中的连接调度算法详情参考：LVS集群的负载调度@章文嵩博士查看ipvsadm版本：#ipvsadm--versionipvsadmv1.282015/02/09(compiledwithpoptandIPVSv1.2.1)2.Kee
独木舟的木·2024-01-08 07:19

hadoop调优

hadoop调优1HDFS核心参数1.1NameNode内存生产配置1.1.1NameNode内存计算每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128(G)*1024(
健鑫.·2024-01-07 18:25

hadoop调优(二)

hadoop调优(二)1HDFS故障排除1.1NameNode故障处理NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？
健鑫.·2024-01-07 18:25

大型园区网建设（防火墙部分）

三、防火墙部分1、FW1，FW2部署双机热备实现负载分担，并启用会话快速备份功能，解决来回路径不一致的问题，使用ip-link技术检测R1的loopback0接口不可达则触发主备切换[FW1-zone-dmz
网络攻城狮_·2024-01-07 04:59

思科校园网搭建及配置综合小型实验

思科校园网搭建及配置综合小型实验实验拓扑配置步骤配置聚合链路配置VTP，vlan域模板第一步配置二层VLAN第二步配置生成树第三步配置相关IP地址第四步配置DHCP及DHCP中继第五步配置三层的网关冗余协议双机热备及
MissSun636·2024-01-07 01:50

数据库性能测试

双机热备双机热备VIP是虚拟IP数据库的压力并为分压。主从同步master将
慕止·2024-01-06 11:44

HDFS的高可用性

HDFS的高可用性联邦hdfs由于namenode在内存中维护系统中的文件和数据块的映射信息，所以对于一个海量文件的集群来说，内存将成为系统横向扩展瓶颈。
zh_harry·2024-01-06 10:25

HDFS&Yarn HA架构设计

一、为什么要用HA在hadoop2.0.0之前，在hdfs集群中，NameNode是存在单点故障问题的。
吃货大米饭·2024-01-05 20:22

Hadoop的启动停止命令详解

包括NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh停止所有的Hadoop守护进程。
`FUTURE`·2024-01-05 08:44

RabbitMQ单机部署

安装环境CentOS7纯净环境安装前准备主机名修改hostnamectlset-hostnamenode-1添加主机名IP地址映射vim/etc/hosts##末尾加入192.168.8.116node
依然范特希·2024-01-05 04:23

kubeadm安装k8s集群

192.168.2.1node1192.168.2.2node2192.168.2.3node3192.168.2.4node4（2）设置hostname依次在每个节点执行以下命令修改主机名：hostnamectlset-hostnamenode1
撂爪就忘·2024-01-04 14:37

抓取namenode 50070 jmx的指标信息

在生产实践过程中，需要把data退役之后需要停机下线，在下线之前需要确认机器是否已下线完成，要去namenode的50070界面上查看显然效率低，为了能够快速拿到节点信息，写了简单的脚本。
运维仙人·2024-01-04 07:00

实现HSRP-热备份路由协议

实现HSRP-热备份路由协议网络工程师必会的企业网络常用双机热备协议之HSRP。
爱网络爱Linux·2024-01-04 07:35

HDFS重温

今天被问到分布式，有些忘记，查资料回忆起分布式集群构建，现在重温集群搭建过程费话不多说，来个简图NameNode：HDFS群集包含单个NameNode（主服务器），它管理文件系统命名空间并控制客户端对文件的访问权限
zty_1995·2024-01-03 18:18

【Hadoop】如何启动和关闭Hadoop集群

将新的分布式文件系统格式化为hdfs：$HADOOP_HOME/bin/hdfsnamenode-format启动namenode和datanode有两种方
不怕娜·2024-01-02 10:29

Hive(二)之bash群起脚本

集群的启动启动HDFS启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode
DarrenmondZhang·2024-01-02 07:45

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

网络规划设计

文章目录一、网络架构设计1.1单核心双核心1.1.1单核心1.1.2双核心端口聚合链路聚合网关冗余VRRP堆叠技术生成树STPPOE以太网供电服务器冗余&负载均衡服务器双机热备1.2环网架构设计1.3层次化架构设计
oifengo·2024-01-02 00:03

2018-05-21

是管理调度作业的，mr是计算处理的3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时，区别是什么root的权限高，可以不用管，普通用户需要修改autoxx4.hdfs三个进程是什么namenode
CrUelAnGElPG·2024-01-01 23:55

【2023Hadoop大数据技术应用期末复习】填空题题型整理

大数据的4V特征包含（）（）（）（）答案：大量、多样、高速、价值Hadoop三大组件包含（）（）（）答案：HDFS、MapReduce、YarnHadoop2.x版本中的HDFS是由（）（）（）组成答案：NameNode
Lacszer·2024-01-01 10:23

大数据 - Hadoop系列《二》- Hadoop组成

目录3.1hadoop组成3.1HDFS架构概述1.NameNode（nn）：编辑2.DataNode(dn)：3.SecondaryNameNode(2nn)：3.2YARN架构概述3.3MapReduce
王哪跑nn·2023-12-31 22:50

安装与部署Hadoop

、core-site.xml4、hdfs-site.xml5、linux中Hadoop环境变量四、启动hadoop五、验证一、前置安装准备1、机器主机名ip服务node1192.168.233.100NameNode
mapyking·2023-12-31 20:48

在CentOS7上安装Hadoop分布式系统

HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode
栗子艾李子·2023-12-30 07:26

Hadoop架构概述

HDFS架构概述HDFS（HadoopDistributedFileSystem）的架构概述NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的
青涩的芒果汁·2023-12-30 06:31

测试：如何查看节点进程？

例如，在Hadoop的NameNode上执行`jps`可以显示所有运行的Java进程，包括Hadoop的各个服务（如Namenode,Datanode等）。
AnyaPapa·2023-12-30 05:58

最全Hadoop实际生产集群高可用搭建

005IPxxxxxxxxxxxxxxx组件hadoop1hadoop2hadoop3hadoop4hadoop5内存64G64G128G128G128GCPU核1616323232Hadoop-3.3.4NameNodeNameNodeDataNodeDataNo
tuoluzhe8521·2023-12-29 00:30

【HDFS联邦（1）】ViewFs与联邦理论知识详解

文章目录一.ViewFs介绍二.联邦之前的旧世界1.单个namenode集群2.路径使用逻辑三.新世界–联邦与ViewFs1.HowTheClustersLook2.使用ViewFs为每个集群创建全局的
roman_日积跬步-终至千里·2023-12-28 19:12

【HDFS联邦（2）】HDFS Router-based Federation官网解读：HDFSRouterFederation的架构、各组件基本原理

文章目录一.介绍二、HDFSRouter-basedFederation架构1.示例说明2.Router2.1.Federatedinterface2.2.Routerheartbeat2.3.NameNodeheartbeat2.4
roman_日积跬步-终至千里·2023-12-28 15:41

Hadoop源码分析---Namenode和Datanode

一、HadoopRPC框架1.hadoopipc框架代码位于org.apache.hadoop.ipc包内，有一个抽象类Server，实现监听服务的功能。其构造方法参数除了hostname,port之外，还有handlerCount，numReaders，queueSizePerHandler，分别对应handler线程数，reader线程数，每个handler所能处理队列的大小，handlerC
编程小王子啊·2023-12-28 13:33

HDFS2.x之RPC流程分析

HDFS2.x之RPC流程分析1概述Hadoop提供了一个统一的RPC机制来处理client-namenode,namenode-dataname,client-dataname之间的通信。
can007·2023-12-28 13:59

Hadoop生产集群各种维护命令

1.HDFS运维1.1HDFS集群操作命令#HDFS集群启停start-dfs.shstop-dfs.sh#获取HDFS集群信息hdfsdfsadmin-report#namenode和datanode
tuoluzhe8521·2023-12-27 12:12

防火墙双机热备配置步骤

预习知识：双机热备需要两台硬件和软件配置相同的防火墙组成双机热备系统。
jiecy·2023-12-27 11:29

Linux 查看端口占用情况lsof和 netstat 命令

lsof查看端口占用语法格式：复制代码lsof-i:端口号实例查看服务器8000端口的占用情况：复制代码#lsof-i:8000COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMEnodejs26993root10uIPv4
sober_me·2023-12-27 08:28

orc小文件合并趣谈

最近，集群中namenode压力有所显现。于是，针对小文件多的目录进行了排查和治理。进而，有了今天的这个主题ORC小文件合并趣谈。核心问题这里，首先治理的是实时导入数据的目录。
艾伦_alan·2023-12-27 01:02

安全HCIP之双机热备-理论

双机热备双击热备份技术产生的原因：理论基础当主设备宕机，备设备会发送一个免费的arp给交换机，来冲刷交换机的mac地址表，从而把流量引导到备设备中；多个VRRP组，统一切换问题：VGMP（默认开启），统一管理
XiaoHG_CSDN·2023-12-26 19:00

datasophon组件安装时踩坑记录

*to'root'@'%'identifiedby'xxxx';1.安装hdfs后有一个namenode进程未启动解决：在那个未启动的节点上执行hdfsnamenode-bootstrapStandby
州周·2023-12-26 17:56

etcd事件监听

p2379:2379\-p2380:2380\--nameetcdquay.io/coreos/etcd:latest\/usr/local/bin/etcd\--data-dir=/etcd-data--namenode1
getsu·2023-12-25 10:52

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成：NameNode:负责执行有关文件系统命名空间的操作，例如打开，关闭、重命名文件和目录等。
zhang35·2023-12-24 08:54

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

hdfs又对应namenode和datanode.namenode负责保存元数据的基本信息，datanode直接存放数据本身；mapreduce对应jobtracker和tas
套马杆的程序员·2023-12-24 04:49

浅谈Hadoop容错机制

简单介绍一下Hadoop中数据存储的可靠性和完整性，其中包括HDFS的容错机制、NameNode(元数据结点)的单点失效解决机制、Block数据块的多副本存储机制、NameNode与DataNode之间的心跳检测机制
小小少年Boy·2023-12-23 15:19

大数据技术探索

1.1HDFS1）HDFS集群包括：NameNode和DataNode以及SecondaryNamenode。
三翼鸟数字化技术团队·2023-12-22 06:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他