NameNode工作机制

hive合并小文件

小文件的危害1.小文件过多，占用HDFS中namenode的内存2.小文件过多，启动过多的maptask，maptask的启动和调度消耗很多内存和时间，启动时间比job执行时间还长针对问题2的解决方案1
捣药的八戒·2023-04-14 07:21

Hive小文件问题

小文件产生的原因数据源本身有很多小文件：reduce数量多导致生成的小文件增多：使用动态分区导致小文件增多：2、小文件危害HDFS内存资源消耗过大，并限制了数据存储规模：在HDFS中，具体的文件保存在datanode节点中，在namenode
Stannis·2023-04-14 06:47

HADOOP高可用机制

集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA（2）HDFS的HA机制详解通过双namenode
BoltBear·2023-04-14 03:45

Hadoop3.X 高可用架构配置

高可用介绍单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，Name
拼命三郎-石秀·2023-04-14 03:43

Hadoop 2.x高可用配置

前言这两天整理了一下原来写的各种文档，准备陆陆续续全部写成博客，以防文档丢失，第一篇，使用zookeeper来实现Hadoop的高可用主机规划此处有三台主机，规划如下：主机名P地址运行进程hadoop192.168.201.243NameNode
天空中的一缕微风·2023-04-14 02:41

Hadoop高可用（Hadoop2.x）

Hadoop高可用（Hadoop2.x）目录Hadoop高可用（Hadoop2.x）1.什么是高可用2.Hadoop集群存在的问题3.单点故障3.1HDFS的单点故障3.2NameNode的内存受限的问题
m0_67402341·2023-04-14 02:40

Hadoop2.X之高可用简介及环境搭建

Hadoop2.0之高可用Hadoop2.0产生背景Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题(2个)NameNode单点故障，难以应用于在线场景HA
瓜不田·2023-04-14 02:39

Hadoop系列-Hadoop高可用（三）

一、Hadoop高可用在Hadoop2.0以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群
Just Jump·2023-04-14 02:39

Hadoop2.x高可用架构

Hadoop2.xHadoop高可用的架构对于Hadoop高可用架构节点介绍NN服务器会出现脑裂(brain-split)情况什么是脑裂在hadoop2.x版本中，如果存在两个NameNode节点同时服务
没工作的小白·2023-04-14 02:08

Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）

配置Hadoop环境变量6、检查环境变量是否配置成功7、配置hadoop的配置文件1.配置core-site.xml文件2.配置mapred-site.xml3.配置yarn-site.xml4.新建namenode
GCTTTTTT·2023-04-13 19:02

bash: jps: 未找到命令...的解决方法

问题描述在进行hadoop伪分布式配置时，NameNode的格式化没问题，开启NaneNode和DataNode守护进程也没问题，但是最后通过命令jps来判断是否成功启动时，却提示“未找到命令”bash
Pancras Wen·2023-04-13 12:53

启动hdfs时报错：ERROR: Cannot write namenode pid /tmp/hadoop-longda-namenode.pid

启动hdfs时出现报错：ERROR:Cannotwritenamenodepid/tmp/hadoop-longda-namenode.pid,且/tmphadoop-longda-namenode.pid
向南不向北·2023-04-13 11:51

Hadoop集群配置问题—小记jps没有NameNode的问题

本人Hadoop集群部署如下：hadoop102hadoop103hadoop104HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeYarnNodeManagerResourceManagerNodeManagerNodeManager
向南不向北·2023-04-13 11:51

Zookeeper集群+kafka集群

文章目录一、Zookeeper概述1、Zookeeper定义2、Zookeeper工作机制3、Zookeeper特点4、Zookeeper数据结构5、Zookeeper应用场景二、部署Zookeeper
Zcien·2023-04-13 10:43

ELK日志分析系统+zookeeper

ELK日志分析系统+zookeeper一、zookeeper简介1、zookeeper概念2、zookeeper数据结构二、zookeeper工作机制1、zookeeper特点2、zookeeper应用场景三
指尖_流逝的年华·2023-04-13 09:24

黑猴子的家：如何选择Hadoop版本？

，当前Hadoop只有两个版本：Hadoop1.0和Hadoop2.0，其中，Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop2.0则包含一个支持NameNode
黑猴子的家·2023-04-13 07:33

Spark 对hadoopnamenode-log文件进行数据清洗并存入mysql数据库

一.查找需要清洗的文件1.1查看hadoopnamenode-log文件位置1.2开启Hadoop集群和Hive元数据、Hive远程连接具体如何开启可以看我之前的文章：(10条消息)SparkSQL-liunx
难以言喻wyy·2023-04-13 06:30

samba介绍和使用

Samba采用C/S模式,其工作机制是让NetBIOS(Windows网上邻居的通信协议)和SMB两个协议运行于TCP/IP通信协议之上，并且用NetBEUI协议让Windows在“网上邻居”中能浏览Li
弘毅_Hao·2023-04-13 04:51

单机模式的hadoop安装

Hadoop1、下载hadoop安装包1.1官网下载hadoop2.9.2版本2、hadoop单机环境搭建2.1搭建准备2.2创建安装目录2.3修改配置文件3、启动hadoop3.1格式化文件系统3.2启动NameNode
毛伟臣·2023-04-13 04:11

前端JS学习笔记——Web API简介

ApplicationProgrammingInterface，.应用程序程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节
zerocean_·2023-04-13 01:51

Web API学习笔记(一)

ApplicationProgrammingInterface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节
Java追求者·2023-04-13 00:36

前端学习笔记——WebAPI

API的概念API（applicationprogramminginterface）是一些预定义的函数，目的是提供应用程序与开发人员基于某软件或某硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节
歌歌DAY·2023-04-13 00:35

黑猴子的家：Hadoop 启动停止方式

1、各个服务组件逐一启动（1）分别启动hdfs组件hadoop-daemon.shstart|stopnamenode|datanode|secondarynamenode（2）启动yarnyarn-daemon.shstart
黑猴子的家·2023-04-13 00:44

详细深入分析 Java ClassLoader 工作机制

申明：本文首发于详细深入分析JavaClassLoader工作机制，如有转载，注明原出处即可，谢谢配合。
zhisheng_blog·2023-04-12 23:11

【JVM】调优案例

新系统上线如何规划容量（1）套路总结（2）套路实战——以登录系统为例【3】垃圾回收器的选择（1）吞吐量还是响应时间（2）垃圾回收器设计上的考量（3）CMS和G1【4】CMS回收器（1）CMS垃圾回收器的工作机制
孫治AllenSun·2023-04-12 14:21

如何看待公司说是弹性工作机制，但几乎每晚上加班且没加班费？

问题出在弹性工作机制吗？No,并不是的。问题从来并不是由单一因素构成的，当然有多方面的因素的综合，并不是一个简单的弹性工作
红尘一醉谈管理·2023-04-12 12:38

Hadoop运维工具箱之HDFS集群扩容与缩容-尚硅谷大数据培训

配置白名单步骤如下：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件（1）创建白名单[atguigu
尚硅谷铁粉·2023-04-12 11:37

第4章、HDFS_集群的扩容和缩容

配置白名单步骤如下1）在NameNode节点上的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist（白名单）和blacklist（黑名单）文件（1）创建白名单
驾驭精神领域·2023-04-12 11:06

Hadoop调优手册(4)——HDFS集群扩容及缩容

1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。
MartinGQ·2023-04-12 11:34

HDFS集群扩容节点

将namenode服务器上的
ItStar_·2023-04-12 11:03

hdfs集群的扩容和缩容

3.2.3配置时间同步3.2.4关闭防火墙3.2.5新建hadoop部署用户3.2.6复制hadoop04机器上的/etc/hosts文件到集群的另外3台机器上3.2.7配置集群间的免密登录3.2.8将namenode
huan_1993·2023-04-12 11:30

hadoop(二)—hadoop配置、运行错误总结

问题一：【namenode无法启动，这个问题有很多原因，虽然说应该参照日志文件进行排错，但是我试着看了下日志文件，真的是很难看的。
文子轩·2023-04-12 10:41

分布式系统的可靠协调系统——Zookeeper

目录一、zookeeper简介1.1zookeeper的概述1.2Zookeeper的定义1.3Zookeeper的工作机制1.4Zookeeper的特点1.5zookeeper的数据结构二、Zookeeper
shanjun12·2023-04-12 10:13

Zookeeper01 入门以及单机安装

文档原始资料来自尚硅谷和尚学堂，本人整理相关知识点第1章Zookeeper入门1.1概述Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目zookeeper工作机制1.2
星辰大帅·2023-04-12 06:34

面试题集锦

一.Hadoop1.hdfs写流程2.hdfs读流程3.hdfs的体系结构4.一个datanode宕机,怎么一个流程恢复5.hadoop的namenode宕机,怎么解决6.namenode对元数据的管理
Saiheihua·2023-04-12 03:22

API概念

ApplicationProgrammingInterface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节
分享干货的猫·2023-04-12 02:22

【改革开放40周｜温州商会奋斗路 6】——致敬新时代•培育新生代•探索新机制—@—党旗领航温商新发展

特别是2018年，本着“立足调研、广泛征询、远景展望”原则，八易其稿，制定出台《关于进一步规范提升在外新生代温商联络服务工作的若干指导意见》，进一步探索新生代工作机制建设，为新生代温商工作规范提升、持续健康发展奠定了扎实基础
半屏山人·2023-04-12 01:45

211023.[TED]优秀的人是如何训练大脑的 |如何与大脑协同工作-所有人

from=search&seid=7939856586291889385&spm_id_from=333.337.0.0大脑有它自己的工作机制。要想让它与自己完美合作，只有了解大脑工作机
风往北吹_风往北吹·2023-04-12 00:31

第六章 数据中台PaaS层离线存储之HDFS源码剖析第一部分 - NameNode启动流程&HadoopRpc协议详述

1、大数据源码解读思路（1）掌握其网络通信架构（2）场景驱动方式HDFS：namenodedatanode启动写数据得流程更新原数据流程读数据流程2、HadoopRPC的Demo详述含义：远程过程调用，
随缘清风殇·2023-04-11 23:01

第三章 数据中台架构PaaS层（平台服务层）之离线存储资源规划与架构设计

1、分布式文件系统超级大型电脑=分布式文件系统2、HDFS架构设计详述2.1、HDFS1架构说明定义：是一个主从式架构，主节点只有一个NameNode，从节点有多个DataNodeNameNode：管理元数据信息
随缘清风殇·2023-04-11 23:01

Redis进阶

利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化。
我乃cv大师·2023-04-11 21:27

hadoop面试题

a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker答案Cdatanode1.2HDfS中的block默认保存几份？
晚风烟火·2023-04-11 19:06

zookeeper+kafka分布式消息队列集群的部署

目录一、zookeeper1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点4.Zookeeper数据结构5.Zookeeper应用场景（1）统一命名服务（2）统一配置管理
TaciturN'·2023-04-11 19:28

ZooKeeper分布式应用程序协调服务

2.ZooKeeper的工作机制3.ZooKeeper的特点4.ZooKeeper的数据结构5.ZooKeeper的应用场景5.1统一命名服务5.2统一配置管理5.3统一集群管理5.4服务器动态上下线5.5
小啄学习日记·2023-04-11 19:50

Zookeeper + kafka概念及部署

文章目录1Zookeeper（分布式的系统管理框架）1.1Zookeeper工作机制1.2Zookeeper特点1.4Zookeeper数据结构1.5Zookeeper应用场景(不重要)1.6Zookeeper
FYR@·2023-04-11 19:20

一文教你全面掌握用Python实现线性回归

本文首先会深入挖掘线性回归理论，理解其内在的工作机制，然后利用Python实现该算法，为商业问题建模。理论线性回归或许是学习统计学最简单的方法。在学习更高级的方法之前，这是一个很好的入门方法。
「已注销」·2023-04-11 14:48

Java网络编程——NIO编程

目录第一部分：NIO介绍1.NIO三大核心部分2.NIO的工作机制3.JavaNIO的非阻塞模式第二部分：NIO和BIO的比较第三部分：NIO三大核心原理第四部分：缓冲区（Buffer）1.缓冲区基本介绍
Aurora_♚·2023-04-11 11:44

Java BIO从入门示例到多线程示例

BIO同步并阻塞（传统阻塞型），服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销【简单示意图】2、javaBIO工作机制
lovoo·2023-04-11 09:17

zookeeper介绍和搭建

zookeeper介绍和搭建一、zookeeper简介二、zookeeper工作机制三、zookeeper集群部署3.1实验准备3.2修改配置文件3.3创建目录以及拷贝文件3.4配置Zookeeper启动脚本
BcAkc·2023-04-11 07:55

浅谈JS中的this，希望能够帮助到你哦！

没什么好说的，就来讲讲JS中的this吧，希望能对你理解this的工作机制能够有些帮助。学习JavaScript如果你this都没理解的话，那么你在后期的学习将会很艰难。所以！学习吧，骚年们。
秋风_bdfd·2023-04-11 07:27
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他