Hadoop集群

4台虚拟机实现高可用Hadoop集群步骤

目录一、集群安装1、软件版本选择2、机器配置1）4台机器分配2）修改hosts3）免密登录3、软件安装1）安装jdk2）安装zookeeper3）安装hadoop4）小结二、启动集群1、启动zookeeper2、启动hadoop1）启动journalnode进程初始化namenode2）启动文件系统3）启动yarn集群4）启动mapreduce任务历史服务器三、验证集群是否成功四、一键启动脚本一、
qql2011·2020-07-10 01:06

Hadoop集群搭建(一) 三台虚拟机的创建与联网

实验环境1.centos6.92.vmware15hadoop和jdk连接：https://pan.baidu.com/s/1Ffo4mR7sKU-qdp29AYjB1g提取码：7sih一.虚拟系统搭建环境准备:这里是已经安装好系统的虚拟机，具体系统安装步骤本篇不做介绍1.已经装好系统的虚拟机文件夹2.复制两份然后依次在vmware中打开3.使用vmware依次加载三台机器的规划IP地址主机名第一
粒质·2020-07-10 01:56

Hadoop HA高可用集群搭建详细过程(亲测四台有效）

hadoop集群HA高可用搭建❀❀❀❀❀搭建前的简单介绍❀❀❀❀❀主机配置环境如下表：HadoopHA原理:  在一典型的HA集群中，每个NameNode是一台独立的服务器。
空心菜可太好吃了·2020-07-10 01:47

Hadoop集群之浅析安全模式

集群启动顺序：关于安全模式的一些操作强调一下块（block）、副本数（replication）的概念集群启动顺序：#NameNode启动NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期
损滋神753·2020-07-10 00:01

Hadoop集群搭建六 HBase高可用集群的安装及应用

HBase高可用集群的安装及应用集群规划HBase有主节点和Region节点2类服务节点，高可用完全分布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足Region有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为Region节点；主机名IP地址服务描述Cluster-01192.168.10.111HBase主控节点Cluste
离人散·2020-07-10 00:46

hadoop集群搭建四 hadoop高可用集群的安装

hadoop集群搭建四hadoop高可用集群的安装实验需要的.xml文件模板在下载区可下载一、实验准备二、Hadoop基本安装配置该项操作均在集群用户admin下进行，只在一台主机上进行操作其他的主机进行同步安装与步骤
离人散·2020-07-10 00:46

Hadoop集群配置及其高可用方案

实验配置五台虚拟机server1-5都是rhel6.5版本所有虚拟机建立hadoop用户uidgid一致密码相同以server1为例获取安装包hadoop-2.7.3.tar.gzjdk-7u79-linux-x64.tar.gz解压安装注意是在hadoop用户下下载解压相关软件修改环境变量，使hadoop运行在java平台之上修改java变量单节点部署创建文件夹将数据导入文件夹中wordcoun
pythonchuxue·2020-07-10 00:26

Linux上安装Hadoop集群CentOS7+hadoop-2.9.2

1、软件环境准备CentosCentOS-7-x86_64-Minimal-1810.iso下载地址http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1810.isoJDKjdk-8u181-linux-x64.tar.gz下载地址https://www.oracle.com/technetwork
_Y_L·2020-07-10 00:15

Hadoop集群之浅析安全模式

@目录集群启动顺序：关于安全模式的一些操作强调一下块（block）、副本数（replication）的概念集群启动顺序：NameNode启动NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过
孙晨c·2020-07-09 23:00

Hive安装与配置（需搭建好hadoop集群）

hive的安装1：上传解压hivetar-zxvf*****/usr/local/2：安装mysql，添加开机自启chkconfigmysqlon3：配置hive-site.xml在安装目录/conf下新建，粘贴下面这段代码（高版本mysql需要ssl）javax.jdo.option.ConnectionURLjdbc:mysql://localhost:3306/hive?createData
想做架构师·2020-07-09 23:42

启动hadoop集群的一个脚本start-hadoop-all.sh

#!/bin/bash#启动ZKforsxtinnode002node003node004dossh$sxt"source~/.bash_profile;zkServer.shstart"donesleep2#启动hdfsstart-dfs.shsleep2#启动yarnsshnode001"source~/.bash_profile;start-yarn.sh"sshnode004"source
有风微冷·2020-07-09 23:22

HDFS DataNode堆内存使用率过高，HDFS存储量不够导致宕机

今天来公司发现hadoop集群出现了HDFSDataNode堆内存使用率超过阈值的告警，然后查看集群各个节点的状态发现有一个数据节点宕机了，经过一上午的处理我来聊聊解决的几个方法：目录：1、将HDFS备份数降低
Leonardo_1997·2020-07-09 23:38

Apache 原生态hadoop集群一个脚本启动、一个脚本关闭

脚本放在hadoop01上，也是主节点，namenode。前提：hadoop01--hadoop05五个节点都设置了ssh免密登录。启动脚本：echo"首先启动ZK"sshroot@hadoop03sh/usr/local/zookeeper/bin/zkServer.shstartsshroot@hadoop04sh/usr/local/zookeeper/bin/zkServer.shstar
且插梅花醉平阳·2020-07-09 22:52

Hadoop常用参数整理（HDFS/Yarn/MapReduce/GC）

背景最近整理了一些常用的Hadoop集群相关配置参数，并对相关参数进行调优，其中有一些参数能影响到集群的性能等问题，需谨慎使用。
九师兄·2020-07-09 22:32

hadoop集群启动后，两个namenode都是standby

配置HA的自动故障转移首先在hdfs-site.xml中添加下面的参数，该参数的值默认为false：dfs.ha.automatic-failover.enabledtrueproperty>dfs.ha.automatic-failover.enabledtrue在core-site.xml文件中添加下面的参数，该参数的值为ZooKeeper服务器的地址，ZKFC将使用该地址。ha.zookee
永胜永胜·2020-07-09 21:36

hive配置Kerbros安全认证

需求：对新建hadoop集群和hive集群的安全认证安装部署。​
QF大数据·2020-07-09 21:53

为hadoop集群中单个datanode添加硬盘

最近实验室的小集群当中的一个datanode硬盘容量快用完了，考虑着要加块1T的新硬盘，但是却被这么一个小问题折腾了好一会才解决，特地在此记录一下，希望为看到这篇文章的朋友们节约宝贵的时间。Ubuntu环境下挂载新硬盘这篇帖子已经写得很详细了，写得很不错，在Ubuntu环境下挂载新硬盘可以看这篇。唯一有点区别的是“硬盘在系统启动自动挂载”这一部分。我的配置为：/dev/sdb/home/hadoo
predict_wise·2020-07-09 21:41

hadoop2.7入门-java访问hdfs文件

hadoop2.7入门-java访问hfs文件1、hdfs文件存储系统2、解决hadoop集群的访问权限2.1、关闭hadoop权限检查2.2、使用kerberos进行权限配置2.3、把整个hadoop
peace_dove·2020-07-09 21:21

Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade，DFS Used显示0（100%）

，9001为我的端口号）引起这种情况的原因通常有两种：（1）/etc/hosts文件未配置（2）防火墙未关闭，导致datanode启动了，但却无法与namenode之间进行通信情况（1）解决方法：关闭hadoop
Cludy_Sky·2020-07-09 20:10

hbase +hadoop集群配置

hadoop集群配置集群ssh无密码访问机制集群之间SSH无密码登陆2.3.1设置linux-51无密码自登陆主要有三步：①生成公钥和私钥、②导入公钥到认证文件、③更改权限$ssh-keygen-trsa-f
Devin_Smith·2020-07-09 20:17

mac 搭建hadoop 集群

说实话centos搭建hadoop集群已经不是一次两次，还是有根底的，但是作为在mac上搭建hadoop还是头一次，万事开头难，自然每次尝试采坑的时候都是比较忐忑。
Helen_Cat·2020-07-09 19:54

hive集群部署

Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduce任务提交给Hadoop
赶路人儿·2020-07-09 19:30

Hadoop集群搭建

Hadoop集群搭建记得完成hadoop的搭建：https://blog.csdn.net/liu1340308350/article/details/105135800hadoop集群搭建：也就是要修改以下文件修改方法
抿一口可乐·2020-07-09 19:58

hadoop集群批量快速安装

今天是我生日，在博客里放送出２份非常实用的文档。ｈａｄｏｏｐ、ｈｂａｓｅ批量安装和ｇａｎｇｌｉａ安装配置详解。首先第一篇。ｈａｄｏｏｐ批量安装前先将ｎａｍｅｎｏｄｅ，Ｈｍａｓｔｅｒ机器安装完毕。然后准备以下文件１、hadoop-0.20.2-CDH3B4.tar.gz２、hbase-0.90.1-CDH3B4.tar.gz３、hosts４、profile５、hbaseconf（这个是ｈｂａｓｅ中的
bluekeyv·2020-07-09 18:52

hadoop自动清除日志文件的配置方法

hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。
iteye_5304·2020-07-09 17:38

hadoop集群搭建的常见错误

安装hadoop常见错误整理：（这里会不断地添加，也希望大家多提一些错误一起解决）1.Hadoop初始化错误INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:uec-fe/16.157.63.10:9000.Alreadytried0time(s).这种情况对数出现在启动namenode时成功，但是运行job时就会一直连接。通过查看T
iteye_4537·2020-07-09 17:05

Hadoop的rmr和trash

这两天在操作Hadoop集群时，由于一个误操作，制作了一个天大的悲剧不小心把Hadoop集群上的所有文件全部删除了，具体情况是这样的：我用hadoop的超级帐户要建立一个目录，结果发现位置错了也是，想使用
iteye_3156·2020-07-09 17:29

HDFS设置JVM

搭建的hadoop集群使用了一段时间，从26号发现一个datanode节点莫名宕机了，下载相关日志查看也没发现什么问题，重启后恢复了正常，对于具体的原因也就没有进行深入追究。
hwwzyh·2020-07-09 17:54

Linux下搭建Hadoop集群

在使用物理机搭建Hadoop集群的时候，也可以参考本文。首先这3个节点要保证能相互连通，本文中，3个虚拟机的ip地址如下：Master192.168.21.13
最美的词·2020-07-09 17:36

Hadoop大数据存算分离下，如何解决新旧存储共存？

在传统的ApacheHadoop集群系统中，计算和存储资源是紧密耦合的，HDFS为大数据存储带来便利的同时，也面临着一些挑战：当存储空间或计算资源不足时，只能同时对两者进行扩容。
wx5ed486b1a9423·2020-07-09 17:21

Hadoop的元数据治理--Apache Atlas

ApacheAtlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力
forever428·2020-07-09 16:19

Hbase 使用高可用 （HA）的hadoop集群，hbase.rootdir如何配置

文章目录欢迎关注本人公众号问题描述解决办法欢迎关注本人公众号问题描述在前面文章中搭建了高可用的hadoop集群，然后hbase使用这个集群的hdfs。
快乐崇拜234·2020-07-09 16:10

ubuntu 16.04 搭建完全分布式之：HIVE搭建

对于hadoop集群来说，任何一个服务器按我理解都是可以弄hive的，反正hive就是个关系数据库，应该都是可以的反正我在namenode机器上面弄的哎……昨天写了好多，然后我以为相同的提交页面也是可以用的
Rosendal·2020-07-09 15:06

hadoop集群中简单使用的脚本及问题

chmoda+x[文件名]付给权限扩展Slave的时候需要注意的一些问题扩展的时候可以先直接按照Hadoop集群安装配置教程先进行。这里需要更改/usr/local/hado
darren711·2020-07-09 15:51

Hadoop报错信息处理积累

一、报错信息：ShuffleError:ExceededMAX_FAILED_UNIQUE_FETCHES;bailing-out错误描述：把Hadoop集群架设好以后，运行TestDFSIO基准测试，
chw1989·2020-07-09 14:44

Hadoop-HA模式（详解）

一、概述之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。
窃格拉瓦·2020-07-09 13:14

intellij idea本地配置连接远程hadoop集群开发

自己研究大数据一年多了，虽然技术上有很多提高，但是有个问题就是一直没法使用本地联调集群，每次都是写完打包放到集群执行。最近发现可以本地直接连接远程联调，大大提高了开发效率，分享一下。1、下载hadoop，配置到本地环境变量中，路径中最好不要有空格或下划线环境变量：2、修改项目的pom.xmlorg.apache.hadoophadoop-common${hadoop.version}org.apa
a_bang·2020-07-09 12:18

hadoop集群安装 7节点;HA

教程使用版本:hadoop-2.8.1.tar.gzzookeeper-3.4.10.tar.gzLinux:Centos7x64(CentOS-7-x86_64-DVD-1708)前期准备:集群规划：主机名IP安装的软件运行的进程node1192.168.66.3jdk、hadoopNameNode、DFSZKFailoverController(zkfc)node2192.168.66.4jd
我们始终是路人·2020-07-09 12:08

Hadoop集群搭建过程中遇到的问题

1.要先搭建zookeeper在再搭建hbase而且搭建hbase的时候hbase_env.sh里面的HBASE_MANAGES_ZK=false不能等于true,因为hbase本身自带zookeeper，所以要把hbase里面的zookeeper关掉，，，才可以。2.在一些配置conf里，有的有两个binsbin所以在配置环境变量的时候要写全！！！exportSPARK_HOME=/usr/lo
jiku_wang·2020-07-09 12:26

Hadoop集群启动命令（包括hdfs,Mysql,zookeeper,hive,hbase,spark,zookeeper,kafka）

hadoop:格式化命令:hadoopnamenode-format启动命令:start-all.sh停止命令:stop-all.shHdfs:(其实就是打开hadoop先进入Hadoop目录，再执行以下命令：)启动命令:start-dfs.sh停止命令:stop-dfs.shyarn:启动命令:start-yarn.sh停止命令:stop-yarn.shMySql:启动命名：servicemys
Nurbiya_K·2020-07-09 11:46

Hadoop集群搭建过程中的常见问题（一）

Hadoop集群搭建常见问题本人近期也一直在搭建Hadoop的相关环境，包括hadoop的搭建、zookeeper的搭建已经hbase的部署，这过程中也遇到了形形色色的问题，中间的过程也是十分的抓狂。
Alvin_blog·2020-07-09 10:05

从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（02）——Zookeeper

在上一篇Hadoop集群搭建的基础上搭建zookeeper集群Hadoop集群](https://editor.csdn.net/md/?
AloneCD·2020-07-09 10:05

centos7安装hadoop集群，并基于zookeeper实现HA高可用

centos7安装hadoop集群，并实现HA高可用准备开始环境准备相关知识1、JDK1.8安装1.1、查看及卸载系统自带的jdk版本1.2、安装Oraclejdk1.8.0_1912、Zookeeper
yuer5531·2020-07-09 10:51

HDFS NameNode重启优化

HDFSNameNode重启优化http://tech.meituan.com/namenode-restart-optimization.html一、背景在Hadoop集群整个生命周期里，由于调整参数
wzw12315·2020-07-09 09:14

namenode gc导致的故障一例

故障现象：6点1分左右开始，Hadoop集群异常，所有的hdfs操作都出现问题。
weixin_33869377·2020-07-09 09:49

hadoop从调整GC到关键Counter计算原理分析

hadoop集群中发现使用ParallelScavenge+ParallelOld收集器组合进行垃圾收集（这也是server端jvm默认的GC方式）时CPU占用可能会非常高，偶尔会出现爆满的状态，考虑可能是由于当时程序在执行
weixin_30662109·2020-07-09 09:55

shell脚本在容器云中搭建hadoop集群（五）

总结一下今天的学习过程1，先说下今天下午以及半个晚上写了上学期的数据库作业，加上之前写的整整写了12页A4纸，总算完成了一门课2，上午继续调试了昨日未完成的工作，不过还是差一部分没有完成分模块的测试了各个组件的正确性，暂时算是各个模块成功了吧，主要是从节点的配置，主节点的5个xml文件配置、分发Hadoop文件、格式化HDFS、启动从节点以及主节点容器、并同时设置IP与容器主机名的映射：这里注意：
每天八小时·2020-07-09 09:44

ubuntu 虚拟机 完全分布式 hadoop集群搭建 hive搭建 ha搭建

针对分布式hadoop集群搭建，已经在四台虚拟机上，完全搭建好，这里针对整个搭建过程以及遇到的问题做个总结，按照下面的做法应该能够比较顺畅的搭建一套高可用的分布式hadoop集群。
CodingBoy121·2020-07-09 09:43

hadoop HA启动时 两个namenode节点都是standby，解决办法

首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了如果都正常，配置ha需要zookeeper，先要看看是不是zookeeper没有配置好的问题如果都正常，在hadoop安装目录执行
SunmonDong·2020-07-09 08:14

spark基础入门

这里面没有涉及到任何存储，如果想要处理外部的数据源，比如数据在HDFS上，此时我们就需要先搭建一个hadoop集群。
人情世故2017·2020-07-09 08:11
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他