Hadoop集群第31页

hadoop集群维护遇到的一些问题【持续更新】

1、向hadoop集群提交一些比较大的任务，集群负载很快就飚起来了，有的达到120多。分析一下，应该是任务起的线程太多了。

baiyangfu·2020-09-16 18:30

hadoop 集群常见错误解决办法

hadoop集群常见错误解决办法阅读目录hadoop集群常见错误解决办法hadoop错误和解决方法汇总hadoop集群常见错误解决办法（一）启动Hadoop集群时易出现的错误：1.错误现象：Java.NET.NoRouteToHostException

菜鸟级的IT之路·2020-09-16 18:29

Hadoop集群配置

Hadoop集群配置使用虚拟机配置hadoop集群顺序；一、先在一台机上配置好虚拟机，然后拷贝出其他两台。

FA_learning·2020-09-16 17:14

hadoop学习笔记2---hadoop的三种运行模式

3、完全分布式模式正常的Hadoop集群，由多个各司其职

weixin_34014555·2020-09-16 13:42

Hadoop之Shell脚本自动启动

为了减少人工操作的重复性，所以hadoop提供了可以自动启动Hadoop集群的Shell脚本。在使用Shell脚本启动集群之前，需要进行相应的配置。

weixin_30784141·2020-09-16 12:17

CDH 是什么

如果使用原生的ApacheHadoop，在工作中我总结出了如下痛点（部分）：1、集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大2、规模很大的集群下升级Hadoop版本很费时费力3、需要自己保证版本兼容

问简·2020-09-16 12:29

storm架构原理及集群部署

、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、zookeeper任务调度1、hivesql2、调度平台3、Hadoop

@ange·2020-09-16 11:13

Hadoop纠删码算法启用ISA-L加速库

版本说明如下：软件版本Hadoop3.1.0isa-l2.28.0nasm2.14.02yasm1.2.0启用ISA-L步骤如下：安装yasm和nasm在Hadoop集群所有节点上安装yasm和nasm

超级侠哥·2020-09-16 06:06

cdh5.15.1离线搭建说明

由于使用apachehadoop进行部署，部署步骤繁多，管理运维成本较高，于是使用ClouderaManager进行部署、管理hadoop集群，能够加快部署，减少运维成功，同时支持其他集群的部署和管理，

Demo_zfs·2020-09-16 06:26

Hue的安装与部署

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob等等。很早以前就听说过Hu

weixin_30338743·2020-09-16 06:56

Linux下Hadoop集群的搭建(1)—重新编译Hadoop

当然学习也是要一步一步的，在学习Hadoop集群搭建之前我们先学习一下怎样在自己的机器上编译出适合自己机器的Hadoop，这一篇我们就来学习怎么重新编译Hadoop搭建环境：CentOS

高寒竹林·2020-09-16 05:22

给hadoop web监控界面加上安全机制

当hadoop集群安装完成后，如果集群是部署在局域网上，相对来讲，可不考虑安全问题，但部署在互联网上，需要对web控制界面进行安全机制设置。

老象学院·2020-09-16 04:45

hadoop版本和位数的查看方法

如下图所示：2、查看hadoop集群的位数执行：cd$HADOOP_HOME/lib/nativefileli

weixin_30657541·2020-09-16 04:00

Hadoop（一）守护进程

运行NameNode会消耗大量的内存和IO资源，因此驻留NameNode的服务器不会存储数据或者执行计算任务，容易造成Hadoop集群的单点失效问题。

DataSheep·2020-09-16 03:22

R语言 linux安装

由于希望在Hadoop集群上配置RHadoop，自然需要在每个服务器节点上安装R语言。在安装过程也碰到了一些小问题，因此记录一下。首先服务器系统版本为centos5.6，R版本为2.13.2。

伙伴几时见·2020-09-16 03:18

hadoop的关键进程

hadoop集群中主要进程有master:NameNode,ResourceManager,slaves:DataNode,NodeManager,RunJar,MRAppMaster,YarnChild

apple01010105·2020-09-16 02:53

java.lang.ClassNotFoundException: 自己编译WordCount编译通过执行报错

源码参照：http://www.cnblogs.com/jiejue/archive/2012/12/16/2820788.html2、打包上传到Hadoop集群，每台机器都上传，上传时包含了所有相关的

Tooler·2020-09-16 02:19

启动hadoop集群DataNode不显示，DataNode显示NodeManager不显示

启动hadoop集群后，输入jps你发现主节点显示的是正常的而在从节点上却没有显示DataNode节点如果你的配置都是正确的话，很可能就是你格式化文件系统的时候格式化了多次解决方法：删除集群数据存储目录

BD_ZYJ·2020-09-16 01:15

Hbase教程(三) Hbase集群安装

Hbase教程(三)Hbase集群安装1Hbase集群安装1.1准备工作Hbase的集群安装是建立在Hadoop集群环境之上的，因此需要先安装Hadoop集群环境。

_否极泰来_·2020-09-15 18:04

【已解决】zookeeper显示Error contacting service. It is probably not running等问题

博主在搭建hadoop集群时，为实现高可用(high-available)，使用zookeeper3.4.6，出现了一些小插曲，报错(Errorcontactingservice.Itisprobablynotrunning

暴走的Mine·2020-09-15 15:38

Spark入门单机版安装和操作本地和HDFS文件

（单机模式，是本文讲的方式，仅供熟悉Spark和scala入门用）、Standalone模式（使用Spark自带的简单集群管理器,计算数据不是特别庞大）、YARN模式（使用YARN作为集群管理器，配合hadoop

timothyee·2020-09-15 14:20

Hadoop常见面/笔试题

是的，可以在多个Hadoop集群之间复制文件，这可以使用分布式复制来完成。Dis

湘上农人·2020-09-15 13:34

Apache Spark入门级摘要

官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。1.架构及生态其架构示意图如

奋起直追CDS·2020-09-15 13:53

Hadoop集群（第10期）_MySQL关系数据库

1、MySQL安装MySQL下载地址：http://www.mysql.com/downloads/1.1Windows平台1）准备软件MySQL版本：mysql-5.5.21-win32.msi2）安装环境：操作系统：Windows7旗舰版3）开始安装第一步：双击"msi"安装文件，出现如图1.1-1界面——"MySQL安装向导"，按"Next"继续。图1.1-1MySQL安装向导第二步：在"I

weixin_33995481·2020-09-15 13:02

学习搭建Hadoop+HBase+ZooKeeper分布式集群环境

一、环境配置由于集群至少需要三台服务器，我就拿上次做的MongoDBMaster,Slave,Arbiter环境来做Hadoop集群。服务器还是ibmcloud免费提供的。

weixin_33857679·2020-09-15 12:07

Hadoop伪分布式安装和wordcount实例

Hadoop伪分布式安装一、用rpm安装jdk二、查询.ssh文件三、设置免密四、安装Hadoop五、Hadoop配置文件信息六、格式化HDFS七、启动集群八、在windows环境看Hadoop集群九、

Dectwelve·2020-09-15 10:34

Hadoop集群动态增加节点

一、集群基础环境配置关闭防火墙配置ntp服务时钟，与主节点同步:server90.0.25.1配置SSH免密登录配置hosts文件：vim/etc/hosts安装jdk二、Hadoop配置Hadoop安装包修改slaves配置,分发到各个节点把/etc/hadoop下的配置文件发送到新节点，并新建相关目录：mkdirtmpjournaldatanamedatalogspids注意修改/etc/pr

yiming1012·2020-09-15 08:13

使用VMware12搭建分布式hadoop集群环境

背景使用VMWare12搭建hadoop集群环境①安装VMware12参考：https://jingyan.baidu.com/article/215817f78879c21edb142379.html②

aizhao2335·2020-09-15 07:14

Hadoop集群间数据拷贝

有时候，我们需要做Hadoop集群迁移时，要把大量存储在Hadoop集群上的数据也一并迁移过去。

sourceFour·2020-09-15 06:56

本地搭建hadoop集群--hbase和zookeeper的安装

zookeeper的安装1、解压tar包2、修改配置文件cdconfcp-azoo_sample.cfgzoo.cfgvimzoo.cfg配置dataDir=/opt/module/zookeeper-3.4.12/data以及在文本的最后粘贴server.1=master:2888:3888server.2=slave1:2888:3888server.3=slave2:2888:3888ser

succes_revenge·2020-09-15 06:50

大数据平台核心技术-实验记录

大数据平台核心技术-实验记录一、前言二、实验内容实验一：Hadoop集群搭建实验二：使用MapReduce实现倒排索引三、实验过程记录2.1安装准备2.2Hadoop集群搭建1、安装文件上传工具2、JDK

月色很柔·2020-09-15 05:24

Hadoop之mapreduce(一)03

Mapreduce核心功能是将开发者编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

每天都在努力的人·2020-09-15 05:29

Hadoop集群搭建【web端不显示从节点问题】

系统：CentOS7环境：jdk8版本：hadoop-2.7.7结构hadoop01namedata、nodedatahadoop02nodedatahadoop03nodedata配置hadoop-2.7.7/etc/hadoop/hadoop-env.shexportJAVA_HOME=/opt/app/jdk1.8.0_221//这里是我的jdk安装目录配置hadoop-2.7.7/etc/

Kjctar·2020-09-15 05:57

windows+eclipse 连接hadoop集群

windows+eclipse连接hadoop集群1.配置Eclipse-hadoop插件.将编译好的hadoop-eclipse-plugin-2.5.2.jar拷贝至eclipse的plugins目录下

红叶幽香·2020-09-15 03:34

Hadoop集群之shell -----脚本xcall，和同步脚本xsync用法（二）

在上一篇文章中我们提到了两个脚本，一般会出现一些问题在执行xcalljps会不能用此时有两个问题1、权限问题我们直接赋最高权限编写完成chmod777xcall赋予可执行权限2、要想使用xcalljps还需要给jps建立软连接命令如下每台机器都要执行ln-s-f/usr/local/jdk1.8.0.152/bin/jps/usr/local/bin/jps3、修改文件格式同样xsync也要赋权限

魂落忘川犹在川·2020-09-15 03:31

hadoop集群，如何运行Java jar包---如何运行mapreduce程序

http://www.aboutyun.com/thread-7408-1-1.htmlhadoop集群运行mapreduce有两种方式：1.一种是打包，在hadoop集群运行2.一种是开发环境运行。

TerryWater·2020-09-15 03:48

stop-all.sh停止不了hadoop集群

Hadoop集群使用stop-all.sh停止时，停止不了，提示各个进程都找不到，但是各个进程都存在。

sunqingok·2020-09-15 03:43

window7使用eclipse提交Hadoop作业到Hadoop集群运行方法

Hadoop集群：Hadoop2.6.0，系统：windows7，开发环境：eclipseEclipse调用Hadoop运行MapReduce程序其实就是普通的java程序可以提交MR任务到集群执行而已

cz-神算子·2020-09-15 03:58

MapReduce的设计思想

MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。

大数据之小白·2020-09-15 03:32

Hadoop集群：容量调度器多队列设置

软件版本：VMware：VMware-15.5.1Linux：CentOS-7.5-x86_64-DVD-1804.isoJDK:jdk-8u212-linux-x64.tar.gzHadoop：hadoop-3.1.3.tar.gz目录1需求2配置多队列的容量调度器3web查看调度器1需求Yarn默认的容量调度器是一条单队列的调度器，在实际使用中会出现单个任务阻塞整个队列的情况。同时，随着业务的

peng.li·2020-09-15 02:43

hadoop 提交时 Safe mode is ON. Resources are low on NN 问题解决方案

先前在hadoop集群跑job时出现任务执行到30%停止，且机器发热严重，一度以为机器问题，而后在集群提交作业时，出现如下问题，namenode节点资源不足，请释放资源或增加资源。

peng.li·2020-09-15 02:12

Hadoop REST API -- WebHDFS(上)

这对于运行在hadoop集群中的应用程序来说是挺棒的，但是，也有许多外部的应用程序需要操作HDFS的情况，怎么办？如果解决这种问题呢？

John00000001·2020-09-15 02:11

Hadoop学习笔记十二 YARN基础知识

JobTracker的职责有：Hadoop集群的资

谢厂节_编程圈·2020-09-15 02:25

hadoop-wordcount本地模式及集群模式运行

前言上一篇文章，我们利用3台云服务器搭建了一个Hadoop集群，并通过hadoop-jar命令运行了Hadoop自带的一个wordcount例子，那本片文章就通过实现一个wordcount程序，并在本地模式下运行这个程序

隐秘的角落·2020-09-15 02:53

CentOS 配置集群机器之间SSH免密码登录

在Hadoop集群或其他集群中广泛应用用，可用于机器之间免密码登录和执行脚本，如的Hadoop集群中NameNode启动的时候会远程执行脚本把集群中DataNode的也一起启动起

weixin_34005042·2020-09-15 01:54

编译hive源码导入到eclipse中

软件版本：hive1.2.1，eclipse4.5，maven3.2，JDK1.7软件准备：hive:环境准备：（1）.安装好的Hadoop集群（伪分布式亦可）；（2）linux下maven环境；（这里需要说下

爪爪的瓜瓜·2020-09-15 00:51

ambari openssl 版本问题：SSLError: Failed to connect. Please check openssl library versions.

centos使用Ambari搭建Hadoop集群ambari--ConfirmHosts报错Commandstarttime2018-08-1310:32:23bash:/var/lib/ambari-agent

o0milestone0o·2020-09-14 23:58

hadoop搭建--datanode信息为0，Live datanodes 为0

背景hadoop集群启动后，无有效的datanode节点，表现形式为：使用hdfsdfsadmin-report查看节点的情况时，都是0xf@master01:~/hadoop-2.6.5$hdfsdfsadmin-reportConfiguredCapacity

canyue2811·2020-09-14 23:41

[大数据]练习题

hadoop作业3：安装CDH作业4：Eclipse+Maven+hadoop构建hadoop的WordCount程序作业5：Java访问HDFS，教材P175作业6：hadoopjar提交一个任务到hadoop

Jim19Green·2020-09-14 23:55

Hive启动报错（已解决！）

今天在测试的时候发现这样一个小错误，分享如下：错误原因：因为Hive中的真实数据是存储在Hdfs上的，所以在启动Hive前，需要先启动Hadoop集群，在启动Hadoop集群的时候，我同时启动了Hive

Forever_ck·2020-09-14 22:54

推荐频道

Hadoop集群